Apache Spark Web UI em Kubernetes não funcionando como esperado

1. Como faço para acessar a interface do usuário do Spark em Kubernetes?
2. Podemos correr Spark em Kubernetes?
3. Como faço para enviar um Spark Job on Kubernetes Cluster?

Como faço para acessar a interface do usuário do Spark em Kubernetes?

A interface do usuário associada a qualquer aplicativo pode ser acessada localmente usando o kubectl porta-forward . Em seguida, a interface do usuário do driver do Spark pode ser acessada em http: // localhost: 4040 .

Podemos correr Spark em Kubernetes?

Spark pode ser executado em clusters gerenciados por Kubernetes. Esse recurso utiliza o agendador nativo de Kubernetes que foi adicionado ao Spark. O Scheduler Kubernetes é atualmente experimental. Em versões futuras, pode haver mudanças comportamentais em torno da configuração, imagens de contêineres e pontos de entrada.

Como faço para enviar um Spark Job on Kubernetes Cluster?

Para lidar. XML na fonte de faísca para evitar problemas de dependência quando Spark Jobs enviados a Kubernetes no modo de cluster. Essas dependências são as usadas para enviar trabalhos de faísca com a opção de - pacotes com.