Função de etapa de trabalho da AWS Glue

1. Qual é a diferença entre as funções de cola e etapa?
2. Qual é a diferença entre as funções do SWF e da etapa?
3. Podemos administrar um trabalho de cola sem rastreador?
4. Como os trabalhos de cola são acionados?
5. Por que a função de etapa é usada?
6. O que são funções de etapas da AWS?
7. O S3 pode desencadear uma função de etapa?
8. Quais são as limitações das funções de etapa?
9. Quais são os diferentes tipos de fluxos de trabalho de cola?
10. Quantos trabalhos de cola podem funcionar simultaneamente?
11. Por que os trabalhos de cola são tão lentos?
12. Podemos desencadear um trabalho de cola?

Qual é a diferença entre as funções de cola e etapa?

A AWS Glue não tem servidor, então não há infraestrutura para configurar ou gerenciar. O STEP Functions é um serviço de orquestração sem servidor que facilita a criação de um fluxo de trabalho de aplicativo, combinando muitos serviços diferentes da AWS, como AWS Glue, Bathabrew, AWS Lambda, Amazon EMR e muito mais.

Qual é a diferença entre as funções do SWF e da etapa?

Funções de etapa é um serviço gerenciado, para que os usuários não precisem implantar ou manter qualquer infraestrutura para o gerenciamento do fluxo de trabalho ou as próprias tarefas. O SWF também gerencia o estado de fluxo de trabalho na nuvem. No entanto, diferentemente das funções de etapa, um usuário precisa gerenciar a infraestrutura que executa a lógica e as tarefas do fluxo de trabalho.

Podemos administrar um trabalho de cola sem rastreador?

Não. Você não precisa criar um rastreador para executar o trabalho de cola.

Como os trabalhos de cola são acionados?

Você pode ter um gatilho programado que invoca empregos periodicamente, um gatilho sob demanda ou um gatilho de conclusão de emprego. Vários trabalhos podem ser acionados em paralelo ou sequencialmente, desencadeando -os em um evento de conclusão de emprego. Você também pode desencadear um ou mais trabalhos de cola de uma fonte externa, como uma função da AWS Lambda.

Por que a função de etapa é usada?

Você pode usar funções de etapas para executar vários trabalhos de ETL em paralelo, onde seus conjuntos de dados de origem podem estar disponíveis em momentos diferentes, e cada trabalho ETL é acionado apenas quando o conjunto de dados correspondente fica disponível.

O que são funções de etapas da AWS?

As funções da AWS Step é um serviço de fluxo de trabalho visual que ajuda os desenvolvedores a usar serviços da AWS para criar aplicativos distribuídos, automatizar processos, orquestrar microsserviços e criar dutos de aprendizado de dados e metralhadoras (ML).

O S3 pode desencadear uma função de etapa?

Esse padrão cria uma função lambda que coloca um objeto para S3, que desencadeia uma etapa funções expressam o fluxo de trabalho. Isso é útil ao processar arquivos carregados maiores que os limites atuais de execução de tarefas.

Quais são as limitações das funções de etapa?

Funções de etapa tem um limite máximo de tamanho de solicitação de 256kb. Isso significa que todos os dados que você carrega em sua máquina de estado e passam as transições devem ser menores que 256kb o tempo todo. Se você carregar muitos dados ao longo do caminho, você receberá uma exceção e a execução abortará.

Quais são os diferentes tipos de fluxos de trabalho de cola?

Existem três tipos de gatilhos de partida: cronograma - o fluxo de trabalho é iniciado de acordo com um cronograma que você define. O cronograma pode ser diário, semanal, mensalmente e assim por diante, ou pode ser um cronograma personalizado com base em uma expressão de Cron. On Demand - o fluxo de trabalho é iniciado manualmente a partir do console da AWS Glue, API ou AWS CLI.

Quantos trabalhos de cola podem funcionar simultaneamente?

Número de empregos simultâneos que funcionam por trabalho: 3. Isso significa que você pode executar até três dos mesmos trabalhos de cola em paralelo e essas tarefas não podem exceder o limite de 100 DPUs no total. @Gorski Testei com o Max Concurrency 4 e o DPU's 20 no mesmo trabalho, ele correu bem e também criou mais de 4 funcionários de emprego de uma só vez.

Por que os trabalhos de cola são tão lentos?

Algumas razões comuns pelas quais seus trabalhos de cola da AWS levam muito tempo para serem concluídos são os seguintes: grandes conjuntos de dados. Distribuição não uniforme de dados nos conjuntos de dados. Distribuição desigual de tarefas nos executores.

Podemos desencadear um trabalho de cola?

Na AWS Glue, você pode criar objetos de catálogo de dados chamados gatilhos, que você pode usar para iniciar manualmente ou automaticamente um ou mais rastreadores ou extrair, transformar e carregar trabalhos (ETL). Usando gatilhos, você pode projetar uma cadeia de empregos e rastreadores dependentes. Você pode realizar a mesma coisa definindo fluxos de trabalho.