Sobre o Contratante

  • Empresa de tecnologia que visa transformar dados em ferramentas para o setor de educação.

Descrição de Atividades

  • Liderar a equipe de engenharia de dados
  • Liderar o desenvolvimento de um pipeline de dados para conduzir todo nosso processamento, do estágio bruto até nossa plataforma online, levando em consideração a necessidade deste pipeline suportar dados com variados graus de organização e qualidade
  • Ajudar na definição, configuração e manutenção da infraestrutura de processamento e armazenamento de dados, tanto para arquiteturas de data lake, quanto de data warehouse (p.ex. AWS, PostgreSQL)
  • Dar suporte ao desenvolvedores Back-End, tanto nas operações do dia-a-dia, quanto na contínua melhoria da modelagem de nossos bancos de dados
  • Revisar e promover a melhoria contínua do código da equipe de dados
  • Orientar e dar suporte aos membros menos experientes da equipe que irão auxiliar nas tarefas descritas acima

Requisitos

  • Experiência no uso de ferramentas para ETL, como Airflow, Luigi, AWS Glue ou similares, particularmente para as etapas de limpeza de dados
  • Experiência em criação e configuração de infraestrutura em nuvem (AWS, Google Cloud)
  • Linguagens de programação: Python para manipular DataFrames (pandas, PySpark) e para POO; ou Ruby
  • Desenvolvimento orientado a teste
  • Desenvolvimento de software com uso de versionamento de código, CI/CD e metodologia ágil
  • Conhecimento de banco de dados relacionais, por exemplo PostgreSQL ou MySQL
  • Modelagem de dados
  • Conhecimento de banco de dados não relacionais
  • Atenção a detalhes: nosso grande desafio é a interoperabilidade de dados… O que é isso? Recebemos dados de fontes diversas, com padrões muitas vezes diferentes, e às vezes sem um padrão definido. É nosso trabalho organizar todos estes dados para deixá-los homogêneos e prontos para análise

Diferenciais

  • Experiência liderando pessoas
  • Experiência propondo e criando do zero (com qualquer ferramenta) pipelines de tratamento de dados
  • Experiência com abordagens específicas para controle de qualidade de dados

O que oferecemos

  • Pacote de remuneração competitivo com o mercado;
  • Regime de contratação CLT;
  • Plano de saúde;
  • Caju Benefícios: saldo mensal flexível para uso em refeição e alimentação;
  • Horário flexível;
  • Trabalho híbrido ou totalmente remoto.