Especialista em Engenharia de Dados – Plataforma de Dados

This is a fully remote position, open to applicants in Brazil.

📋 Description

• Projetar e desenvolver a próxima geração da plataforma de ingestão de dados da empresa.

• Definir e aprimorar a arquitetura de ingestão de dados orientada por Inteligência Artificial (IA).

• Construir e manter pipelines de ingestão inteligentes (ETL/ELT) que sejam escaláveis, reutilizáveis e resilientes.

• Integrar agentes de IA para automação, orquestração e validação inteligente dos dados.

• Desenvolver soluções baseadas em RAG (Retrieval-Augmented Generation), embeddings e busca vetorial.

• Integrar diversas fontes de dados: APIs, bancos de dados, eventos, SaaS e arquivos (tanto estruturados quanto não estruturados).

• Trabalhar com processamento de dados em larga escala, tanto batch quanto streaming.

• Garantir a qualidade, confiabilidade, governança e observabilidade dos dados.

• Aplicar técnicas de detecção de anomalias e validação inteligente nos pipelines.

• Automatizar processos de integração e operação de dados.

• Estabelecer boas práticas, padrões e diretrizes para a ingestão de dados e Data Platforms.

• Colaborar de forma próxima com equipes de Engenharia, Analytics, Ciência de Dados, Produto e Negócios.

• Desenvolver soluções de alto impacto para o negócio, exercendo autonomia e liderança técnica.

⛳️ Requirements

• Sólida experiência com Databricks (Jobs, Clusters, Unity Catalog).

• Forte vivência na construção de pipelines de ingestão de dados (ETL/ELT).

• Experiência em processamento distribuído (Spark) em batch e streaming (Kafka, Spark Streaming, etc.).

• Conhecimento em cloud (AWS, Azure ou GCP).

• Familiaridade com orquestradores de workflows (Airflow, Dagster ou similares).

• Experiência prática no desenvolvimento de agentes de IA ou sistemas baseados em RAG.

• Conhecimento em LLMs (Large Language Models) e frameworks como LangChain, LlamaIndex.

• Experiência com embeddings, busca vetorial e processamento semântico.

• Vivência com Agent Frameworks (ex: LangGraph, CrewAI).

• Experiência com dados não estruturados (PDFs, documentos, HTML, logs, etc.).

• Conhecimento em bancos de dados SQL e NoSQL, além de modelagem de dados.

• Familiaridade com práticas de governança de dados (catálogo, linhagem, segurança).

• Capacidade de pensamento crítico, autonomia e resolução criativa de problemas complexos.

• Excelentes habilidades de comunicação, influência técnica e senso de responsabilidade.

🏝️ Benefits

• PLR/Bônus: Um reconhecimento extra para valorizar o seu esforço e dedicação! 💸

• Assistência Médica e Odontológica: Para que você tenha toda a segurança e cuidado com a sua saúde e a da sua família. 🏥

• Vale Refeição: Porque sabemos que uma alimentação de qualidade é essencial para o seu dia a dia! 🍽️

• Seguro de Vida: Tranquilidade e proteção para você e seus entes queridos. 🛡️

• Extensão da Licença Maternidade: 180 dias para nossas mamães aproveitarem o melhor momento com seu bebê! 👶

• Extensão da Licença Paternidade: 20 dias para que os pais também possam estar presentes nos primeiros dias de vida. 👨‍👩‍👧‍👦

• Incentivo à prática de atividade física: Acesse o Wellhub (Gympass) e o Total Pass para cuidar da saúde e manter o corpo em movimento. 🏋️‍♂️

• Vale Transporte: Para garantir que seu deslocamento até o trabalho seja tranquilo e sem preocupações. 🚆

• Convênio com o SESC: Desfrute de benefícios incríveis em cultura, lazer, saúde e muito mais! 🎭

• Clube de Descontos: Para aproveitar descontos de até 70% em produtos e serviços com mais de 2.000 parceiros no Brasil e América Latina! 🛍️

• Day-off no Aniversário: Para celebrar o seu dia com mais tranquilidade e diversão, você tem direito a um descanso no seu aniversário! 🎉

• Desconto em Farmácias: Descontos exclusivos em medicamentos para você economizar no cuidado com a saúde! 💊