Engenheiro de Dados

Nosso cliente é a maior operadora de ferrovias do Brasil e oferece serviços logísticos de transporte ferroviário, elevação portuária e armazenagem. A companhia opera 12 terminais de transbordo, 6 terminais portuários e administra cerca de 14 mil quilômetros de ferrovias nos estados de Paraná, Santa Catarina, Rio Grande do Sul, São Paulo, Mato Grosso do Sul, Mato Grosso, Minas Gerais, Goiás e Tocantins. A base de ativos é formada por 1.200 locomotivas e 33 mil vagões.

Responsabilidades e atribuições:

• É de responsabilidade da posição catalogar e criar estruturas de programas de sistemas distribuídos para processamento de ETL.
• Criar processos de integrações de dados em tempo próximo ao real, em processamentos que variam de 5 min a 1 hora e processamentos de longo termo acima de 1 hora.
• Estar familiarizado com estruturas de dados modernas como bases de dados chave e valor, relacional, não relacional, documento, grafos, colunar e lineares.
• O engenheiro de dados deve ter conhecimento de metodologias e formatos de criptografia.
• É necessário entender de gerenciadores de fluxo de execuções de tarefas. O engenheiro de dados deve garantir que o processo de governança de dados seja respeitado sob as regras da companhia.

Requisitos e qualificações: 

• Escolaridade: Computação, Engenharia de Software, ou em áreas correlatas. Conhecimento Exigido:
  Habilidade em entender a linguagem do negócio;
• Conhecimento com manipulação de grande quantidade de dados;
• Conhecimento de bancos de dados e modelagem de dados, processo de extração, transformação e carregamento de dados, Data Warehouse/Data Lake;
• Experiência em SQL / PL SQL, SAS ou Tableau ou PowerBI, gerenciamento de dados, funções de qualidade, ferramentas de Big Data (Hadoop, Hive, etc.).Conhecimentos em linguagens de programação (Java, Python, R ou Scala).
• Conhecimentos em Advanced Message Queuing Protocol (AMQP);
• Inglês avançado;
• Conhecimento de clouds AWS ou Oracle; 
• Processamento de dados utilizando Spark;
• Conhecimentos em AirFlow e Pandas;
• Utilização de Stream de Dados Kafka;Object storage Oracle e S3;
• Certificados de cloud AWS e/ou Oracle;
• Conhecimento banco de dados Oracle e Redshift;
• Experiência com Oracle Database Integrator - ODI;
• Experiência com Oracle GoldenGate;Experiência Elastic Search;
• Conhecimento de StepFunctions;Conhecimento de estruturas Serverless AWS ou Oracle;