En tant que Data Engineer, rattaché au pôle Data Technologies d’Equancy, vous serez amené(e) à intervenir sur des missions variées :

• Accompagnement projet dans les différentes étapes de build de plateformes (datalake, dashboards, …);
• Conception de pipeline d’ingestion et traitement de données (cycle de vie de la donnée);
• Développement de briques ETL, transformation de flux batch et temps réel;
• Création de modèle de données;
• Préparation à la mise en production de cas d’usage et industrialisation (accompagnement des data scientists, contribution à l’amélioration d’efficacité sur les déploiements);
• Formation, évangélisation sur des technologies innovantes en interne et auprès de clients;
• Contribution à la documentation des travaux;

• De formation BAC+5 ingénieur ou université;
• Minimum 2 ans d’expérience sur des sujets Big Data, avec des réalisations de projets Datalake et BI/reporting;
• Maîtrise à minima d’un des environnements Cloud AWS, GCP et Azure;
• De bonnes compétences sur les sujets ou technologies suivantes:
• Framework Spark (pySpark, Scala),
• Pandas et optionnellement scikit-learn ;
• Utilisation de Airflow ;
• ETL ;
• Api REST ;
• Bases de données SGBDR / NoSQL ;
• Docker ;
• Scripting Python et Shell ;
• Outils d’intégration continue tels que Terraform, Ansible et Jenkins ;
• Outils de développement : jupyter Notebook, Pycharm, Git ;
• Une expérience dans le développement en contexte agile serait un plus, ainsi que dans la gouvernance de donnée (RGPD) et la génération de data catalogue.