Au sein d’un de nos clients, leader de la transition énergétique, tu interviens en tant que Data Engineer Confirmé.

Une migration est en cours pour passer à Databricks. Dans ce cadre, l’ensemble des données et traitements existants doivent être migrés sur Databricks. L’objet de cette prestation est d’appuyer l’équipe dans cette migration, en reproduisant les traitements existants et en les optimisant.

La maitrise de DataBricks est donc indispensable.

Tes missions sont les suivantes :

1. Mettre automatiquement à disposition des données sur la plateforme

2. Automatiser les processus liés aux données

3. Assurer la maintenance et l’optimisation des traitements en place

4. Adapter constamment le modèle de données pour répondre aux besoins des utilisateurs

5. Surveiller tous les services de la plateforme (disponibilité, intégration, qualité, consommation, etc.)

6. Contribuer aux travaux de migration de la plateforme

7. Tester et proposer de nouveaux outils pour améliorer le fonctionnement de la plateforme de données

Tu as une très bonne maitrise de l’outil Databricks ainsi que des langages Python, Spark, SQL. Une bonne aisance relationnelle, et une forte autonomie sont attendues. L’équipe fonctionne en mode Scrum, et la BU suit les principes d’agilité à l’échelle (SAFe).

Les travaux nécessitent la maitrise des langages cités avant (Python, SQL). Des notions Shell, Scala et Java sont des plus. La connaissance des plateformes type Databricks ainsi que des services AWS aideront à l’adaptation et à la réalisation des tâches quotidiennes. Des connaissances en réseau, cybersécurité et des principes DevOps (CI/CD) seront appréciés.