Le Data Engineer est chargé de l’ingestion et de la mise à disposition de la donnée dans un contexte de forte volumétrie. Il intervient également dans l’industrialisation des modèles d’enrichissement des données développés par les Data Scientists.

De par ses compétences en développement, gestion de base de données et DevOps, le Data Engineer est un élément indispensable de tout projet organisé autour de la donnée. Il travaille en synergie avec les Data Scientists, les Architectes et les experts métiers.

Ses missions englobent les problématiques de performance des outils de traitement et stockage de la donnée, mais également des questions liées aux mesures de qualité de cette dernière, en particulier dans le cas d’un projet demandant l’ingestion et le croisement de différentes sources de données.

Le Data Engineer chez Agaetis est en charge de :

• mettre en place et administrer les bases de données ;
• maîtriser la modélisation de la donnée en base et s’assurer de sa qualité ;
• déployer les connecteurs permettant aux Data Scientists de requêter la donnée depuis différentes sources et sur différentes plateformes ;
• industrialiser les modèles et algorithmes développés par les équipes de Data Scientists ;
• développer et déployer les APIs permettant la mise à disposition de données enrichies à des tiers ;
• concevoir et maintenir des outils de monitoring et de visualisation de la donnée.

Nous recherchons un Data Engineer Expérimenté pour venir étoffer notre équipe data Clermontoise, le candidat devra remplir les conditions suivantes :

Profil recherché :

• Diplôme d’école d’ingénieur informatique ou équivalent Bac +5
• Au minimum 5 ans d’expérience sont nécessaires

Connaissances recherchées :

• Python (incluant Numpy, Pandas, framework d’API: FastAPI, Flask,…), Java
• Ecosystème Batch & Streaming : Kafka, Kafka streaming, AirFlow, (py)Spark**
• Base de données et requêtes: SQL, MongoDB …
• Une expérience des outils de Cloud : Azure (databricks, DeltaLake), AWS, Google Cloud

Autres connaissances souhaitées :

• Langages: Python, Java, Scala
• Outils de virtualisation et container : Docker
• Orchestrateurs : Kubernetes
• Conception de pipeline d’ingestion de données sur des frameworks de calcul distribués (Spark, Flink, etc.) temps réel (Kafka, Spark Streaming).

Les qualités requises :

• La créativité
• L’esprit d’équipe
• La rigueur
• L’adaptabilité
• La curiosité
• Veille technologique

1- Un entretien pour évaluer la posture et l’intégration
2- Un entretien technique sous forme de mise en situation