Le Data Engineer est chargé de l’ingestion et de la mise à disposition de la donnée dans un contexte de forte volumétrie. Il intervient également dans l’industrialisation des modèles d’enrichissement des données développés par les Data Scientists.

De par ses compétences en développement, gestion de base de données et DevOps, le Data Engineer est un élément indispensable de tout projet organisé autour de la donnée. Il travaille en synergie avec les Data Scientists, les Architectes et les experts métiers.

Ses missions englobent les problématiques de performance des outils de traitement et stockage de la donnée, mais également des questions liées aux mesures de qualité de cette dernière, en particulier dans le cas d’un projet demandant l’ingestion et le croisement de différentes sources de données.

Le Data Engineer chez Agaetis est en charge de :

• mettre en place et administrer les bases de données ;
• maîtriser la modélisation de la donnée en base et s’assurer de sa qualité ;
• déployer les connecteurs permettant aux Data Scientists de requêter la donnée depuis différentes sources et sur différentes plateformes ;
• industrialiser les modèles et algorithmes développés par les équipes de Data Scientists ;
• développer et déployer les APIs permettant la mise à disposition de données enrichies à des tiers ;
• concevoir et maintenir des outils de monitoring et de visualisation de la donnée.

Nous recherchons un Data Engineer Junior pour venir étoffer notre équipe data Clermontoise, le candidat devra remplir les conditions suivantes:

Profil recherché:
Diplôme d’école d’ingénieur informatique ou équivalent Bac +5

Connaissances recherchées (A minima une connaissance théorique de ces outils) :

• Python (incluant Numpy, Pandas et une expérience d’un framework d’API: FastAPI, Flask,…)
• (py)Spark ou tout autre outil permettant de manipuler une forte volumétrie de données
• Base de données et requêtes: SQL, MongoDB,…

Autres connaissances souhaitées :

• Ecosystème Batch & Streaming : Kafka, Kafka streaming, AirFlow
• Cloud : Azure, AWS, Google Cloud…
• Langages : Python, Java, Scala
• Outils de virtualisation et container : Docker
• Orchestrateurs : Kubernetes
• Base de données : SQL Server, MySQL, MongoDB (RDBMS & NoSQL)
• Conception de pipeline d’ingestion de données sur des frameworks de calcul distribués (Spark, Flink, etc.) temps réel (Kafka, Spark Streaming).

Les qualités requises :

• La créativité
• L’esprit d’équipe
• La rigueur
• L’adaptabilité
• La curiosité
• Veille technologique

1- Un entretien pour évaluer la posture et l’intégration
2- Un entretien technique sous forme de mise en situation