Vous êtes passionné, créatif, savez imaginer et concevoir des solutions permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci ? Ce poste est peut-être pour vous !

Le Data Engineer est un pilier pour les projets data. Il construit les structures de données et met en place les briques technologiques nécessaires pour l’acquisition, l’analyse et l’implémentation des modèles qui utilisent les données dans un contexte massif de données. Son rôle est de choisir les bonnes technologies selon les besoins en collaboration avec différents métiers/projets. Le Data Engineer travaille avec les Data Scientist pour savoir quelle architecture est nécessaire au développement des modèles scientifiques afin d’aider à industrialiser son modèle et de garantir la montée à l’échelle.

Le Data Engineer chez Agaetis est en charge de :

• S’assurer que les données de nos clients soient facilement accessibles afin qu’elles puissent être exploitées par les différents métiers (DS, BI, applicatifs…)
• Veiller à la performance des modèles et applicatifs créés à partir des données
• Extraire, uniformiser et structurer les données depuis les datalakes de nos clients
• Maitriser la modélisation des données dans un datalake pour assurer la bonne exécution de ses traitements
• S’assurer de la fiabilité des données utilisées
• Mettre en place des flux de données entre les systèmes en ingestion et en exposition (batch, API, temps réel …)
• Explorer de nouvelles technologies, faire de la veille technologique
• Comprendre l’architecture Datalake dans son ensemble et préconiser des adaptations pour le déploiement et le traitement de ses modèles

Le Data Engineer que nous recherchons pour intégrer notre équipe Clermontoise, devra disposer d’au moins deux ans d’expérience à un poste similaire. De formation Bac + 5 ou École d’Ingénieur, vous disposez déjà de compétences sur les différentes technologies autour du flux de données (Nosql, sql, ETL, hadoop, kafka…) et vous connaissez l’environnement de Machine Learning (sklearn, spark ml, tensorflow..).

Connaissances recherchées :

• Rest-API (Flask, FastAPI), Databricks,
• Maîtrise de Python
• Maîtrise de différentes technologies autour du flux de données : Mongo, Nosql, SQL ETL, Hadoop, Kafka, Databricks, …
• Connaître l’environnement de Machine Learning : Sklearn, Spark ml, Tensorflow…
• Azure, Docker, k8s
• Rest-API (Flask, FastAPI)

Autres connaissances souhaitées :

• Ecosystème Apache Hadoop : Spark, Hive, Kafka streaming, AirFlow
• Cloud : Azure, AWS, Google Cloud…
• Langages Big Data : Scala, Python
• Outils de virtualisation et container : Docker, OCI, …
• Orchestrateurs : Kubernetes…
• Base de données : SQL Server, MySQL, MongoDB, Elasticsearch
• Conception de pipeline d’ingestion de données sur des frameworks de calcul distribués (Spark, Akka, Flink, etc.) temps réel (Kafka, Storm, Spark Streaming).

Les qualités requises sont :

• La créativité
• L’esprit d’équipe
• La rigueure
• La communication
• L’adaptabilité
• La curiosité
• Veille technologique

Trois entretiens :

• Entretien de préqualification
• Entretien technique
• Entretien posture et intégration