Data Enginner Python / Spark / Airflow j F/H INOCO

INOCO accompagne ses clients, grands comptes (banque, assurance, énergie, industrie) et start-ups, sur leurs projets IA les plus structurants. On parle de plateformes agentiques en production, d’architectures RAG à l’échelle, de systèmes multi-agents qui servent des dizaines de milliers d’utilisateurs internes.

On cherche un Data Engineer pour porter ces sujets côté client, dans des squads mixtes INOCO + équipes internes.

Ce que tu feras côté mission client

• Conception et développement des pipelines de données en Python et Spark : ingestion multi-sources (bases, API, fichiers, flux), transformations à grande échelle, modélisation en couches (bronze, silver, gold).

• Orchestration des traitements avec Airflow : écriture des DAG, gestion des dépendances, des reprises sur erreur et des backfills.

• Fiabilité et performance : optimisation des jobs Spark, contrôles qualité, monitoring, gestion du run en production, sécurité et conformité des données.

• Industrialisation : tests, CI/CD, conteneurisation, déploiement sur l’infrastructure cloud du client.

• Travail en squad avec les data scientists, AI Engineers, Ops et équipes métier pour traduire leurs besoins en jeux de données exploitables.

Ce que tu feras en interne chez INOCO

• Contribuer à structurer le pôle d’expertise Data : définir les standards, les bonnes pratiques et les architectures de référence (pipelines, orchestration, qualité, modélisation) sur lesquels la communauté INOCO s’aligne.

• Faire monter en compétences les consultants intéressés par la data engineering : sessions techniques, code reviews croisées, accompagnement sur leurs missions.

• Veille active sur l’écosystème (Spark, Airflow, dbt, Delta Lake, Iceberg, Databricks, outils de data quality et d’observabilité) et diffusion auprès de la communauté.

• Pré-vente : appui aux ingénieurs d’affaires sur les sujets data complexes, contribution aux réponses techniques et aux chiffrages.

• Animation : meet-ups, conférences, INOCODAY, projets internes. Tu peux porter les sujets qui te tiennent à cœur.

La stack typique

• Python (niveau expert attendu), SQL avancé, Scala ou Java apprécié

• Data : Spark (PySpark, Spark SQL), Airflow, dbt, Kafka, formats Parquet, Delta Lake ou Iceberg

• Plateformes : Databricks, Snowflake, BigQuery ou Synapse selon le contexte client

• Cloud : Azure, GCP ou AWS selon le contexte client

• Infra : Kubernetes (souvent OpenShift en grand compte), Docker, Terraform, CI/CD, OTEL, Dynatrace

• Qualité et gouvernance : Great Expectations, lineage (OpenLineage, Unity Catalog), catalogage

• Patterns : architecture médaillon, batch et streaming, EDA, CDC, data mesh