Au sein du pôle Data Services de SNCF CONNECT, le/la Data Engineer Senior contribue à la conception, à l’industrialisation et à l’évolution des solutions data à l’échelle du groupe.
Il/elle intervient sur l’architecture, la modélisation et l’optimisation des pipelines de données et joue un rôle structurant dans la mise en œuvre de la stratégie Lakehouse.
Acteur clé des décisions techniques, il/elle accompagne également la montée en compétence des Data Engineers et contribue à l’excellence technique du pôle.
1. Contexte
Le pôle Data Services est composé de :
- 15 Data Engineers
- 4 Data Ops
- 2 Staff Engineers Data
- 1 Enterprise Architect Data
- 2 Engineering Managers
- 2 Product Managers Data
- Product Owners, Data Analysts et Scrum Masters
Le/la Data Engineer Senior intègre l’une des 4 équipes Data et collabore étroitement avec les équipes Produit, Techniques et Métiers dans un environnement agile.
2. Missions principales
Conception et développement de pipelines
- Concevoir, développer et optimiser des pipelines de données à grande échelle.
- Implémenter des flux batch, streaming et ingestion API.
- Structurer les transformations selon une modélisation Médaillon (Bronze / Silver / Gold).
- Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
- Contribuer à l’évolution de l’architecture Lakehouse du groupe.
Industrialisation et mise en production
- Déployer, maintenir et optimiser les pipelines dans un environnement cloud (AWS ou équivalent).
- Orchestrer les workflows ETL/ELT (Airflow).
- Mettre en place des infrastructures as Code (Terraform).
- Exploiter des environnements conteneurisés (Docker, Kubernetes selon le contexte).
- Superviser les traitements, garantir la disponibilité des services, gérer les incidents et améliorer l’observabilité.
Qualité, conformité et documentation
- Définir et implémenter les règles de qualité des données (tests, contrôles automatisés, validation).
- Documenter les architectures, choix techniques, pipelines et règles métier.
- Garantir la conformité et la sécurité des flux, notamment au regard des exigences RGPD.
Leadership technique et accompagnement
- Accompagner les Data Engineers juniors et intermédiaires dans leur progression.
- Participer aux décisions techniques structurantes aux côtés des Staff Engineers et de l’Enterprise Architect Data.
- Challenger les pratiques existantes et promouvoir les standards d’ingénierie (qualité, performance, maîtrise des coûts, sécurité).
- Contribuer à la vision technique et à l’architecture globale de la plateforme Data Services.
Collaboration et relationnel
- Comprendre et challenger les besoins métiers afin de proposer des solutions data adaptées et pérennes.
- Vulgariser les sujets techniques auprès d’interlocuteurs variés (Produit, Métier, Technique).
- Travailler en étroite collaboration avec les Data Analysts, Product Owners et Product Managers Data.
3. Stack technique
Transformation & modélisation
Spark, DBT, SQL, Scala, modélisation Médaillon
Formats & stockage
Iceberg, Parquet
Orchestration
Airflow
Cloud & infrastructure
AWS (S3, Glue, Lambda, EMR, Kinesis…), Terraform
Conteneurisation
Docker, Kubernetes
Développement & qualité
Python, Git, CI/CD, tests unitaires et d’intégration
Méthodologies
Agile / Scrum, documentation structurée
Profil Recherché
- Expérience significative (5 ans minimum) en Data Engineering.
- Maîtrise avancée des architectures Big Data et Lakehouse.
- Solides compétences en modélisation (Médaillon), ingestion et transformation de données.
- Expertise sur Spark, DBT, Iceberg, AWS, Terraform et environnements conteneurisés.
- Capacité à intervenir sur des pipelines complexes à forte volumétrie.
- Excellentes compétences relationnelles et capacité à interagir avec des profils variés.
- Aptitude à accompagner et mentoriser les équipes.
- Rigueur, autonomie, esprit analytique et culture d’amélioration continue.
Rejoindre SNCF Connect & Tech :
- C’est intégrer la plus grande communauté d’experts des transformations numériques, en France, dans le secteur des mobilités et devenir un #DigitalMobilityChanger.
- C’est innover pour rendre les mobilités durables accessibles à tous", en incarnant les valeurs de l'entreprise : Citoyenneté, Audace, Performance, Ouverture, Confiance.
- C'est continuer à apprendre et grandir grâce à un programme de formation adaptée aux envies de chacun
- C'est bénéficier d'un package financier compétitif et équitable fondé sur un principe de méritocratie collective et individuelle
- C'est évoluer au sein d’une entreprise humaine, inclusive qui favorise un bon équilibre de vie pro/perso (jusqu’à 3 jours de télétravail par semaine), certifiée Great Place to Work pour la 4è année consécutive
- C'est s’engager au service d’une société durable et solidaire, en favorisant des comportements, des mobilités et des usages responsables