Connexion et intégration des différentes sources de données :

• Identifier et connecter les diverses sources de données internes et externes de l’entreprise (bases de données, APIs, fichiers, systèmes externes, etc.).

• Assurer l’intégration des données provenant de ces sources dans un entrepôt de données centralisé, accessible et performant.

Alimentation de l’entrepôt de données :

• Concevoir, développer et maintenir des pipelines ETL (Extract, Transform, Load) permettant de centraliser et d’alimenter l’entrepôt de données.

• Automatiser les processus d’alimentation pour garantir la fraîcheur et la cohérence des données.

Nettoyage, structuration et transformation des données :

• Veiller à la qualité des données en nettoyant et en structurant les données brutes pour les rendre exploitables

• Mettre en œuvre des processus de transformation des données afin de les adapter aux besoins des équipes métiers et des analysts

Préparation des modèles de données pour les Data Analysts et Data Scientists :

• Créer des modèles de données structurés et performants, adaptés aux besoins spécifiques des Data Analysts et Data Scientists.

• Collaborer avec ces équipes pour comprendre leurs besoins en matière de données et préparer des jeux de données optimisés pour les analyses avancées et la modélisation statistique

Optimisation des performances des bases de données :

• Garantir la performance, la scalabilité et la sécurité des bases de données, tout en veillant à leur intégrité.

• Optimiser les requêtes et les processus de traitement des données pour garantir des performances élevées à grande échelle

Collaboration inter-équipes :

• Travailler étroitement avec les Data Scientists, les Data Analysts et les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées

• Participer activement à la définition de l’architecture de données de l’entreprise

• Expérience : Au moins 5 ans d’expérience en tant que data-engineer.

• Maitrise des connecteurs de données (ODBC, Rest API)

• Maitrise de langages de programmation (SQL, python)

• Maitrise des bases de données (MySQL, PosgreSQL, NoSQL) et de leurs outils d’administration Maitrise des environnements et services Cloud associés AWS ou GCP

• Maitrise des technologies de streaming et d’orchestration : Kafka / Debezium, AirFlow, etc.

• 1er call avec Licorne Society

• Entretien avec une Responsable RH

• Entretien avec le Lead Data Factory

• Entretien technique avec le Lead Data Factory et un membre de l’équipe