Vous serez responsable de projets dans le monde des données pour notre client, qui couvre l’ingestion, la transformation et tous les processus de raffinement des données afin de les préparer à la veille stratégique, à la science des données, à l’apprentissage automatique ou à l’analyse.

Pour atteindre cet objectif, nous avons déjà commencé à construire une pile qui ingère les données en utilisant principalement Airbyte, Meltano, N8N, Jenkins pour pousser les données vers notre entrepôt de données BigQuery.

Ensuite, pour toutes les analyses, descriptions et tableaux de bord, nous nous appuyons sur la solution Google Looker avec le langage lookml puissant pour combiner la flexibilité et tous les processus d’ingénierie (versioning, reviews, etc.)

En tant qu’équipe de données, composée de spécialistes en intelligence d’affaires et en ingénierie des données, vous travaillerez en étroite collaboration avec l’équipe d’ingénierie qui possède de solides compétences en développement logiciel.

Compétences clés

Traitement des données : vous devriez avoir une bonne expérience dans le développement d’applications ETL/ELT/etc. avec des optimisations de performance, des défis de modélisation et de stockage.

Modélisation de données : Vous devez avoir de solides compétences avancées en BigQuery et SQL avec une compréhension des données, des structures de données, des modèles de données, des principes de dimensions et de métriques, des CTEs, de la mise en cache, etc.

Outils / Technos : Vous gérez bien les outils / langages comme Airflow, PostgreSQL, python, pile de type ELK, DBT et outils de données.

Cloud : Vous devez avoir une expérience avec Google Cloud Platform, en particulier avec les outils GCS (datalake), BQ (datawarehouse) et Cloud SQL qui sont au cœur de notre pile de données.

Ingénierie : Vous devez adopter des pratiques et des principes d’ingénierie comme l’écriture de code de haute qualité qui est facilement compréhensible et efficace, tout mettre en version, en utilisant des pipelines CI / CD et penser à la surveillance d’abord

Gestion : Vous agissez déjà en tant que responsable technique ou gérant quelques personnes dans plusieurs projets de données

Expérience technique clé requise

Minimum de 7 ans d’expérience avec des langages comme Python, SQL, GoogleSQL

Au moins 5 ans d’expérience dans la conception et le déploiement de systèmes de traitement de données distribués à grande échelle utilisant des technologies telles que MySQL, bigQuery, PostgreSQL, MongoDB, Kafka, etc. avec un client multi-tenant

Au moins 5 ans d’expérience pratique avec les projets de données GCP Cloud (Big Query, Google Cloud Storage, Cloud SQL)