Visian, Société de conseil spécialisée en innovation, design produit, gestion de projet IT et développement Data. Recherche un Data Engineer pour un de ces clients dans le domaine de l’énergie.

Nous recherchons un data engineer expérimenté pour travailler au sein de l’équipe Agile de notre client dans le secteur de l’énergie.
Le projet une migration vers une nouvelle Data Platform. Il s’agit d’un Lake House (AWS + DataBricks) + base de donnée à faible latence.

Missions :

• Contribuer à la migration de tous les assets C3 (flux, batch en python/Javascript, API) - la migration vient de commencer

• Être en relation avec les équipes infrastructure, ainsi que les autres équipes du train Safe.

• Analyse d’anomalie et proposition solution court / moyen terme

• Developpement sous Databrick (Python / PySpark / SQL / Spark / Airflow)

• Être force de propositions techniques

• Développement / MCO sur la plateforme C3AI (batch ou API).

• Participer à la modélisation et l’analyse de données.

• Participer au Daily et aux cérémonies Agiles/Scrum, framework Safe

Stack :

• Batch

• APIs Rest :

• Javascript

• Python (ScikitLlearn)

• PySpark

•  AWS : Glue (Spark/Python) et Service managé (S3, Lambda, ECS..)

• Github, Jenkins, Terraform

• Cassandra, PostgreSQL

• Grafana, Splunk, InfluxDB

• Développement sur la plateforme PaaS : C3ai

• Connaissance Java apprécié

• Agile/Scrum

• JIRA, Confluence

Profil Recherché :

• +3ans d’expériences

• Solides compétences en programmation

• Connaissance approfondie des plateformes cloud (AWS) et de leurs services associés.

• Expérience dans la mise en œuvre de solutions de stockage de données et d’entrepôts de données cloud.

• Familiarité avec les principes du développement orienté objet avec une expertise en Python.

• Capacité à travailler de manière autonome, à résoudre des problèmes complexes et à gérer plusieurs tâches simultanément.

• Maîtrise de l’anglais (écrit et parlé) pour une communication efficace au sein d’une équipe internationale.

• 1 échange téléphonique (30min)

• 1 test technique (40min)

• 1 échange dans nos bureaux avec la direction et un consultant tech sénior (1h30min)