Tato pozice již není k dispozici.

Data Engineer - Plateforme Big Data de l’AP-HP

Smlouva na dobu určitou(24 měsíc/měsíce/měsíců)
Paris
Plat: Neuvedeno
Několik dní doma
zkušenosti: > 2 roky
Vzdělání: Magisterský stupeň vzdělání

APHP DSN
APHP DSN

Máte zájem o tuto nabídku?

jobs.faq.title

Pozice

Popis pozice

La mission de votre équipe

Afin de permettre le développement de projets de recherche innovants, en particulier dans le domaine de l’intelligence artificielle, l’AP–HP a mis en place une plateforme Big Data, infrastructure informatique propre, intégrant des capacités de stockage et de calcul pour l’exploitation sécurisée et performante des données de santé dont elle est dépositaire. Cette plateforme héberge notamment l’entrepôt de données de santé (EDS) de l’AP-HP.

L’Entrepôt de Données de Santé (EDS) de l’AP-HP intègre des données administratives et médicales de plus de 8 millions de patients hospitalisés ou venus en consultation au sein des 39 établissements de l’AP-HP (20 millions de dossiers médicaux, plus de 10 millions de diagnostics, 181 millions de résultats de laboratoires…). Cet entrepôt permet d’améliorer le pilotage de l’activité hospitalière et de faire avancer la recherche scientifique dans le domaine de la santé en favorisant la réalisation d’études sur données, la mise en place d’essais cliniques et le développement d’algorithmes d’aide à la décision.

La Plateforme Big Data de l’AP-HP compte actuellement +20 machines pour le cluster Hadoop (5To RAM, +850 Cores, 1.8Po d’espace disque), de machines GPU (24 Nvidia P40), de 10 machines dédiées aux environnements Jupyter pour l’analyse de données, et de nombreuses autres machines applicatives.

Votre équipe, le domaine « Plateforme Big Data », a pour mission l’intégration des données de santé massives et complexes (données structurés, textes, imagerie, voix, signaux physiologiques, etc.) et leur utilisation à grande échelle, de manière performante, ergonomique et sécurisée dans le respect des principes et règles de gouvernance des données définis par l’AP-HP.

Vos missions

Vous participerez activement à des projets de recherche visant à améliorer de manière décisive la prise en charge des patients atteints de Covid 19 hospitalisés en réanimation.
Vous aurez pour mission générale d’assurer le développement de la plateforme informatique du projet de recherche RECORDS. Cette plateforme permettra la gestion des données d’études observationnelles et d’un essai clinique multicentrique multi-bras adaptatif. La solution devra permettre la collecte, l’exploitation et la sauvegarde des données de la recherche (données cliniques, biologiques et omiques (génomiques, métabolomiques) pendant la durée du projet.

En tant que data engineer, vous allez :

  • Développer, en lien avec l’équipe de recherche RECORDS en charge des analyses omiques et avec la plateforme données massives de l’APHP, une solution d’intégration des données génomiques (fichiers FastQ, BAM, …) dans un espace de stockage dédié.
  • Assurer l’intégration des données analysées (fichier VCF) dans l’outil eCRF Cleanweb.
  • Exploiter les API des applications eCRF (REDCap et Cleanweb) pour l’intégration des données dans des bases de données de recherche.
  • Exploiter les API des applications eCRF (REDCap et Cleanweb) pour la mise à disposition des données via l’espace Jupyter de la Plateforme Données Massives de l’AP-HP.
  • Contribuer en mode agile au développement d’une plateforme d’intégration des outils de Recherche Clinique (PIORC).
  • Assurer la mise à disposition des données aux différents partenaires de projet RECORDS.
  • Garantir le caractère générique de la solution développée qui tout en répondant aux exigences du projet RECORDS, permettra la réalisation de nouvelles études au sein du consortium et pourra être déployée dans le cadre d’autres projets de recherche
  • Contribuer, en collaboration avec l’équipe d’infrastructure de la plateforme, au déploiement, MCO et à l’évolution de la plateforme PIORC.
  • Veiller à respecter la cohérence technique de la plateforme PIORC par rapport aux méthodes et solutions définis au sein de la Plateforme Données Massives de l’AP-HP.
  • Apporter un support utilisateurs de niveau N2/N3 et traiter les demandes de correction ou d’évolution par rapport aux outils et données mis à disposition ;

Požadavky na pozici

Idéalement, vous..

  • Avez un diplôme d’ingénieur ou équivalent (bac+5, master2) en informatique ou sciences (mathématique, physique, sciences de la vie) avec formation complémentaire en informatique
  • Maitrise en méthode de conduite de projet (planification, reporting, analyse de risques, …)
  • Maitrise l’un des langages Python, Java, Scala (Spark)
  • Connaissance en méthodes de développement logiciel (dont cycle en V, méthodes agile), méthodes d’analyse et de modélisation (Merise, UML …)
  • Avez une expérience dans la manipulation de données avec le langage SQL
  • Connaissez les standards d’interopérabilité du domaine de la santé (FHIR, OMOP, CDA, HL7, CIM, Snomed, LOINC…)
  • Connaissance des outils ETL (Talend, …) et des méthodes de data warehouse (OLTP, RDBMS…)
  • Connaissance du traitement des données massives et des technologies Big Data (Hadoop, Hive, Kafka, Spark, Elastic Search, NoSQL, etc.)
  • Avez des connaissances en administration d’environnements Linux
  • Avez des connaissances en statistiques et en droit des données informatiques
  • Avez des connaissances des bonnes pratiques de sécurité informatique et de la réglementation informatique et libertés
  • Avez un niveau d’anglais courant

Vous avez un savoir faire dans un de ces domaines :

  • Expertise en Programmation Informatique (Windows & UNIX)
  • Expertise en codage (Java et/ou Scala, Python)
  • Bonne maitrise des langages Python/R et de bash
  • Bonnes connaissance des bases de données Oracle, Postgresql ou MySQL et langages associés (sql)
  • Maîtrise des outils ETL (Talend, …), d’informatique décisionnelle et des méthodes de data warehouse (OLTP, RDBMS…)
  • Connaissance des standards d’interopérabilité du domaine de la santé (FHIR, OMOP, CDA, HL7, CIM, Snomed, LOINC…)
  • Bonne connaissance du traitement des données massives et des technologies Big Data (Hadoop, Kafka, Spark, Elastic Search, NoSQL, etc.)
  • Connaissance le moteur de recherche Apache Lucene et de sa mise en oeuvre
  • Connaissance approfondie en méthodes de développement logiciel (dont cycle en V, méthodes agile), méthodes d’analyse et de modélisation (Merise, UML …)
  • Connaissance des méthodologies devops et des outils associés (Docker, Kubernetes, Jenkins…)
  • Connaissances en méthode de conduite de projet (planification, reporting, analyse de risquesrisques, …)

Et humainement ?

  • Capacité à appréhender des enjeux liés à la recherche, à l’analyse de données et aux technologies de machine learning/deep learning, notamment dans le domaine de la santé (santé publique, génétique, épidémiologie…)
  • Des qualités d’autonomie, de flexibilité et de responsabilité
  • Curieux, dynamique et créatif, avec un réel envie de faire preuve d’innovation
  • Esprit d’équipe et la volonté de prendre part à une aventure collective
  • Sens de l’écoute, du résultat et de la qualité

Proces náboru

2-3 Entretiens

Chcete se dozvědět více?