Nous souhaitons intégrer un(e) data engineer Scala/Spark (H/F) senior (5 ans d’expérience minimum) pour accompagner l’équipe dans la consolidation de son expertise technique et piloter plusieurs projets pour les métiers et DSI de SNCF.
Les projets d’engineering Scala/Spark concernent tout le domaine du calcul distribué. La donnée peut-être exposée via une API HTTP (Python ou Scala).
Les projets abordent des thématiques très variées liées aux problématiques industrielles, opérationnelles et stratégiques des métiers du groupe SNCF :
La maintenance du matériel roulant et l’optimisation des processus ;
La maintenance des voies et caténaires ;
La surveillance du réseau et des cartographies déclinées sur les problématiques prioritaires ;
L’analyse du langage naturel, notamment sur des enquêtes et rapports techniques
L’optimisation des plans horaires, la prévision de perturbations ;
L’analyse des données IoT.
Les missions
Travailler sur des cadrages Data Science / Data Engineering en réponse aux problématiques des métiers du Groupe SNCF portées par les clients internes de la Fab Big Data (POC, prototypes et industrialisation)
Participer comme expert à la démarche de conseil technique et scientifique du pôle d’expertise auprès des métiers du groupe SNCF ;
Améliorer la qualité de nos projets par la mise en place d’outils et de bonnes pratiques liés à la qualité de code (craft, CI/CD, documentation)
Favoriser l’adoption de ces outils et bonnes pratiques par un accompagnement de l’équipe :
Revues de code
Workshops
Création de librairies
Industrialiser les projets ou les services data en développant une chaîne de traitement de données robuste et automatisée
Spécifications techniques
Release plan des différents livrables
Ingestion et mise en qualité des données selon les bonnes pratiques de la FAB
Traitement, agrégation et sauvegarde des données
Intégration continue (versionning, packaging, tests et déploiement)
Exposition des APIs sous forme de webservices REST
Configuration des briques logicielles
Etroite collaboration avec le chef de projet, OPS et architectes
Participation aux activités d’architecture, conception et développement
Recette et mise en production
Contribuer proactivement à la veille scientifique et technique, aux projets R&D, et à la construction d’assets et de services techniques orientés data ;
Participer à l’animation de la filière Data et à l’implémentation des pratiques Data au sein des métiers (formations, conseil et expertise) ;
Participer aux autres activités du pôle Data Science & Engineering (reporting d’activité, communication interne et externe, collaboration avec les universités et laboratoires associés).
Le profil recherché
Compétences techniques
Pour un profil expérimenté, par expertise on entend des connaissances poussées et une pratique répétée sur des projets significatifs (build et run). Par maîtrise on entend une maîtrise théorique et une utilisation appliquée. Par connaissance, on entend une connaissance théorique des notions de base et une capacité à monter rapidement en compétence et à appliquer.
Expertise des principes architecturaux et algorithmes de traitement de données (ETL, streaming, SQL, graphes…)
Expertise dans la construction d’un projet Data bout-en-bout et son passage en exploitation
Expertise sur le langage Scala
Expertise du framework Spark (pratiques de développement, optimisation)
Maitrise de la stack Databricks
Maitrise des composants Azure (Azure Function, ACI, AKS, ADF, etc.) ou de leur équivalent cloud concurrent
Maîtrise de l’intégration continue : Maven, Git, Jenkins, Nexus
Maîtrise dans l’utilisation de bases de données relationnelles et NoSql (schéma, optimisation des requêtes, partitionnement, procédures stockées…)
Maîtrise sur les APIs REST, y compris leurs mécanismes de sécurisation
Maîtrise du cycle de vie des données
Connaissances sur les composants BI
Connaissances dans l’architecture microservice
Connaissances dans la gouvernance des données, notamment personnelles (Traçabilité, Sécurité Authentification et Autorisation, Audit)
Qualités personnelles et compétences fonctionnelles
Capacité et volontarisme dans l’accompagnement client sur le lien technico-fonctionnel
Transversalité et capacité à travailler avec des équipes pluridisciplinaires
Orienté client, qualité et résultat (jusqu’à l’industrialisation des projets)
Rigueur, autonomie et organisation
Posture d’excellence technique et organisationnelle dans les projets, pour l’équipe
Implication dans les communautés data (meet-ups, blog, medium, etc.)
Qualité et sérieux dans le développement de code
Bonne communication scientifique et bon sens de la pédagogie
Expériences et formations
Vous justifiez d’une expérience significative (minimum 5 ans) dans des équipes de développement Data. Vous avez occupé au minimum un poste d’expert technique, idéalement sur des cas d’usage industriels. Idéalement, vous avez déjà occupé un poste de responsable d’équipe, lead ou Scrum Master.
Bac +5 en mathématiques appliquées, statistiques ou informatique (école d’ingénieur ou/ master spécialisé)
Ou titulaire d’un doctorat en informatique / data engineering
