Vous serez intégré(e) dans l’équipe Data Science et Engineering (env. 30 personnes) de la Factory Data & IA (env. 60 personnes). La Factory conçoit, construit, déploie, et exploite les projets data pour le groupe SNCF (socles de données, traitements massifs de données, transformations complexes, algorithmes et machine learning, etc).
Nos projets sont orientés sur les axes prioritaires de SNCF : performance ferroviaire, maintenance préventive et prédictive des infrastructures et matériels roulants, connaissance client et mobilité, analyse et prédiction de consommation d’énergie, surveillance et sécurisation des assets industriels, gares / usine du futur et supply chain.
A chaque projet, l’équipe Data Science et Engineering intervient dans les décisions d’architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs, jointures, transformations métier complexes) et exposition (datalake, BDD, warehouse).
Le Data Engineer participera activement au développement et à la maintenance de nos projets, ainsi qu’à l’application et l’amélioration de nos bonnes pratiques à l’échelle de l’équipe Data Science et Engineering. Dans un premier temps, le travail portera principalement sur les projets à composante Scala/Spark.
Notre stack technique :
Full cloud (AWS et Azure)
Python & Scala
Spark (essentiellement sur Databricks)
Fullstack, API HTTP
Serverless
Bases relationnelles et NoSQL
CI (Gitlab, Jenkins, Nexus, SonarQube) et CD (Ansible)
Conteneurisation
Les missions
Participer au développement des projets Data Engineering
Contribuer proactivement à la qualité et aux compétences de l’équipe Data Science et Engineering : veille techno, capitalisation, retours d’expérience, revues de code, et formations
Le profil recherché
Compétences métiers & outils :
Expérience (académique et/ou professionnelle) dans le développement orienté data
Expérience de Python et/ou Java/Scala, de leurs écosystèmes et bonnes pratiques
Expérience des frameworks et librairies orientés data : Spark, Pandas, etc.
Expérience SQL
Connaissance des bonnes pratiques de développement : CI/CD, qualité de code, tests
Compétences techniques appréciées :
Cloud (Azure et AWS préférés)
Développement fullstack
Compétences transverses :
Communication écrite et orale
Capacité de synthèse
Curiosité, autonomie et prise d’initiative
Software craftmanship
Expériences et formations
Vous êtes récemment diplômé bac+5 spécialisé data, et disposez éventuellement d’une expérience professionnelle de 6 mois à 5 ans, stages de dernière année ou alternance compris.
Idéalement, vos stages ou alternances sont en lien avec le data engineering Spark.
Bac +5 (école d’ingénieur ou/ master spécialisé en software / data engineering)
Ou titulaire d’un doctorat en informatique / data engineering
Localisation
Poste basé à Saint Denis, avec des déplacements très ponctuels (France) pour participer aux réunions de cadrage avec les équipes métier et DSI du groupe SNCF.
