DATA ENGINEER SCALA/SPARK (H/F)

Le poste

Vous serez intégré(e) dans l’équipe Data Science et Engineering (env. 30 personnes) de la Factory Data & IA (env. 60 personnes). La Factory conçoit, construit, déploie, et exploite les projets data pour le groupe SNCF (socles de données, traitements massifs de données, transformations complexes, algorithmes et machine learning, etc).

Nos projets sont orientés sur les axes prioritaires de SNCF : performance ferroviaire, maintenance préventive et prédictive des infrastructures et matériels roulants, connaissance client et mobilité, analyse et prédiction de consommation d’énergie, surveillance et sécurisation des assets industriels, gares / usine du futur et supply chain.

A chaque projet, l’équipe Data Science et Engineering intervient dans les décisions d’architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs, jointures, transformations métier complexes) et exposition (datalake, BDD, warehouse).

Le Data Engineer participera activement au développement et à la maintenance de nos projets, ainsi qu’à l’application et l’amélioration de nos bonnes pratiques à l’échelle de l’équipe Data Science et Engineering. Dans un premier temps, le travail portera principalement sur les projets à composante Scala/Spark.

Notre stack technique :

• Full cloud (AWS et Azure)
• Python & Scala
• Spark (essentiellement sur Databricks)
• Fullstack, API HTTP
• Serverless
• Bases relationnelles et NoSQL
• CI (Gitlab, Jenkins, Nexus, SonarQube) et CD (Ansible)
• Conteneurisation

Les missions

•  Participer au développement des projets Data Engineering
• Contribuer proactivement à la qualité et aux compétences de l’équipe Data Science et Engineering : veille techno, capitalisation, retours d’expérience, revues de code, et formations

Le profil recherché

Compétences métiers & outils :

• Expérience (académique et/ou professionnelle) dans le développement orienté data
• Expérience de Python et/ou Java/Scala, de leurs écosystèmes et bonnes pratiques
• Expérience des frameworks et librairies orientés data : Spark, Pandas, etc.
• Expérience SQL
• Connaissance des bonnes pratiques de développement : CI/CD, qualité de code, tests

Compétences techniques appréciées :

• Cloud (Azure et AWS préférés)
• Développement fullstack

Compétences transverses :

• Communication écrite et orale
• Capacité de synthèse
• Curiosité, autonomie et prise d’initiative
• Software craftmanship

Expériences et formations

Vous êtes récemment diplômé bac+5 spécialisé data, et disposez éventuellement d’une expérience professionnelle de 6 mois à 5 ans, stages de dernière année ou alternance compris.

Idéalement, vos stages ou alternances sont en lien avec le data engineering Spark.

• Bac +5 (école d’ingénieur ou/ master spécialisé en software / data engineering)
• Ou titulaire d’un doctorat en informatique / data engineering

Localisation

Poste basé à Saint Denis, avec des déplacements très ponctuels (France) pour participer aux réunions de cadrage avec les équipes métier et DSI du groupe SNCF.

Télétravail jusqu’à 3 jours par semaine.