Le pôle Big Data & IA d’ITNOVEM assure le build et le run d’une trentaine de projets data.
Le poste à pouvoir est rattaché à l’équipe Dataflow de l’activité Big Data & IA d’ITNOVEM.
Cette équipe est en charge des chaines d’alimentation des projets, gère les évolutions et les administre.
L’équipe est multi-site et met en œuvre :
Une plateforme d’ingestion de données
Le développement des flux d’alimentation du datalake
Le run des flux d’alimentation
La mise en qualité (transformation) de la donnée par de la DQM
L’amélioration continue sur l’architecture de la plateforme et sur les flux
Les missions
Participation active à l’équipe projet:
Rituels
Sprint planning
Participation aux tâches du backlog
Communication et partage
Participation à l’étude, chiffrage, cadrage de développement de flux en lien avec les architectes et chefs de projets/product owner
Prise en charge de tous les aspects BUILD et RUN des flux et de la plateforme d’ingestion (You build it, you run it)
Mise en place du pipeline CI/CD des flux avec les tests, validation
Templating dataflow
Mise en production des flux
Garant de la sécurité des données projet en mettant en place les bons mécanismes de protection
Garant de la QOS des flux projets en lien avec l’équipe RUN
mise en place monitoring, alerting des flux
aide et résolution des incidents (résoudre les incidents, trouver les root causes, identifier les problèmes, rédiger des REX, gérer la communication client)
astreinte et reprise en cas d’erreur de l’historique
amélioration continue de la plateforme d’ingestion (patchs, suivi de qos, amélioration de la disponibilité)
Rédige les documentations techniques d’exploitation des flux et de la plateforme d’échange
Support aux utilisateurs interne et externe
Le profil recherché
Compétences métiers & outils :
Compétences avancées sur des outils d’ETL comme talend / nifi
Mise en œuvre de flux de données
Transformation DQM de la donnée en mouvement
Compétences dans le domaine de l’administration système Unix :
Administration VM
Analyse de log
Optimisation OS
Compétences sur de l’administration de produits java
Expérience sur les plateformes cloud Azure et AWS (VM/IAAS, PAAS, azure event hubs, azure data factory, adls, sqs…)
Scripting et outils d’automatisation de déploiements (powershell, rundeck, ansible, terraform, jenkins, python, groovy,shell)
Connaissances sur des outils de supervision type Datadog
Compétences transverses :
Capacités relationnelles (travail en équipe, responsabilité, service client, échanges et présentations dans la communauté devops)
Capacités rédactionnelles (rédaction de documents d’exploitation projets et de guides de références de déploiement)
Capacité d’autonomie (responsabilisation sur les projets, capacité à intervenir dans des réunions de cadrage, amélioration continue des process , capacité d’analyse et résolution d’incidents niveau 2-3)
Expériences et formations
Bac+5/Bac+5 en informatique. Formation / certification administration cloud. Expérience significative sur le développement de flux d’ingestion de données et sur la mise en qualité de cette donnée (cleaning). Expérience du monde de la production. Expérience sur des environnements cloud.
