CLOUD DEVOPS FLUX BIG DATA (H/F)

Le poste

Le pôle Big Data & IA d’ITNOVEM assure le build et le run d’une trentaine de projets data.

Le poste à pouvoir est rattaché à l’équipe Dataflow de l’activité Big Data & IA d’ITNOVEM.

Cette équipe est en charge des chaines d’alimentation des projets, gère les évolutions et les administre.

L’équipe est multi-site et met en œuvre :

• Une plateforme d’ingestion de données
• Le développement des flux d’alimentation du datalake
• Le run des flux d’alimentation
• La mise en qualité (transformation) de la donnée par de la DQM
• L’amélioration continue sur l’architecture de la plateforme et sur les flux

Les missions

• Participation active à l’équipe projet:
  • Rituels
  • Sprint planning
  • Participation aux tâches du backlog
  • Communication et partage
• Participation à l’étude, chiffrage, cadrage de développement de flux en lien avec les architectes et chefs de projets/product owner
• Prise en charge de tous les aspects BUILD et RUN des flux et de la plateforme d’ingestion (You build it, you run it)
  • Mise en place du pipeline CI/CD des flux avec les tests, validation
  • Templating dataflow
  • Mise en production des flux
  • Garant de la sécurité des données projet en mettant en place les bons mécanismes de protection

• Garant de la QOS des flux projets en lien avec l’équipe RUN
  • mise en place monitoring, alerting des flux
  • aide et résolution des incidents (résoudre les incidents, trouver les root causes, identifier les problèmes, rédiger des REX, gérer la communication client)
  • astreinte et reprise en cas d’erreur de l’historique
  • amélioration continue de la plateforme d’ingestion (patchs, suivi de qos, amélioration de la disponibilité)
• Rédige les documentations techniques d’exploitation des flux et de la plateforme d’échange
• • Support aux utilisateurs interne et externe

Le profil recherché

Compétences métiers & outils :

• Compétences avancées sur des outils d’ETL comme talend / nifi
  • Mise en œuvre de flux de données
  • Transformation DQM de la donnée en mouvement
• Compétences dans le domaine de l’administration système Unix :
  • Administration VM
  • Analyse de log
  • Optimisation OS
• Compétences sur de l’administration de produits java
• Expérience sur les plateformes cloud Azure et AWS (VM/IAAS, PAAS, azure event hubs, azure data factory, adls, sqs…)
• Scripting et outils d’automatisation de déploiements (powershell, rundeck, ansible, terraform, jenkins, python, groovy,shell)
• Connaissances sur des outils de supervision type Datadog

Compétences transverses :

• Capacités relationnelles (travail en équipe, responsabilité, service client, échanges et présentations dans la communauté devops)
• Capacités rédactionnelles (rédaction de documents d’exploitation projets et de guides de références de déploiement)
• Capacité d’autonomie (responsabilisation sur les projets, capacité à intervenir dans des réunions de cadrage, amélioration continue des process , capacité d’analyse et résolution d’incidents niveau 2-3)

Expériences et formations

Bac+5/Bac+5 en informatique. Formation / certification administration cloud. Expérience significative sur le développement de flux d’ingestion de données et sur la mise en qualité de cette donnée (cleaning). Expérience du monde de la production. Expérience sur des environnements cloud.