À propos de la mission. Une organisation recherche un(e) Data Engineer pour reprendre, opérer et faire évoluer son environnement de données. Ce rôle est central pour la fiabilisation, la structuration et l'exploitation des données de l'entreprise. La mission couvre les enjeux de data engineering, data quality, gouvernance, reporting et analytics, avec une forte dimension opérationnelle et transverse.
L'objectif est de mettre à disposition des données fiables, structurées et exploitables, permettant aux équipes de piloter leur activité, d'améliorer leurs processus et de prendre des décisions basées sur des données de qualité.
Vos responsabilités. Data quality & gouvernance:
- Analyser et garantir la qualité, la fiabilité et la cohérence des données
- Faire vivre les contrats de données et les contrôles de qualité automatisés
- Mettre en place des mécanismes de monitoring et d'alerting
- Veiller au respect des exigences RGPD et des bonnes pratiques de gouvernance
Data engineering & architecture:
- Concevoir, développer et maintenir les pipelines de transformation de données
- Intégrer de nouvelles sources de données au datalake
- Assurer le run quotidien et le monitoring des pipelines de production
- Gérer les évolutions de schémas et les changements de DDL
- Mettre en œuvre des techniques de rapprochement et de résolution d'entités
- Contribuer à l'évolution et à la fiabilisation de l'architecture Data
- Piloter les coûts de la plateforme (FinOps): attribution, suivi, optimisation
Reporting, analytics & visualisation:
- Administrer et faire évoluer la plateforme de data visualisation (Metabase), y compris les permissions et l'embedding sécurisé
- Concevoir des dashboards, métriques et reportings à destination des équipes internes et de partenaires externes
- Traduire les besoins métiers en solutions data concrètes
- Collaborer avec les différentes équipes afin de transformer les données en indicateurs et analyses exploitables
Data analytics, IA & amélioration continue:
- Maintenir et réentraîner les modèles de prévision déjà en production
- Explorer et intégrer des solutions d'IA générative, d'automatisation et de Machine Learning dans les processus Data
- Contribuer au développement d'une méthodologie de détection de fraude
- Identifier les opportunités d'automatisation et d'optimisation des processus Data
- Participer aux projets Data transverses et à l'amélioration continue
Profil
Un profil autonome et expérimenté est recherché, capable d'intervenir sur l'ensemble de la chaîne de données, de l'intégration des sources à la mise à disposition et à l'exploitation des données. La mission débute par la reprise d'un périmètre existant: la capacité à lire, comprendre et s'approprier une plateforme documentée dense est déterminante.
La plateforme de données est en production sur Databricks, elle ingère les données des bases applicatives, de Cognito et de S3, les transforme selon une architecture médaillon et alimente les reportings internes ainsi que des dashboards pour les clients. Elle a été construite ces deux dernières années et est aujourd'hui documentée. La mission proposée consiste à en prendre la responsabilité et à poursuivre les chantiers ouverts.
Ce qui est demandé
- Minimum 5 ans d'expérience dans un environnement Data (Data Engineer, Data Analyst, Data Scientist ou fonction similaire)
- Solide maîtrise de Python et de PySpark
- Expérience confirmée de Databricks en production: Unity Catalog, Delta Lake, Jobs, et déploiement par Asset Bundles (ou équivalent infrastructure-as-code)
- Aisance avec Git et les pipelines CI/CD
- Bonne maîtrise de SQL et des bases relationnelles (MySQL)
- Expérience dans la conception, la transformation et l'exploitation de données
- Expérience dans la conception et le maintien de pipelines Data
- Bonne compréhension des enjeux de Data Quality et de Data Governance
- Sensibilité aux coûts d'une plateforme cloud et à leur maîtrise
- Connaissance des techniques de matching, déduplication, fuzzy matching et résolution d'entités
Atouts.
- Expérience de l'écosystème AWS (S3, Lambda, SQS) – un plus pour Elasticsearch
- Expérience de l'administration d'un outil de BI (Metabase, Superset ou équivalent)
- Une expérience en Machine Learning, notamment appliqué à la détection de fraude
- Une expérience dans l'intégration de solutions d'IA générative et d'automatisation dans des processus Data
Qualités.
- Forte autonomie et capacité à prendre en charge un périmètre Data de bout en bout
- Capacité à travailler comme référent Data auprès de différents interlocuteurs
- Esprit analytique et pragmatique
- Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques
- Proactivité et capacité à proposer des améliorations
- Aisance dans un environnement transverse et en collaboration avec différents métiers
Comment postuler
Consultez le texte complet de la mission et les informations de candidature des que votre candidature sur mesure est prete.
Commandez une candidature sur mesure pour consulter la mission complete et les informations de candidature.
Plus de contexte, moins d'heures de recherche dispersees.
Vous recevez juste assez de contexte pour evaluer si cette mission est interessante. Le briefing complet, les details client et les prochaines etapes restent disponibles dans l'app.