Ingénieur d'analyse Dbt

À propos de la mission. Vous aurez l'opportunité de travailler dans un environnement international et multiculturel sur des projets européens intéressants pour une organisation européenne.

Ce que vous ferez.

• Concevoir et développer des pipelines de transformation pour des workflows de données évolutifs et fiables.
• Optimiser le temps d'exécution des projets dbt.
• Concevoir, implémenter et documenter des contrôles de qualité des données et des tests de contrôle en utilisant les fonctionnalités dbt.
• Mettre en place des tests de régression automatisés et des procédures de validation pour les sorties de pipeline.
• Introduire et partager les meilleures pratiques pour la gestion et l'évolution des projets dbt.
• Interpréter les documents d'analyse commerciale et les traduire en pipelines de transformation opérationnels.

Ce qu'ils demandent. Compétences techniques.

• Expertise pratique avec dbt, de préférence dbt Core, dans des environnements de production. Vous pouvez concevoir, maintenir, tester, documenter et étendre des projets de transformation analytique modulaires.
• Forte expérience en ingénierie analytique et en modélisation de données moderne. Cela inclut les architectures en couches telles que staging, intermediate et marts, ainsi que les macros réutilisables, les contrôles de qualité des données et le CI/CD pour les projets dbt.
• Solides compétences SQL pour les transformations complexes, l'optimisation des performances et le traitement incrémental.
• Expérience pratique dans le développement de scripts de transformation PySpark pour le traitement de données à grande échelle. L'optimisation des jobs Spark est un avantage.
• Bonne compréhension de l'exécution d'Apache Spark, des stratégies de partitionnement, de l'optimisation de la disposition des fichiers et du réglage des performances dans des environnements de données distribués.
• Expérience avérée avec les tables Apache Iceberg, y compris l'évolution des partitions et des schémas, la gestion des snapshots et le voyage dans le temps. La connaissance des stratégies de compaction, du comportement des transactions et des implications en termes de performances est un avantage.
• Solide connaissance de la validation, de la réconciliation et des tests de données. Vous pouvez garantir l'équivalence fonctionnelle lors de la migration de logiciels propriétaires hérités vers dbt et PySpark.
• Familiarité avec les workflows basés sur Git, les revues de code, la gestion des versions et les pipelines de déploiement automatisés.
• Expérience avec les outils d'orchestration et de planification de jobs, tels qu'Apache Spark et Dagster, pour l'exécution de charges de travail dbt et Spark dans des environnements d'entreprise.
• Capacité à produire une documentation technique claire, couvrant la logique de transformation, les décisions de migration, le comportement des tables, les procédures opérationnelles et le transfert de support.
• Capacité à travailler avec des ingénieurs de données, des analystes, des parties prenantes commerciales et des équipes de plateforme. Vous pouvez traduire la logique héritée en transformations de données modernes évolutives et bien gouvernées.
• La connaissance de l'ETL basé sur SAS et la capacité à comprendre les bases de code héritées sont de grands avantages. L'expérience de la migration des workflows SAS vers dbt est également très appréciée.

Éducation.

• Niveau CEC 6 ou supérieur en informatique, technologies de l'information, ingénierie des systèmes ou un autre domaine pertinent.