Een organisatie zoekt een Data Engineer om hun data-omgeving over te nemen, te beheren en verder te ontwikkelen. Deze rol is cruciaal voor de betrouwbaarheid, structurering en exploitatie van bedrijfsgegevens. De opdracht omvat data engineering, datakwaliteit, governance, rapportage en analyse, met een sterke operationele en transversale dimensie.
Het doel is om betrouwbare, gestructureerde en bruikbare gegevens beschikbaar te stellen, zodat teams hun activiteiten kunnen sturen, processen kunnen verbeteren en beslissingen kunnen nemen op basis van kwaliteitsgegevens.
Wat je doet
Data quality & governance:
- Analyseren en garanderen van de kwaliteit, betrouwbaarheid en consistentie van gegevens
- Beheren van dataconstracten en geautomatiseerde kwaliteitscontroles
- Implementeren van monitoring- en waarschuwingsmechanismen
- Zorgen voor naleving van AVG-vereisten en goede governancepraktijken
Data engineering & architecture:
- Ontwerpen, ontwikkelen en onderhouden van datapijplijnen
- Integreren van nieuwe databronnen in het datalake
- Zorgen voor dagelijkse uitvoering en monitoring van productie-pijplijnen
- Beheren van schema-evoluties en DDL-wijzigingen
- Implementeren van technieken voor entiteitsafstemming en -resolutie
- Bijdragen aan de evolutie en betrouwbaarheid van de data-architectuur
- Beheren van platformkosten (FinOps): toewijzing, monitoring, optimalisatie
Reporting, analytics & visualisation:
- Beheren en ontwikkelen van het data visualisatieplatform (Metabase), inclusief permissies en beveiligde embedding
- Ontwerpen van dashboards, metrics en rapportages voor interne teams en externe partners
- Vertalen van bedrijfswensen naar concrete data-oplossingen
- Samenwerken met teams om gegevens om te zetten in bruikbare indicatoren en analyses
Data analytics, AI & continue verbetering:
- Onderhouden en hertrainen van bestaande voorspellingsmodellen
- Verkennen en integreren van generatieve AI-, automatiserings- en Machine Learning-oplossingen in dataprocessen
- Bijdragen aan de ontwikkeling van een fraudedetectiemethodologie
- Identificeren van automatiserings- en optimalisatiemogelijkheden in dataprocessen
- Deelnemen aan transversale dataprojecten en continue verbetering
Profiel
Er wordt gezocht naar een autonoom, ervaren profiel dat in staat is om in te grijpen op de gehele dataketen, van bronintegratie tot de beschikbaarstelling en exploitatie van gegevens. De opdracht begint met het overnemen van een bestaand domein; het vermogen om een uitgebreid gedocumenteerd platform te lezen, te begrijpen en zich eigen te maken is cruciaal.
Het data-platform is in productie op Databricks, het importeert gegevens uit applicatieve databases, Cognito en S3, transformeert deze volgens een medaillon-architectuur en voedt interne rapportages en dashboards voor klanten. Het platform is de afgelopen twee jaar gebouwd en is gedocumenteerd. De voorgestelde opdracht omvat het nemen van verantwoordelijkheid en het voortzetten van lopende projecten.
Eisen
- Minimaal 5 jaar ervaring in een data-omgeving (Data Engineer, Data Analyst, Data Scientist of vergelijkbaar)
- Sterke beheersing van Python en PySpark
- Bevestigde ervaring met Databricks in productie: Unity Catalog, Delta Lake, Jobs, en implementatie via Asset Bundles (of vergelijkbare infrastructure-as-code)
- Comfortabel met Git en CI/CD-pijplijnen
- Goede beheersing van SQL en relationele databases (MySQL)
- Ervaring in het ontwerpen, transformeren en exploiteren van gegevens
- Ervaring in het ontwerpen en onderhouden van datapijplijnen
- Goed begrip van datakwaliteit- en datagovernance-uitdagingen
- Gevoeligheid voor en beheersing van cloudplatformkosten
- Kennis van matching-, deduplicatie-, fuzzy matching- en entiteitsresolutietechnieken
Wensen
- Ervaring met het AWS-ecosysteem (S3, Lambda, SQS) – een pluspunt voor Elasticsearch
- Ervaring met het beheer van een BI-tool (Metabase, Superset of vergelijkbaar)
- Ervaring met Machine Learning, met name toegepast op fraudedetectie
- Ervaring met de integratie van generatieve AI-oplossingen en automatisering in dataprocessen
Kwaliteiten.
- Sterke autonomie en het vermogen om een end-to-end data-scope te beheren
- Vermogen om als data-referent te werken voor verschillende belanghebbenden
- Analytische en pragmatische geest
- Vermogen om bedrijfsuitdagingen te begrijpen en te vertalen naar technische oplossingen
- Proactiviteit en het vermogen om verbeteringen voor te stellen
- Gemak in een transversale omgeving en in samenwerking met verschillende afdelingen
Hoe solliciteren?
Bekijk de volledige opdrachttekst en sollicitatie-informatie zodra je sollicitatie op maat klaarstaat.
Bestel een sollicitatie op maat om de volledige opdracht en sollicitatie-informatie te bekijken.
Meer context, minder losse zoekuren.
Je krijgt net genoeg context om te beoordelen of deze opdracht interessant is. De volledige briefing, klantdetails en vervolgstappen blijven beschikbaar in de app.