À propos de la mission. Cette mission concerne un projet axé sur des workflows spécialisés d'extraction de données pour des cas d'utilisation réels. Votre expertise en web scraping, extraction et traitement de données est essentielle pour fournir des résultats précis, fiables et de haute qualité.
Ce que vous ferez. En tant qu'ingénieur Python en extraction de données, vous gérerez des tâches d'extraction de données nécessitant une précision technique pour l'extraction et le traitement web. Vous utiliserez des outils tels qu'Apify, OpenRouter et d'autres technologies, en plus de votre propre expertise technique.
- Gérer les workflows d'extraction de données de bout en bout sur des sites web complexes, en assurant une couverture complète, une précision et une livraison fiable des ensembles de données structurés.
- Tirer parti des outils disponibles et des workflows personnalisés pour accélérer la collecte, la validation et l'exécution des tâches tout en respectant les exigences définies.
- Assurer une extraction fiable à partir de sources web dynamiques et interactives, en adaptant les approches si nécessaire pour gérer le contenu rendu par JavaScript et les changements de comportement du site.
- Appliquer des normes de qualité des données par des contrôles de validation, des contrôles de cohérence inter-sources, le respect des spécifications de formatage et une vérification systématique avant la livraison.
- Mettre à l'échelle les opérations de scraping pour de grands ensembles de données en utilisant un traitement par lots ou une parallélisation efficace, surveiller les échecs et maintenir la stabilité face aux changements mineurs de structure du site.
Ce qu'ils demandent.
- Au moins 5 ans d'expérience pertinente en ingénierie des données, web scraping, automatisation ou développement de logiciels.
- Un baccalauréat ou une maîtrise en ingénierie, mathématiques appliquées, informatique ou domaines techniques connexes est un atout.
Profil
- Solides bases techniques et expérience pratique des scripts, de l'automatisation et des workflows d'extraction de données.
- Capacité à résoudre des problèmes non triviaux, à travailler en toute confiance avec des outils et technologies de développement modernes, et à collecter, structurer et valider systématiquement des données provenant de diverses sources.
- Une approche méthodique, axée sur les détails et la capacité à travailler de manière autonome sont essentielles.
Ce qui est demandé
- Forte expérience en web scraping Python (BeautifulSoup, Selenium ou similaire), y compris le contenu dynamique (JS, AJAX, défilement infini) et les API via des proxys.
- Capacité avérée à extraire des données de structures complexes (hiérarchies, pages archivées, HTML incohérent).
- Solide expérience en nettoyage, normalisation et validation des données, avec livraison d'ensembles de données structurés (CSV, JSON, Google Sheets).
- Expérience démontrée dans la gestion des mécanismes anti-bot et des structures de sites dynamiques à grande échelle.
- Expérience avec l'infrastructure cloud (AWS ou équivalent) et la conteneurisation (Docker) dans le cadre de workflows réels.
- Expérience pratique des frameworks LLM (LangChain, OpenRouter ou similaire) appliqués aux tâches d'automatisation.
- Grande attention aux détails et engagement envers la précision des données.
- Éthique de travail autonome avec la capacité de résoudre les problèmes de manière indépendante.
- Maîtrise de l'anglais: niveau intermédiaire supérieur (B2) ou supérieur.
- Un lien vers GitHub est un plus.
Comment postuler
Consultez le texte complet de la mission et les informations de candidature des que votre candidature sur mesure est prete.
Commandez une candidature sur mesure pour consulter la mission complete et les informations de candidature.
Plus de contexte, moins d'heures de recherche dispersees.
Vous recevez juste assez de contexte pour evaluer si cette mission est interessante. Le briefing complet, les details client et les prochaines etapes restent disponibles dans l'app.