Terug naar overzicht
Vandaag zichtbaar op IKONSNieuwPopulair
Python Engineer Coding Agent Evaluatie
LuikRemote30 uur/week<3mnd
Een technologiebedrijf verbindt specialisten met projectgebaseerde AI-mogelijkheden voor toonaangevende technologiebedrijven, gericht op het testen, evalueren en verbeteren van AI-systemen.
- Deelname is projectgebaseerd, geen vaste aanstelling.
- We bouwen een dataset om AI-codeeragenten te evalueren – hoe goed een model omgaat met realistische ontwikkeltaken.
- Taken voor dit project worden geschat op 30 uur, afhankelijk van de complexiteit. Dit is een schatting en geen schemavereiste; u kiest wanneer en hoe u werkt.
- Taken moeten vóór de deadline worden ingediend en voldoen aan de vermelde acceptatiecriteria om te worden geaccepteerd.
- Betaling per geaccepteerde taak. Uw tarief is afhankelijk van het kwalificatieniveau dat u bereikt en hoe efficiënt u taken voltooit – tot het equivalent van $200/uur.
Wat je doet
- U creëert uitdagende taken en evaluatiecriteria binnen realistische gesimuleerde omgevingen:
- Bouw realistische ontwikkelomgevingen – een virtueel bedrijf met codebase, infrastructuur en context (tickets, documenten, gesprekken) die een geloofwaardige ontwikkelgeschiedenis vormen.
- Ontwerp taken vanuit tussenliggende staten van deze omgevingen – stel de prompt op, definieer wat 'opgelost' betekent en zorg ervoor dat de taak oplosbaar is door een AI-agent.
- Schrijf tests die agentoplossingen verifiëren – accepteer alle geldige benaderingen en verwerp onjuiste, noch te streng noch te laks.
- Herhaal taken en tests op basis van QA-feedback – beoordeel agentoplossingen, analyseer storingen en verfijn totdat de evaluatie eerlijk en robuust is.
- Dit is GEEN data-labeling, GEEN prompt engineering, GEEN code schrijven vanaf nul – de agent schrijft het grootste deel van de code; u begeleidt en evalueert.
Wat ze vragen
- 8+ jaar ervaring in softwareontwikkeling.
- Kernstack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis.
- Ervaring met het schrijven van tests (functioneel, integratie).
- Engelse taalvaardigheid: B2+.
Profiel
- Geavanceerde modellen zijn al goed in coderen. Het creëren van een taak die de beste modellen echt uitdaagt, is niet triviaal.
- U moet diepgaand begrijpen waar modellen falen en welke scenario's het verschil tussen een goede en een slechte oplossing onthullen.
- Taken hebben veel geldige oplossingen – het schrijven van tests die alle correcte oplossingen accepteren en onjuiste afwijzen, is moeilijker dan het klinkt.
Praktisch
- Flexibele werktijden: u kiest wanneer en hoe u werkt.
- Volledig remote functie.
Hoe solliciteren?
Bekijk de volledige opdrachttekst en sollicitatie-informatie zodra je sollicitatie op maat klaarstaat.
Bestel een sollicitatie op maat om de volledige opdracht en sollicitatie-informatie te bekijken.
Meer context, minder losse zoekuren.
Je krijgt net genoeg context om te beoordelen of deze opdracht interessant is. De volledige briefing, klantdetails en vervolgstappen blijven beschikbaar in de app.