Een organisatie bouwt een rigoureuze, verifieerbare evaluatiesuite van Terminal-Bench taken, ontworpen om de grenzen van grote taalmodellen te testen op meertalige software-uitdagingen. Het doel is om meertalige robuustheid te meten over prompttaaleffecten, niet-Engelse gegevensverwerking en complexe locale/encoding edge cases in terminalworkflows. Er wordt gezocht naar ervaren native-sprekende software-engineers om deze benchmarks te ontwerpen, bouwen en valideren.
Je creëert taken van hoge kwaliteit die het vermogen van een model om meertalige omgevingen te verwerken, echt testen zonder afhankelijk te zijn van Engelse vertaalhulpmiddelen.
Wat je doet
- Taakengineering: Evalueren van coderingsagenten.
- Assetcreatie: Bouwen van realistische taakomgevingen met behulp van datasets en bestanden in je moedertaal. Deze assets moeten in de doeltaal blijven om meertalige verwerking echt te meten.
- Prompting & Vertaling: Het vinden van faalpunten waar AI niet werkt, in je moedertaal.
- Implementatie & Verificatie: Ondersteunen van de ontwikkeling van robuuste oplossingen (referentie-implementaties) en schrijven van zeer betrouwbare, deterministische verificatiescripts.
- Kalibratie & Uitvoering: Analyseren van uitvoerlogs en kalibreren van taakmoeilijkheid (Eenvoudig tot Zeer Moeilijk) met behulp van standaard Terminal-Bench runconfiguraties tegen verschillende modelniveaus.
- Kwaliteitsborging: Deelnemen aan een rigoureus, 4-laags menselijk kwaliteitscontroleproces (creatie, menselijke beoordeling, kalibratiebeoordeling en audit) naast geautomatiseerde LLM-gebaseerde controles om eerlijkheid, grammaticale nauwkeurigheid en benchmarkintegriteit te waarborgen.
Wat ze vragen
- Ervaring: 1+ jaar branche-ervaring in software-engineering.
- Achtergrond: Bewezen staat van dienst bij toonaangevende technologiebedrijven en/of afgestudeerd aan top-tier technische universiteiten.
- Taal: Native of bijna-native spreekvaardigheid in het Nederlands, met een diepgaand begrip van de grammatica, register en zinsbouwregels. Hoge Engelse taalvaardigheid.
- Technische Stack: Sterke vaardigheid in Python, standaard shell scripting en gegevensverwerking.
- Workflow: Uitgebreide ervaring met Terminal/CLI-gebaseerde ontwikkelworkflows en een werkende bekendheid met coderingsagenten.
- Domeinexpertise: Diepgaand technisch begrip van valkuilen bij meertalige tekstverwerking, inclusief:
- Robuustheid van encoding/decoding en Unicode-normalisatie.
- Locale-afhankelijke conventies (sortering, hoofdlettergebruik, niet-Gregoriaanse datums).
- Tekst I/O, interoperabiliteit van toolchains en veilige stringbewerkingen.
- (Voor specifieke talen) Bidirectionele/RTL-verwerking, lettertype-terugval en rendering/typografie in UI of artefacten.
Praktisch
- Niet ideaal als fulltime baan of primaire inkomstenbron. De beschikbaarheid van werk fluctueert met de projectvraag, waardoor dit beter geschikt is als aanvullende inkomstenstroom.
- Vereist betrouwbare beschikbaarheid en toewijding. Zodra je een taak accepteert, wordt kwaliteitswerk en tijdige levering verwacht.
- De meeste taken vereisen minimaal 2 uur per dag of 15-20 uur per week.
- Geografische beperkingen kunnen van toepassing zijn. Er kunnen geen contractanten worden ingeschakeld in regio's die onderworpen zijn aan internationale embargo's of sancties.
- Als onafhankelijke contractant ben je zelf verantwoordelijk voor je belastingverplichtingen.
Hoe solliciteren?
Bekijk de volledige opdrachttekst en sollicitatie-informatie zodra je sollicitatie op maat klaarstaat.
Bestel een sollicitatie op maat om de volledige opdracht en sollicitatie-informatie te bekijken.
Meer context, minder losse zoekuren.
Je krijgt net genoeg context om te beoordelen of deze opdracht interessant is. De volledige briefing, klantdetails en vervolgstappen blijven beschikbaar in de app.