Week 5 · Variatie en modelkeuze
Kan je je eigen cijfers vertrouwen?
Krijg ik twee keer hetzelfde antwoord?
10:30 · Vorige week
Week 4: tokens en kosten
01Je betaalt per token. Output kost 5× zoveel als input.
02De context: ± 32.000 tokens voor je één woord typt. Jouw deel: ± 1%.
03Caching: dezelfde run kan 9× goedkoper zijn.
04Abonnement is geen API. Uber: AI-budget op in vier maanden.
05Eén run kost centen. × je volume per jaar: dát is de vraag.
Overgeslagen: de value chain. Vandaag, na de pauze.
Vandaag
Om 13:30 heb je
01Je foutmarge: je claim bevestigd of ingetrokken
02Drie setups van je tool, met score en kost
03Je value chain, met een bereik in plaats van één getal
04build/dashboard.html, met een publieke link
05Een juiste prijs in kosten.md
06Een begin van je post, met je AI-ismen
>_Terminal
10:32 · Start
Open je AI in je eigen map. Typ:
Claude/week start week 5
Codex$week start week 5
Check: staan je prompt, je testset en kosten.md in build/? Nee? Zeg het meteen.
>_Terminal
10:34 · Nieuw
De skill context heet nu profiel.
/contextJe ziet weer wat je tool meestuurt.
/profielJe profiel aanpassen. Codex: $profiel
context.mdJe bestand blijft gewoon staan.
>_Terminal
10:35 · Haiku
Welke Haiku had je?
Kreeg je 5.5 en rekende je met 4.5? Dan staat je kost tien keer te hoog.
Prijs per miljoen tokens
Haiku 4.5$1 in · $5 uit
Haiku 5.5$0,10 in · $0,50 uit
Check het
/model haiku
→ stuur één woord
/cost
Welke naam staat er: haiku-4-5 of haiku-5-5?
>_Terminal
10:36 · Haiku 5.5
Op Haiku 5.5: geloof de dollars in /cost niet.
Claude Code rekent Haiku 5.5 aan de prijs van Opus. Dat is ± 40 keer te veel.
01Neem de tokens uit /cost
02Reken zelf, met de tabel in de README
03Pas build/kosten.md aan in deze pull request
04Laat de oude regel staan: "gecorrigeerd in week 5"
Zeker Haiku 5.5? Typ /model claude-haiku-5-5
10:37 · De gok
Een student. Dezelfde prompt. Dezelfde website.
Week 3nee · nee
Week 4ja · ja
Wat veranderde er?
Handen omhoog
01A — de student paste de prompt aan
02B — het model leerde bij
03C — de aanbieder veranderde het model
04D — toeval
10:41 · Wat veranderde er?
We weten het niet. En dat is de les.
A valt af: de prompt was identiek. B valt af: een model leert niets van je runs.
2 runs is te weinigEen echte verandering of toeval? Met twee runs zie je het verschil niet.
Geen model in je logDan kan je een modelwissel niet uitsluiten. Vandaag bleek: "haiku" kan 4.5 of 5.5 zijn.
Daarom vandaag: 3 runs per versie, en het model in je log.
10:45 · Evals
Zo testen bedrijven AI
Veel gevallen, automatisch nagekeken, bij elke wijziging opnieuw.
Veel gevallenMeer vragen met automatische beoordeling verslaan weinig vragen met handwerk. Anthropic
Drie beoordelaarscode (snel, zonder nuance) · mens (traag, duur) · een LLM: eerst testen, dan opschalen. Anthropic
LLM nagekeken door mensenHoneycomb: 3 rondes tot de LLM-beoordelaar het in meer dan 90% eens was met een expert.
Bij elke wijziging opnieuwContinue evaluatie, de testset groeit mee. OpenAI · Rechat: honderden tests bij elke wijziging.
Meerdere runs per gevalτ-bench: GPT-4o loste ± 61% op in één run, maar minder dan 25% in alle 8 runs.
Eigen evals, geen ranglijstEen publieke benchmark test jouw toepassing niet. Haal nieuwe gevallen uit je logs. OpenAI
10:49 · Evals
Jouw testset is dezelfde machine, in het klein.
Bij een bedrijfBij jou
Golden dataset: honderden gevallenT01 tot T10, het antwoord vooraf
Automatische beoordelaar, nagekeken door mensenje agent met jouw regel, jij checkt twee antwoorden
Opnieuw bij elke prompt- of modelwisselvandaag: oud en nieuw, opnieuw
Meerdere runs per gevalvandaag: 3 runs per versie
Eigen evals, geen publieke benchmarkjouw inputs, jouw plek
10:52 · Evals
Vier regels.
Breek je er één, dan zegt je score niets meer.
01Dezelfde inputs
02Dezelfde n · "6 op 10" tegen "4 op 5" is geen vergelijking
03Het antwoord eerst
04Nooit achteraf herlabelen
>_Terminal
10:55 · Demo · Foutmarge
Run 1 zegt: v2 wint.
Drie runs zeggen: binnen de foutmarge.
Ingetrokken.
Mailsorteerder · 5 inputs · 3 runs · Haiku 4.5
VersieRun 1Run 2Run 3Min–max
v1 · kaal4/54/54/54–4
v2 · met regels5/54/54/54–5
T03: v2 fout in 2 van 3 runs. 30 runs samen: $0,078.
>_Terminal
10:59 · Lus 1
Lus 1: je foutmarge
Je laatste versie en de versie ervoor. Zelfde inputs. 3 runs elk. Het model in je tabel.
Zoals bij een peiling: een verschil binnen de foutmarge is geen verschil.
Bevestigdhet laagste van nieuw ligt hoger dan het hoogste van oud
Ingetrokkende bereiken overlappen: binnen de foutmarge
Ingetrokken is geen slecht cijfer.
Duurt het te lang? 5 inputs, voor beide versies dezelfde. Schrijf n = 5.
>_Terminal
11:00 · Lus 1 · Plak dit bij je agent
Plak dit bij je agent
Draai mijn foutmargetest. Neem mijn laatste versie van de prompt en de versie ervoor, uit `build/`, of uit git als ze daar niet meer staat. Draai beide op dezelfde inputs uit `build/test-set.md`, 3 runs per versie, op hetzelfde model als mijn testset. Elke run in een nieuwe, aparte sessie met alleen de prompt en de input, zonder tools: bij Claude `claude -p --tools ""`, bij Codex `codex exec`. Draai ze parallel als dat kan. Geef het model nooit de verwachte antwoorden. Vergelijk daarna elk antwoord met het verwachte antwoord uit mijn testset, en maak een tabel: de score per run per versie, en per versie de laagste en de hoogste score. Noteer het model. Pas mijn verwachte antwoorden niet aan. Zet alles in `build/foutmarge.md`.
11:17 · Checkpoint
Oud4–4
Nieuw4–5
Overlappen ze? → binnen de foutmarge → ingetrokken.
Jouw oud en nieuw: overlappen ze?
11:20 · Pelikaantest
"Generate an SVG of a pelican riding a bicycle."
Simon Willison test elk nieuw model met deze ene zin.
Vijf setupsHaiku 4.5 low · Haiku 5.5 low · Haiku 5.5 high · Sonnet 5.5 · Opus 5.5
Welke pelikaan kwam van welke setup?
11:23 · Jouw gok
A
B
C
D
E
Jouw gokA_ B_ C_ D_ E_Haiku 4.5 low
Haiku 5.5 low
Haiku 5.5 high
Sonnet 5.5
Opus 5.5
Haiku 5.5 low
Haiku 5.5 high
Sonnet 5.5
Opus 5.5
11:26 · Onthulling · kost per pelikaan
A
Haiku 5.5 · effort high$0,0017 · 2×
B
Opus 5.5$0,0267 · 35×
C
Haiku 4.5 · effort low$0,0088 · 12×
D
Sonnet 5.5$0,0141 · 19×
E
Haiku 5.5 · effort low$0,00076 · 1×
Eén pelikaan35×Opus kost 35 keer de goedkoopste. Zie jij 35 keer het verschil?
11:29 · Buiten de gok
Maximale intelligentie: Fable 5.1, effort max
Per pelikaan$0,87 · €0,78
Tijd3,6 min
Output17.122 tokens, waarvan 14.046 denkwerk
× goedkoopste± 1.100× Haiku 5.5 low ($0,00076)
Beter? Ja. 1.100 keer beter?
>_Terminal
11:31 · Live
Zelfde model. Zelfde zin. Nog een keer.
Haiku 5.5 · effort low · live
E
?
11:33
Duurder is niet altijd beter.
En hetzelfde model geeft twee keer een andere pelikaan.
Nu op je eigen tool: valt het verschil binnen je foutmarge?
11:35 · Lus 2 · Waarom
Welk model zet je in productie?
Voor déze taak. Met welke effort.
Goedkoper?Kan het met een kleiner model of minder effort, zonder buiten je foutmarge slechter te worden?
Groter?Is een groter model echt beter op jouw taak?
Dat is de rij Kosten (15%) in je memo.
>_Terminal
11:37 · Lus 2 · Model en effort
Twee knoppen.
Meer denkwerk = meer output = meer kost.
ModelHaiku (klein, goedkoop) · Sonnet · Opus (groot, duur)
Efforthoe lang het model nadenkt voor het antwoordt
Claude/model · /effort
in een run: --model · --effort
in een run: --model · --effort
Codexcodex exec -m <model>
-c model_reasoning_effort="low"
-c model_reasoning_effort="low"
11:38 · Lus 2 · Vuistregel
Begin bij Sonnet. Simpel? Omlaag. Te moeilijk? Omhoog.
Opus 5.5Een lang, lastig document. Een skill bouwen.
Sonnet 5.5Een rapport samenvatten. Twee documenten vergelijken.
Haiku 5.5Een mail sorteren. Een review labelen.
LowMediumMax
EFFORT →
11:40 · Demo · Model en effort
Groter model, zelfde score.
Eén fout op één run valt binnen de foutmarge. Kies dan op kost.
Mailsorteerder · 5 inputs · 1 run per setup
SetupScorePer 3.000 mails
Haiku 4.5 · low5/5€7,77
Haiku 4.5 · high5/5€7,59
Haiku 5.5 · low4/5€0,55
Sonnet 5.55/5€11,00
Per maand, € = $ × 0,90. Haiku 5.5 zelf berekend: /cost rekent hem te duur.
11:41 · Je drie setups
Je drie setups
ToolA · standaardB · omlaagC · omhoog
ClaudeSonnet 5.5, effort mediumHaiku 5.5Opus 5.5
Codexje standaardmodeleen kleiner modeleen groter model
Eerst gokken. Schrijf je gok in build/modellen.md vóór je draait.
Kost per run = je input-tokens uit week 4 × inputprijs + output-tokens van deze setup × outputprijs.
>_Terminal
11:43 · Lus 2 · Plak dit bij je agent
Plak dit bij je agent. Vul A, B en C in.
Draai mijn modeltest. Drie setups, elk één run op mijn inputs uit `build/test-set.md`, met mijn laatste prompt, op dezelfde manier als de foutmargetest: A <...>, B <...>, C <...>. Bij Claude: `claude -p --model <model> --effort <niveau> --tools ""`. Bij Codex: `codex exec -m <model> -c model_reasoning_effort="<niveau>"`. Noteer per setup het model, de score en de gemiddelde output-tokens per run. Pas mijn verwachte antwoorden niet aan. Zet het in `build/modellen.md`, onder mijn gok.
11:56 · Checkpoint
De score van setup B. Klopte je gok?
Valt B binnen je foutmarge? Hand omhoog.
12:00
Pauze.
Om 12:10 terug. Dan: wat is je tool waard, met de foutmarge erin?
12:10 · Waarde
De value chain, met de foutmarge erin
01Met de hand: stappen × tijd, met bron
02Met de tool: draaien + nakijken + fouten herstellen
03Winst per taak
04Per dag, week, maand, jaar
05Uren per jaar
06× uurkost voor de werkgever (aanname + bron)
07− kost van de tool (juiste prijs)
08Netto per jaar
09Bereik: opnieuw met je laagste en je hoogste score
10Je zwakste cijfer
12:13 · Waarde · Voorbeeld
De mailsorteerder
Week 4, nu met fouten herstellen en een bereik.
Uurkost: €20 bruto per uur ≈ €30 voor de werkgever. Aanname. Bron: Acerta, Securex.
Volume: 5 dagen per week, 220 per jaar.
Met de hand40 s lezen + 10 s beslissen + 5 s verplaatsen = 55 s (geschat)
Score8 op 10 · foutmarge 7–9, n = 10, 3 runs
Met de tool3 s draaien + 10 s nakijken + 20% × 55 s herstellen = 24 s
Winst per mail31 s
Volume150 per dag · 3.000 per maand · 33.000 per jaar
Uren1,3 per dag · 26 per maand · 284 per jaar
× €30 per uur€8.525 per jaar
− de tool33.000 × €0,0044 = € 145 (Sonnet 5.5, jouw deel)
= Netto± €8.380 per jaar
Bereikbij 7 op 10: ± €6.870 · bij 9 op 10: ± €9.890
Zwakste cijferde 55 s. Bij 30 s: ± €2.880
12:16 · Waarde · Contrast
Zelfde value chain, ander werk
Een accountant vergelijkt twee kwartaalrapporten.
33.000 mails of 480 rapporten: waarde = tijd × uurkost, niet volume.
Met de hand40 min per vergelijking
Met de tool2 min draaien + 10 min nakijken + 20% × 40 min herstellen = 20 min
Winst20 min × 40 per maand = 160 u per jaar
× €60 per uur€9.600 per jaar (aanname: loonkost van een accountant)
− de tool480 × ± €0,05 = ± €22 (Sonnet 5.5, ± 20.000 tokens in, 1.000 uit, schatting)
= Netto± €9.580 per jaar
12:18 · Waarde
Je zwakste cijfer is niet je score.
De foutmarge± €1.510 op het netto
De 55 seconden− €5.500 als het 30 s is
Het is je schatting van het handwerk.
12:19 · Jouw value chain
Bouw je value chain opnieuw
In het ontwerp van je post, onder "Mijn value chain, met de foutmarge erin".
01Fouten herstellen: het deel fout uit je score × de tijd per fout
02De uurkost voor de werkgever: bruto × ± 1,5
03De juiste prijs uit je nieuwe kosten.md
04Het bereik: opnieuw met je laagste en je hoogste score
05Welk getal beweegt je netto het meest?
12:35 · Checkpoint
Je netto per jaar, als bereik.
En je zwakste schakel: welke?
>_Terminal
12:40 · Je dashboard
Al je cijfers op één pagina
build/dashboard.html
Het staat in je pull request, en je bouwt erop verder tot week 12.
Score± foutmarge: min–max, n, runs
Claimbevestigd of ingetrokken
Setupsdrie, met score en kost
Kostper run en per jaar
Value chainnetto, bereik, zwakste cijfer
Lees het na. Een cijfer dat niet in je bestanden staat? Verzonnen. Weg ermee.
>_Terminal
12:42 · Dashboard · Plak dit bij je agent
Plak dit bij je agent
Maak `build/dashboard.html`: één pagina, alles in dat ene bestand, geen externe scripts of lettertypes. Goed leesbaar op een gsm. Haal de cijfers uit `build/foutmarge.md`, `build/modellen.md`, `build/kosten.md` en de value chain uit mijn post. Toon: mijn score met de foutmarge (min–max, n, runs), mijn claim (bevestigd of ingetrokken), de tabel van de drie setups met score en kost, de kost per run en per jaar, en de volledige value chain met het netto per jaar, het bereik en mijn zwakste cijfer. Verzin geen cijfers: ontbreekt er een, schrijf dan "nog niet gemeten". Geen echte namen en geen vertrouwelijke inputs.
>_Terminal
12:45 · Publiceren
Maak een publieke link
Claude Pro of hogerVraag: "Publiceer build/dashboard.html als Artifact." → Share → publiek
ChatGPT Plus of hogerchatgpt.com of de app → laad het bestand op → Site → Anyone on the internet → Publish
Iets anderspush je branch → de raw.githack-link uit de README
Test: open je link in een privévenster. Vraagt hij om in te loggen? Dan is hij nog niet publiek.
De link is publiek. Geen echte namen.
13:00 · Klinkt dit als AI?
De tien vaakste AI-ismen
01AI-woorden"Laten we dieper ingaan op het complexe landschap van retail."
02Opgeblazen belang"Data speelt een cruciale rol en is een bewijs van innovatie."
03Niet X, maar Y"Het is niet alleen een tool, maar een echte gamechanger."
04Altijd drie"Snel, efficiënt en schaalbaar."
05Holle -end-zinnen"…waardoor de klanttevredenheid wordt versterkt en groei wordt gegarandeerd."
06Reclametaal"Een naadloze, baanbrekende oplossing voor elk bedrijf."
07Algemene opener"In een wereld waar technologie razendsnel evolueert…"
08Vage bron"Experts zijn het erover eens dat AI de toekomst is."
09Formuleslot en chatbotresten"Kortom: AI biedt enorme kansen. Ik hoop dat dit helpt!"
10Het lange streepje —"De tool is snel — en dat merk je meteen." In het Nederlands schrijft bijna niemand dat streepje.
13:05 · Opdracht voor je post
Jaag op je eigen AI-ismen
In je posts van week 1 tot 4.
01Vind er minstens 5
02Citeer elke zin letterlijk, met de week
03Herschrijf elke zin in één gewone zin, met een cijfer of een feit
Voorbeeld
"Deze berekening heeft mijn visie uitgebreid." → "Ik dacht dat één run niets kostte. Bij 1.000 keer mijn volume is het meer dan 100 euro per maand."
13:10 · Je post
Je post
posts/week-05.md
300 tot 500 woorden. Minstens één gemeten cijfer met n.
Vijf koppen
## Mijn foutmarge
## Model en effort
## Mijn value chain, met de foutmarge erin
## Mijn dashboard ← publieke link
## Mijn AI-ismen
In je pull request
dashboard.html · foutmarge.md · modellen.md · kosten.md
>_Terminal
13:25 · Indienen
Tegen dinsdag 27 oktober, 23:59
dien week 5 in
01kosten.md: juiste Haiku, "gecorrigeerd in week 5"
02foutmarge.md: 2 versies × 3 runs, min–max, model
03modellen.md: je gok eerst, dan drie setups
04Je value chain: alle schakels, een bereik, je zwakste cijfer
05dashboard.html + een publieke link
065 AI-ismen uit je eigen posts, herschreven