Quirijn Vervondel

Mijn tool in cijfers

Mijn tool is nu 1 op 10 volledig juist (n = 10, 1 run). Dat is mijn strengste cijfer, want bij een stuklijst telt alleen of alles klopt. Per onderdeel haal ik bij T06 tot T10 20 op 30 met prompt v1. In 9 op 10 runs werd niets verzonnen.

Bijna alle fouten zijn F3, iets ontbreekt. De units zelf, steunblokken, beugels en de condensbuis staan niet in de prompt, en de tool las "aansluitingen al aanwezig" niet als "geen nieuwe voeding". Eén keer was er een F2: bij T04 verzon de tool een verloopstuk dat in de notitie niet stond.

De tool geeft ook niet elke keer hetzelfde antwoord. Bij T06 gaf hij één keer zekeringkast en één keer onbekend.

Wat kost één run

Eén run kost volgens /cost $0,0089, ruwweg € 0,008. Het grootste deel is de context die Claude Code meestuurt: 62,5k tokens, $0,0070. Mijn eigen deel is 2,5k input en 3,3k output, samen 5,8k tokens, of $0,0019 (€ 0,0017).

Waarom is de context zo duur? Bij de eerste vraag wordt de context in de cache geschreven: 33,6k tokens aan $0,20 per miljoen. Daarna wordt die cache gelezen, aan $0,01 per miljoen. Cache lezen is goedkoop, maar het gebeurt bij elke vraag, en daardoor kost de context ($0,0070) toch meer dan mijn deel ($0,0019).

Een bedrijf dat de tool via de API gebruikt, stuurt die context niet mee. Dan betaalt het alleen de prompt en het antwoord, dus mijn deel. Output kost ook meer dan input, want Haiku denkt eerst, en die tokens betaal je.

Zelf betaal ik dit niet echt. Ik heb Claude Pro, een abonnement. Een bedrijf als JAVE betaalt per token, en bij 10 runs per maand is dat € 0,017 per maand.

Het model maakt wel verschil. Met Sonnet 5.5 kost mijn deel € 0,034 per run, twintig keer meer dan Haiku 5.5. Bij 1.000× volume (10.000 runs per maand) is dat € 340 per maand tegen € 17. Bij het huidige volume maakt het niets uit.

Met de hand of met de tool

Met de hand kost een stuklijst ± 2 u per plaatsbezoek (schatting). Met de tool draait de run 16 seconden, plus ± 5 minuten nakijken. Dat is ± 1 u 55 min winst per plaatsbezoek.

Bij 10 plaatsbezoeken per maand is dat 120 per jaar, ± 230 uur per jaar. Tegen € 40 per uur is dat ± € 9.200. Daar gaat ± € 0,20 aan tool af. Netto is dat ± € 9.200 per jaar.

Nakijken moet altijd. Jasper blijft verantwoordelijk voor de stuklijst, ook als de tool hem maakt.

Mijn zwakste cijfer

De 2 uur. Ik weet niet hoeveel daarvan het uitschrijven is, en hoeveel het rondgaan, want dat vervangt de tool niet. Is het uitschrijven 1 uur, dan is de winst ± € 4.400 per jaar. Is het maar 30 minuten, dan ± € 2.000.

Wat een fout kost is het andere deel van het verhaal. Een vergeten onderdeel betekent een extra rit van ± een half uur, aan € 40 per uur (± € 20), plus personeel dat wacht. Een tool die een onderdeel vergeet, kan dus duurder zijn dan hij oplevert. Daarom telt mijn strenge cijfer van 1 op 10.

Zelfs met de besparing is de tool de moeite waard, maar alleen als hij vollediger wordt. Nu moet Jasper de units, steunblokken en beugels nog zelf toevoegen.

Wat ontbrak er in mijn context?

In de uitvoer ontbraken rijen voor dingen die bij bijna elke klus voorkomen: de units zelf, steunblokken (op het dak of de grond) en beugels (aan de muur). Condenspompen zijn zeldzaam, luchtkanalen horen bij een ander soort installatie. Ook miste de tool vakkennis. "Aansluitingen al aanwezig" betekent geen nieuwe voeding nodig, niet onbekend. Dat wist de tool niet. Bij de condensafvoer kende de prompt alleen gravitair en druk-PVC, terwijl er met een pompje een condensbuis nodig is. T09 (FDA) was een ander soort installatie. Ik nam hem toch mee, omdat ik geen andere notitie meer had. Goed dat de tool daar niets verzon.

Mijn grootste les: een AI stelde twee regels voor die logisch klonken maar fout waren. Mijn testset scoorde daardoor beter op papier. Pas toen ik het zelf uitlegde, zag ik dat het niet klopte.

Mijn eerste cijfer

Per input is 1 op 10 volledig juist (n = 10, 1 run), alleen T05. Per onderdeel haalde ik bij T06 tot T10 20 op 30 met v1. In 9 op 10 runs werd niets verzonnen. Alleen bij T04 werd een verloopstuk verzonnen.

Bijna alle fouten zijn F3, iets ontbreekt: units, steunblokken, beugels, condensbuis, en de voeding bij T07. Eén keer F2: het verzonnen verloopstuk bij T04.

Mijn foute v2 scoorde slechter (19 op 30). Een testset beschermt je alleen als je juiste antwoorden kloppen.

Het eerlijkste cijfer is 1 op 10: voor een stuklijst telt alleen of alles klopt, en dat is nog bijna nooit zo. Met 10 inputs en 1 run is dit nog geen bewijs.

Eén wijziging

In v2 voegde ik twee regels toe: kabelgoot per route apart afronden, en condenspompje = druk-PVC. Die regels kwamen van een AI-suggestie, niet uit mijn eigen kennis. T08 leek eerst beter (21 op 30), omdat mijn juiste antwoord op dezelfde foute regels gebaseerd was. T06, T07, T09 en T10 bleven gelijk.

Toen ik het zelf moest uitleggen, zag ik dat beide regels fout zijn: je telt kabelgoot in totaal en deelt door 2, en een pompje gaat via een condensbuis, niet via druk-PVC. Na de correctie scoorde v2 slechter (19 op 30). Ik heb v2 teruggedraaid.

Dit is geen bewijs: maar 5 nieuwe inputs, 1 run per versie, en de wijziging raakte maar 1 input. Een model geeft ook niet elke keer hetzelfde antwoord.

Wat ik nu wel zou veranderen, uit mijn eigen vakkennis: rijen voor de units zelf, steunblokken en beugels, want die komen bij bijna elke klus voor. Condensbuis als derde type condensafvoer. En "aansluitingen al aanwezig" betekent geen nieuwe voeding.

Wat bouw ik?

Mijn broer typt na een plaatsbezoek snel notities in zijn gsm, en mijn tool maakt daar een stuklijst van met hoeveel koelleiding, kabels, kabelgoten, bochten en condensafvoer hij nodig heeft.

Waarom een taalmodel?

De notities zijn gewone tekst, kort en rommelig, en die moeten naar vaste vakjes in een lijst. Dat is taal lezen, dus daar past een taalmodel. Prijzen opzoeken en werkuren berekenen doe ik bewust niet met AI, want daar mag geen enkel getal verzonnen worden. Dat hoort in een database met zijn prijzen van Daikin en Cebeo en dropdowns.

Eén testinput

T01, een duo split. De notitie: slaapkamer en living, leiding unit 1 ong. 5 m en unit 2 ong. 12 m, voeding vanuit kast, condens gravitair 1 m per unit. Het juiste antwoord volgens de notitie: 17 m koelleiding, 17 m communicatiekabel, voeding uit de zekeringkast, 2 m condens, de rest onbekend. De tool gaf in beide runs 17 m en zette alles zonder aantal netjes op onbekend. Enkel "vanuit kast" snapte hij niet, want bij ons is dat de zekeringkast. Wat me het meest opviel: op de werf hadden we echt 20 m nodig. Bij de koelleiding deed de tool dus niets fout, maar de notitie zelf was te vaag. Ik koos deze omdat hij toont dat de tool niet beter kan zijn dan wat mijn broer opschrijft.

Wat heb ik tot nu toe met AI gedaan?

Ik gebruik ChatGPT en Claude voor school, en voor websites en marketing voor JAVE Klimatech, het bedrijf van mijn broer.

Wat verraste me vandaag?

Dat werken in de terminal makkelijker was dan ik dacht.

Welke richting wil ik uit?

Ik wil kijken hoe AI kan helpen bij offertes, planning, klantencontact en marketing bij JAVE Klimatech, het HVAC-bedrijf van mijn broer.