Kobe Dhulst

Mijn tool in cijfers

Mijn tool sorteert schoolmails in vijf labels: dringend, later, info, negeren en onzeker. Ik draaide alle tien mails van mijn testset twee keer met prompt v2, telkens in een nieuw tijdelijk gesprek in de Claude-app met Opus 5.5. Resultaat: 18 op 20 juist (n = 10, 2 runs).

Beide fouten zijn F1, en het is twee keer dezelfde mail: T07, een verificatiecode van UNIZO. Het juiste label is dringend, want ik moet de code meteen invullen. De tool zei twee keer later, met dezelfde reden: "de mail noemt geen deadline". Het is jammer dat T07 twee keer op dezelfde manier fout gaat. Dat wijst op een fout in mijn prompt, niet op toeval. Ik zal hier later een aanpassing doen. Eerst wil ik meer dringende mails in mijn testset, want nu staat er maar één in. Anders schrijf ik een regel voor die ene mail en weet ik niet of hij ook voor andere werkt.

Wat kost één run?

Ik mat het in Claude Code met Haiku 4.5, in een lege map. In mijn studentenmap startte /context de cursus-skill met dezelfde naam in plaats van het commando dat tokens telt.

Voor ik één woord typte, toonde /context 34.400 tokens. Dat is de context: wat Claude Code zelf meestuurt. Dat verraste me het meest. Na één run met prompt + T01 toonde /cost 44.800 tokens. Jouw deel is dus 10.400 tokens: 9.200 input en 1.200 output. Met de prijzen van Haiku 4.5 ($1 input, $5 output per miljoen) is dat $0,0152, ongeveer € 0,014 per run.

Maar mijn prompt met T01 is maar 523 woorden, ongeveer 1.000 tokens. De rest komt van Claude Code, niet van mij. Een bedrijf dat via de API alleen mijn prompt stuurt, betaalt ongeveer € 0,006 per run. De output is het duurste deel: 1.200 tokens voor een antwoord van één regel. Dat is het denkwerk van Haiku, dat ik niet zie maar wel betaal.

Per maand, bij 65 mails: € 0,41 met Haiku. Bij 10× (650 mails) € 4,10, bij 1.000× (65.000 mails) € 410. Met Opus 5.5, het model waarmee ik mijn 18 op 20 mat, is het vier keer zoveel: € 1,64, € 16,38 en € 1.638 per maand. Het verraste me ook dat het voor mij maar een paar cent per maand kost. Dat zou ik zeker betalen. Bij 1.000 studenten zou Artevelde het overwegen: dan moet iemand kunnen tonen dat het meer oplevert dan het kost.

Goedkoper is niet zomaar even goed: Haiku gaf bij T01 negeren, Opus twee keer info.

Met de hand of met de tool?

Met de hand: openen en lezen 25 s, beslissen 10 s, verplaatsen 5 s. Samen 40 s per mail, gemeten.

Met de tool zoals nu, met copy-paste: draaien 40 s, nakijken 8 s. Samen 48 s, gemeten op één mail. Zo verlies ik 8 s per mail.

Als de tool automatisch in mijn mailbox draait, valt het draaien weg (aanname) en blijft nakijken over: 8 s. Dan win ik 32 s per mail.

Mijn volume: 65 mails per maand. Ik telde de mails van de afgelopen twee weken en deed dat × 2. Met 10 maanden per jaar is dat 650 mails per jaar, ongeveer 3 per dag en 15 per week. Automatisch win ik 1,6 minuten per dag, 8 minuten per week, 35 minuten per maand en 5,8 uur per jaar.

Een uur van mij is € 14 waard: dat verdiende ik ongeveer als jobstudent in een rusthuis. 5,8 × € 14 = € 81 per jaar. De tool kost 650 × € 0,025 = € 16 per jaar met Opus. Netto: ongeveer € 65 per jaar. Met copy-paste is het netto ongeveer −€ 36 per jaar.

Ik zou de tool gebruiken als hij automatisch werkt en als ik eerst de fout bij dringende mails oplos. Dan win ik veel tijd. Maar nu miste de tool de enige dringende mail twee keer, en een gemiste deadline is een 0 op de opdracht. Eén 0 weegt zwaarder dan € 65 per jaar.

Mijn zwakste cijfer

Het volume van 65 mails per maand vertrouw ik het minst. Ik telde het in de eerste weken van het semester, en dan komen er misschien meer mails dan gemiddeld. Is het de helft, 325 mails per jaar, dan win ik 2,9 uur, € 40 min € 8 voor de tool: ongeveer € 32 netto per jaar. Dan blijft de tool nog altijd positief, maar de winst is klein. Hoe goed de tool dringende mails herkent, weegt voor mij zwaarder dan dat bedrag.

Wat ontbrak er in mijn context?

Mijn tool sorteert schoolmails in vijf labels: dringend, later, info, negeren en onzeker. Vorige week ging één mail twee keer fout: een betalingsbevestiging van mijn inschrijvingsgeld (T05). Ik vond dat negeren, het model zei twee keer info. Ik dacht eerst dat het model fout was. Pas toen mijn AI mijn eigen prompt letterlijk naast de fout zette, zag ik dat het aan de prompt lag. Daar stond: "info: de mail bevat nuttige informatie, maar de student hoeft niets te doen." Een betalingsbevestiging past daar perfect in. Het model deed dus exact wat ik vroeg. Het verschil zat alleen in mijn hoofd: een bevestiging met een tijd en een plaats heb ik later nog nodig, een betaling is afgerond. Daaruit leerde ik dat het belangrijk is hoe je dingen precies verwoordt in de prompt.

Bij de buurtest las mijn buur alleen de prompt en koos ze bij drie mails hetzelfde label als ik. Ik zei in mijn uitleg niets wat niet in de prompt stond.

Mijn eerste cijfer

Mijn testset heeft nu tien mails. De eerste vijf draaide ik vorige week met v1: 8 op 10 juist (n = 5, 2 runs). De vijf nieuwe draaide ik vandaag met v2: 4 op 5 juist (n = 5, 1 run). Ik tel die twee niet samen, want het zijn twee verschillende prompts.

Ik vind 4 op 5 goed, maar het zijn weinig mails en vaak dezelfde soort. Beide fouten zijn F1: het model gaf vol overtuiging het verkeerde label. Bij T05 zei het info in plaats van negeren (2×), bij T07, een verificatiecode van UNIZO, zei het later in plaats van dringend (1×), omdat er geen deadline in de mail stond. Wat opvalt: beide fouten komen doordat ik het fout verwoord had toen ik de prompt opstelde. Ik wist toen denk ik nog niet hoe belangrijk de woordkeuze is. Ik was wel zeer tevreden dat de drie "moeilijke" inputs (een Engelse mail, een mail met alleen een bijlage en een reclamemail) alle drie juist waren.

Eén wijziging

Bij de audit van mijn prompt met de zes bouwstenen zag ik dat er geen voorbeelden in stonden en dat geen enkele regel een "want" had. Ik herschreef de regels voor info en negeren: info is iets wat ik later nog nodig heb, zoals een tijd, een plaats of met wie. Negeren is ook een bevestiging van iets wat al afgerond is, want daar heb ik later niets meer aan. Ik voegde ook drie voorbeelden toe: een dringende, een info en een negeren. Daarna draaide ik T05 opnieuw in een nieuw gesprek. Het model zei nu negeren, met bijna letterlijk mijn want als reden.

Dat is nog geen bewijs, omdat het maar één mail en één run was. En mijn nieuwe regel noemt zelf "een betaling", dus het is niet verrassend dat T05 nu juist is. Het echte bewijs is een andere afgeronde bevestiging die ik nog niet getest heb.

Wat bouw ik?

Mijn tool sorteert schoolmails in labels volgens wat ik moet doen. Erin gaat één schoolmail met de datum waarop hij binnenkwam. Eruit komt één label (dringend, later, info, negeren of onzeker) met een reden van één zin.

Waarom een taalmodel?

Omdat een taalmodel rommelig geschreven mails begrijpt en kan zien of er een taak of deadline in staat, wat met vaste regels moeilijk is.

Eén testinput

Input: de mail van de docent van Advanced AI met de opdracht voor de eerste post. Ontvangen op maandag 28 september, onderwerp "Deadline verlengd", deadline vrijdag 2 oktober 23:59.

Juiste antwoord: later. De mail kwam op 28 september en de deadline is 2 oktober, wat meer dan 3 dagen is.

Wat mijn tool zei: twee keer later. Reden: "De student moet een eerste post indienen tegen vrijdag 2 oktober 23:59, en dat is vier dagen na de ontvangstdatum, dus meer dan drie dagen."

Op mijn vijf testmails haalde de tool 8 op 10 juist.

Wat heb ik tot nu toe met AI gedaan?

De eerste week heb ik Claude Pro gekocht en met deze tool gewerkt. Met Claude Code hebben we in de terminal zelf Claude geïnstalleerd. Ik heb ook Claude gebruikt toen ik vastzat met de installatie van de AI in de terminal. Vóór deze week gebruikte ik ChatGPT voor schoolwerk of basic vragen, en in de examenperiode soms ook Claude om te studeren. Zo heb ik eens Franse documenten geüpload en aan Claude een woordenlijst gevraagd. Dat lukte met ChatGPT niet.

Wat verraste me vandaag?

Ik vond de AI in de terminal zeer sterk. Hij regelde dingen op GitHub zonder dat ik zelf naar de site moest, en voerde commando's uit die ik zelf niet kende.

Welke richting wil ik uit?

Ik heb nog niet echt een idee, maar ik zou eventueel iets kunnen doen met het sorteren van mijn schoolmails van Arteveldehogeschool en herinneringen voor deadlines die uit die mails komen.