Mauro Linthaut

Mijn tool in cijfers

In de laatste run (prompt v1.2) haalde mijn tool 79 op 80 velden juist uit tien KID's van ETF's (n = 10 inputs, 1 run). Negen inputs waren volledig juist. De ene fout zat bij T06: bij het ongunstige scenario gaf de tool 8.160 USD en -18,4% in plaats van 12.010 USD en 3,7% (klasse F1).

Ik vind 79 op 80 een goed resultaat, maar niet goed genoeg voor een AI: een AI moet dit gewoon kunnen aflezen. De fouten zaten in het scenario, door de verkeerde kolom of een verschoven rij in de pdf-tekst, niet door de taal. In eerdere runs gaf dezelfde input soms een ander resultaat. Mijn prompt is dus nog niet perfect, en er is altijd plaats voor verbetering.

Wat kost één run?

Ik mat één run met T01 (Xtrackers NASDAQ 100) en /cost. Het totaal van de sessie was $0,098, maar daar zat Claude Code zelf in, niet alleen mijn prompt. Omdat de context bij de meting niet klopte, kon ik die twee niet exact scheiden. Mijn deel, de prompt met het KID erin, schat ik op ± 13.000 tokens in en ± 500 uit. Dat is ± $0,031 per run (± €0,028) met Sonnet 5.5, en de helft met Haiku 4.5 (prijzen van Anthropic op 14 oktober 2026; ik rekende met 1 dollar = 0,90 euro, de koers van de dag was 0,89, een verschil van ± 1%).

Mijn volume is 2 onderzoeken per maand met 2 tot 4 ETF's, dus gemiddeld 6 runs (eigen schatting):

De API-kost wordt pas een budgetpost rond €100 per maand, dat is 600 keer mijn volume. Let op: /cost toonde voor de Haiku-regel $0,0015, terwijl de prijslijst $0,0146 geeft. Dat verschil van een factor 10 heb ik nog niet uitgezocht.

Met de hand of met de tool?

Met de hand duurt één ETF ± 12,5 minuten (tussen 10 en 15). Bron: eigen test (n = 2, dus weinig). Het KID zoeken met de ISIN-code is een kwestie van seconden (± 10 s). Daarna moet je de velden opzoeken (7 tot 10 minuten) en noteren (3 tot 5 minuten). Dat duurt zo lang omdat een KID meestal 2 tot 3 pagina's heeft, elk met een andere layout en kleine cijfers, en omdat je het moet begrijpen en niet snel kan lezen.

Met de tool is het ± 2,8 minuten: zoeken ± 10 s, draaien ± 40 s (gemeten, wall time), nakijken 2 minuten (geschat). Ik kijk altijd na, ook het scenario, maar selectief.

Winst per ETF: 12,5 − 2,8 = ± 9,7 minuten. Bij 6 ETF's per maand (72 per jaar) is dat ± 11,6 uur per jaar. Aan €15 per uur (aanname: een studentenjob-uurloon) is dat ± €174 waard. Min de kost van de tool (± €2 per jaar) blijft ± €172 netto per jaar. Per dag of per week reken ik niet: ik doe twee onderzoeken per maand, geen dagtaak.

Mijn zwakste cijfer

Mijn zwakste cijfer is de 2 minuten nakijken. Het is een gemiddelde: ik kijk selectief na voor de vergelijking, maar elk KID is anders en de cijfers staan telkens op een andere plaats, dus het kan ook 5 minuten zijn. Als je 5 minuten nodig hebt om na te kijken, bespaar je 6,7 minuten per ETF. Dat levert netto ongeveer €118 per jaar op. Pas vanaf 11,7 minuten nakijktijd verdwijnt het voordeel van de tool.

Wat ontbrak er in mijn context?

In mijn prompt ontbraken voorbeelden (bouwsteen 4): ik had alleen een formaat met lege plekken. De uitweg "niet vermeld" stond maar bij twee van de acht velden. Daarnaast botsten twee regels, "reken niets uit" en "geef de lopende kosten per jaar", en mijn regel over "tekens" was niet duidelijk genoeg over notatie.

Door de botsende regels telde de tool de beheer- en transactiekosten niet op bij T02, T03 en T04 in week 2. Door de vage regel over tekens bleef de Engelse notatie staan in T04 (13,600 USD in plaats van 13.600 USD).

Ik voegde twee voorbeelden toe uit KID's die niet in mijn testset zitten, en een uitzondering op "reken niets uit": als de kosten in delen staan, tel ze op. De notatieregel kreeg een "want" erbij, zodat de tool begrijpt waarom. Claude zag daarna dat het voorbeeld in die notatieregel per ongeluk het antwoord van T04 bevatte, waardoor die test minder zegt. Dat voorbeeld is vervangen.

Mijn eerste cijfer

Met mijn laatste prompt (v1.2) kwam ik op 79 op 80 juist (n = 10, 1 run). Claude draaide die runs voor mij, elk in een schoon gesprek, en ik schreef de juiste antwoorden vooraf zelf op.

Over de vier runs van week 3 kwamen drie klassen voor: F1 drie keer (T04, T05, T06), F4 twee keer (T07, T05) en F6 één keer, want v1.1 gaf bij dezelfde prompt in run 1 en run 2 een andere fout.

Wat me opvalt: elke run haalt 79 op 80, maar de ene fout valt telkens bij een ander KID en in een ander veld. Elke regel die ik toevoeg, lost dus vooral de vorige fout op en niet de onderliggende onzekerheid. Bij dezelfde prompt viel de fout bij een ander KID.

Dit is nog geen bewijs, omdat één run met tien KID's te klein is.

Eén wijziging

In v1.1 voegde ik één regel toe: de tool moet bij het ongunstige scenario controleren of het rendement bij het juiste bedrag hoort, omdat hij bij T04 het rendement uit een andere rij had genomen. Bij T04 gaf de tool daarna het juiste rendement van 6,3 % in plaats van −33,5 %. De regel bracht wel een nieuwe fout mee: bij T07 en T05 schreef de tool extra tekst bij zijn antwoord, en daarom liet ik hem die controle in v1.2 "in stilte" doen. Toch is dit nog geen bewijs, want ik draaide T04 per versie maar één keer, en mijn eigen runs tonen dat dezelfde prompt de ene keer goed en de andere keer fout kan uitkomen.

Een taalmodel is hiervoor nodig, omdat elk KID een andere layout heeft en Excel met vaste plekken werkt. Zelf een KID lezen en acht velden opschrijven kost mij 7 tot 10 minuten. Met de tool plak ik het KID in een paar seconden en lees ik de acht uitkomsten in maximaal 1 minuut.

Wat bouw ik?

Ik bouw een tool die het KID van één ETF leest en er acht vaste velden uit haalt (risico-indicator, aanbevolen bewaartermijn, lopende kosten, instapkosten, uitstapkosten, gevolgde index, uitkerend of accumulerend, ongunstig scenario), elk met de zin uit het KID erbij. Later wil ik ETF's daarmee vergelijken op mijn eigen behoeften, zoals kosten en risico, en ook op sector en index. Een aanbeveling geeft de tool niet.

Waarom een taalmodel?

Een taalmodel helpt me om snel te zien of een ETF iets voor mij is. Het bespaart me tijd, want ik moet geen saaie documenten meer lezen. Ik heb geen programma's gevonden die dit al doen. In mijn test ging het mis bij de lopende kosten: als het KID die opsplitst in beheerskosten en transactiekosten, telde de tool ze niet op. Dat is geen reden om het taalmodel te laten vallen. Ik pas de prompt aan in een volgende versie.

Eén testinput

Input T04: het KID van L&G Artificial Intelligence, in het Frans. Ik schreef vooraf op dat de lopende kosten 0,53% zijn: 0,49% beheerskosten plus 0,04% transactiekosten. De tool zei in beide runs 0.49% en noemde de 0.04% er alleen naast. De andere zeven velden klopten, met één nuance: bij het ongunstige scenario schreef de tool "13,600 USD" en "6.3%", zoals het KID dat in Engelse notatie doet. Dat is dezelfde waarde als mijn 13.600 USD en 6,3%, maar in het Nederlands lees je "13,600" als dertien komma zes. Wat ik leerde: twee regels in mijn prompt botsten ("reken niets uit" en "geef de lopende kosten per jaar"). De tool koos in alle zes de runs van T02, T03 en T04 dezelfde regel, het was dus geen toeval. In versie 2 zeg ik erbij wat hij moet doen als een KID de kosten opsplitst.

Wat heb ik tot nu toe met AI gedaan?

Ik gebruik Claude en ChatGPT, vooral voor schoolwerk zoals samenvatten, en voor mijn content: onderzoek en tekst schrijven. Ik moest de tekst wel nog aanpassen, maar ik heb projectinstructies gegeven, waardoor de tekst gerichter en beter is. Echte fouten zaten er niet in, meestal wel oude info. Ook dat heb ik met instructies goed gezet.

Wat verraste me vandaag?

Tijdens het opzetten van deze taak zette Claude zelf alles op, en ik moest het niet zelf doen.

Welke richting wil ik uit?

Voor mezelf en voor beginnende beleggers vergelijkingen tussen effecten simpeler maken, en als het mogelijk is AI linken met een beleggingsplatform, zodat het weet wat voor belegger iemand is en aandelen of ETF's voorstelt die goed bij dat profiel passen of iemand zouden interesseren, terwijl je altijd zelf kiest en beslist.