bastiaan-rottiers

Wat ontbrak er in mijn context?

Mijn tool moet een Canvas-opdracht, de bijhorende documenten en mijn lesnotities omzetten naar een duidelijk overzicht voor WATTZAK. In mijn eerste context stond al dat de agent geen informatie mocht verzinnen, maar dit was niet duidelijk en streng genoeg. De agent wist dus nog niet goed genoeg dat hij zich alleen aan de opdracht, documenten en mijn eigen notities moet houden.

Dat merkte ik bij de test over het Fablab-prototype of de marketinggadget. In plaats van enkel samen te vatten wat er moest gebeuren, verzon de agent zelf uitleg en productideeën. Hij stelde onder andere vilt, een ritssluiting, klikgespen, een logo en een QR-code voor. Die elementen stonden niet in mijn input. Het antwoord leek daardoor meer op productadvies dan op de voorbereidingskaart die ik nodig heb.

Ook de buurtest maakte duidelijk dat de context nog niet scherp genoeg was. Mijn broer las alleen de prompt en beantwoordde drie inputs. Hij gebruikte niet altijd dezelfde structuur en miste velden. Daarom heb ik de mogelijke status nog in te plannen toegevoegd. Die status is nodig wanneer de actie duidelijk is, maar we als groep nog een activiteit of datum moeten kiezen.

Mijn eerste cijfer

Mijn eerste cijfer was 4 op 5 juist (n = 5, 1 run). Er was één fout: F2 — verzonnen. Die fout zat bij T01, de opdracht over het Fablab-prototype of de marketinggadget voor WATTZAK. De agent voegde productdetails toe die niet in de Canvas-opdracht, documenten of lesnotities stonden.

De andere vier tests gaven wel de gevraagde informatie op een bruikbare manier weer. De testset helpt mij om niet alleen te kijken of een antwoord goed klinkt, maar ook of elk onderdeel werkelijk uit mijn eigen input komt.

Eén wijziging

Ik maakte duidelijk dat het verzinnen van uitleg over opdrachten niet nodig is en dat ik alle extra uitleg vanuit de les en mijn eigen input zelf zal bijvoegen. De regel werd: voeg geen informatie toe die niet te vinden is in onze documenten, ideeën of opdrachtbeschrijving.

Bij een nieuwe test van T01 verzon de agent geen productdetails meer. Het agenda-voorstel bleef voorzichtig, maar was voor mij bruikbaar. Dit is nog geen volledig bewijs dat de wijziging altijd werkt: ik testte maar één foute input opnieuw en een model kan bij een volgende run verschillen. In de volgende weken wil ik daarom de overige inputs ook verder testen.

Wat bouw ik?

Ik bouw een tool die mij helpt om elke opdracht van mijn bachelorproef Start-up overzichtelijk te maken en te zorgen dat ik weet wanneer ik met wat moet bezig zijn. Ik voer een opdracht uit Canvas in, samen met extra informatie uit de les of bestanden. De tool geeft dan een uitleg met een duidelijke titel en beschrijving. Er moet ook een mogelijkheid zijn om dit aan mijn agenda toe te voegen, zodat ik niets uit het oog verlies.

Ik wil de tool eerst gebruiken voor ons businessplan. Daar zijn we nu al mee bezig, maar het moet in stappen verlopen. De tool kan helpen indelen welke stappen we nu al kunnen doen en met welke we pas later in het proces kunnen beginnen. Zo moeten we niet telkens de volledige leidraad opnieuw lezen om te zien waar we al staan. De tussentijdse planning blijft wel iets dat we als groep zelf kiezen.

Waarom een taalmodel?

Een taalmodel past bij deze tool omdat het informatie uit verschillende bestanden, de uitleg van elke opdracht en mijn eigen notities kan combineren. Ik moet die informatie dan niet onthouden of telkens op verschillende plaatsen in de cursus terug opzoeken. De tool moet die bronnen samenvatten tot één duidelijk overzicht van wat we moeten doen.

Eén testinput

Ik testte de opdracht over het Fablab-prototype of de marketinggadget voor WATTZAK. Het juiste antwoord was dat we tegen vrijdag 9 oktober een prototype of marketinggadget moeten maken, uploaden via Canvas en meenemen naar de les.

In de eerste run verzon de tool veel zaken die niet in mijn input stonden, zoals materialen, een ritssluiting, banden, een logo en een QR-code. Het antwoord gaf productadvies, maar geen duidelijke voorbereidingskaart. In de tweede run volgde de tool wel de gevraagde structuur. Hij noemde de deadline, upload via Canvas en het meenemen naar de les. Dat antwoord was juist.

Dit toont dat een taalmodel vaak dingen verzint omdat het denkt dat je daar naar op zoek bent, terwijl je die instructie niet gaf. Dan krijg je een antwoord waar je zelf nog onzin uit moet halen of dat je vaak moet bijsturen. Daarom wil ik als regel toevoegen: gebruik alleen mijn input en notities, en geen random internetinformatie tenzij ik daar zelf om vraag.

Wat heb ik tot nu toe met AI gedaan?

Tijdens de blok gebruikte ik vaak Claude om samenvattingen te maken van grote vakken. Ik maak ook vaak afbeeldingen met AI voor posters of sociale-mediaposts voor mijn Chiro.

Wat verraste me vandaag?

Ik vond het verrassend dat Codex zo soepel loopt en dingen op mijn pc kan aanpassen. De terminal is eigenlijk niet zo ingewikkeld als hij lijkt.

Welke richting wil ik uit?

Voorlopig wil ik met AI richting mijn Chiro uit, maar ik ben nog niet zeker.