Elke dag de actuele regels: hoe onze agent bijblijft

1. Het probleem: een taalmodel is bij aflevering al verouderd

Een taalmodel is getraind op een enorme hoeveelheid tekst, tot een bepaald moment. Daarna staat het stil. De gewichten in het model veranderen niet meer tussen trainingsronden — het "leert" niet bij van gesprekken, en het leest geen krant. Wat het weet over de kleineondernemersregeling, over box 3 of over de werkkostenregeling, is wat er in zijn trainingsdata stond op de dag dat die training werd afgesloten.

Voor de meeste toepassingen is dat prima. Voor een vakgebied waarin tarieven per jaar wijzigen, drempels worden geïndexeerd, beleidsbesluiten worden ingetrokken en er elke week uitspraken bijkomen, is het een structureel probleem. En het is een stil probleem: het model zegt niet "dit weet ik niet meer zeker", het geeft het antwoord van vorig jaar met dezelfde zelfverzekerde toon als het antwoord van vandaag.

2. Waarom "verouderd" een ander probleem is dan "verzonnen"

In discussies over AI gaat het bijna altijd over verzinsels: het model bedenkt een artikelnummer of een uitspraak die niet bestaat. Dat is een reëel probleem, maar het is niet het probleem dat een kantoor het vaakst raakt. Er zijn vier fouttypen, en ze vragen verschillende maatregelen.

Het derde type is voor een kantoor het gevaarlijkst, precies omdat het er zo normaal uitziet. Een verzonnen ECLI-nummer valt op bij wie het opzoekt. Een btw-tarief dat tot vorig jaar klopte, valt bij niemand op — tot er een naheffing komt.

3. De valkuil van 1 januari

Er is één moment per jaar waarop dit probleem in elk Nederlands kantoor gelijktijdig optreedt, en dat is de eerste week van januari. Tarieven wijzigen, drempels worden geïndexeerd, vrijstellingen veranderen, percentages lopen op of af. Een model dat is getraind vóór die wijzigingen geeft in januari met volle overtuiging de cijfers van december.

4. Hoe het werkt: ophalen in plaats van onthouden

De techniek erachter is minder mysterieus dan hij klinkt, en het is nuttig om te weten hoe het werkt — ook omdat je dan bij elke leverancier de juiste vragen kunt stellen.

1. Ophalen. Elke dag worden de bronnen nagelopen op wat er nieuw of gewijzigd is. Niet alles opnieuw, maar het verschil.
2. Klaarzetten. Nieuwe of gewijzigde documenten worden in stukken verdeeld en zo opgeslagen dat ze op inhoud vindbaar zijn, met de vindplaats en de datum eraan gekoppeld.
3. Zoeken bij een vraag. Komt er een vraag, dan wordt eerst in die actuele verzameling gezocht naar de passages die er echt over gaan.
4. Antwoorden op basis van die passages. Het model krijgt de gevonden tekst mee en formuleert het antwoord op basis daarvan, met de verwijzing erbij.
5. Opruimen. Wat is ingetrokken of vervangen, wordt als zodanig gemarkeerd of verwijderd, zodat een oude versie niet als geldend recht terugkomt.

Dat laatste punt wordt vaak overgeslagen en is minstens zo belangrijk als het ophalen. Een kennisbank die alleen groeit en nooit opruimt, wordt met de tijd juist onbetrouwbaarder: dan staan de tekst van 2024 en die van 2026 naast elkaar en kan het model de verkeerde kiezen. Actueel houden is dus twee dingen: toevoegen en intrekken.

5. Welke bronnen we volgen

6. Wat dat oplevert — en wat het niet oplost

Dit is de eerlijke paragraaf, en hij hoort er te staan.

Wat het oplevert

• Het fouttype "verouderd" wordt grotendeels weggenomen. Dat is het fouttype dat het slechtst zichtbaar is en het vaakst voorkomt.
• Het fouttype "verzinsel" wordt beter opspoorbaar, omdat er een bron bij staat die je kunt openen. Een verzonnen verwijzing valt dan op.
• Het zoekwerk verdwijnt. Niet het lezen — het zoeken. Dat is waar de tijdwinst zit, en het is de eerlijke belofte.

Wat het niet oplost

Er zijn drie andere dingen die actuele bronnen niet oplossen:

1. Interpretatie. Weten wat er staat is niet hetzelfde als weten wat het in dít geval betekent. Dat is jouw vak, en dat blijft het.
2. Volledigheid. Een AI kan niet garanderen dat alle relevante regels zijn meegewogen, al helemaal niet bij een samenstel van feiten. Een risicolijst uit een AI kan dus nooit volledig zijn — een van de weinige punten waarop een beleidsadviseur van de beroepsorganisatie zich publiek scherp heeft uitgesproken.
3. Instructies die in inhoud verstopt zitten. Een kennisbank waarin ongecontroleerd materiaal van derden wordt geïmporteerd, is zelf een aanvalsroute. Eén notitie met een verkeerde drempel — al dan niet kwaadaardig — wordt door het model als gezaghebbend opgehaald. Daarom moet een kennisbank worden beheerd als een beveiligingsgrens en niet als een prullenbak. Zie prompt injection.

7. Waarom elk antwoord een bron met datum heeft

Een antwoord zonder vindplaats is voor een accountant onbruikbaar, hoe goed het ook is. Niet omdat het fout zou zijn, maar omdat je het niet in een dossier kunt leggen. Daarom hoort bij een antwoord:

• Wélke bron, met een verwijzing die je kunt openen.
• Van welke datum die bron is, en wanneer hij voor het laatst is opgehaald.
• Wat er niet is gevonden. Een expliciet "hier heb ik geen bron voor" is waardevoller dan een vloeiend antwoord zonder onderbouwing.

8. Wat dit voor je dossier betekent

Actuele bronnen met een datum erbij lossen ook een praktisch probleem op waar in AI-discussies zelden over wordt gesproken: controleerbaarheid.

De administratie moet binnen redelijke tijd controleerbaar zijn. Vraagt de Belastingdienst of een toezichthouder over een half jaar hoe een post tot stand kwam, dan moet je dat kunnen laten zien. Is de onderbouwing "de AI zei het", en kun je de instructie en het model niet reproduceren, dan heb je een controleerbaarheidsprobleem — los van de AVG. En de beroepsorganisatie is hier expliciet over: AI mag nooit een black box zijn, omdat validatie en menselijk oordeel het fundament van het publieke vertrouwen moeten blijven.

9. Wat jouw rol blijft

Wij doen het voorwerk: ordenen, opzoeken, signaleren, onderbouwen. De beoordeling blijft bij jou, en dat is geen bescheidenheidsformule maar wat je beroepsregels en je toezichthouder van je vragen. De toezichthouder verwoordt het zo: de tool kan nooit de verantwoordelijkheid van de accountant vervangen.

Concreet betekent dat drie dingen:

• Een norm of tarief uit een AI is een aanwijzing, geen bron. Open de verwijzing. Dat is de reden dat die verwijzing er staat.
• Interpretatie en toepassing zijn jouw werk. Wat er staat is één ding; wat het in dit dossier, bij deze feiten, voor deze cliënt betekent, is iets anders.
• Volledigheid kun je niet uitbesteden. Een signaal dat ontbreekt, is geen signaal. Dat is precies waarom AI een tweede paar ogen is en niet het eerste.

10. Vier vragen voor elke AI-leverancier met een kennisbank

Ook aan ons — en het antwoord hoort in je leveranciersdossier.

1. Welke bronnen haal je op, hoe vaak, en kun je de peildatum per bron laten zien? "Wij zijn altijd actueel" is geen antwoord.
2. Wat gebeurt er met ingetrokken of vervangen documenten? Een kennisbank die alleen groeit, wordt onbetrouwbaarder in plaats van beter.
3. Staat de publieke bronnenverzameling gescheiden van mijn eigen dossiers, en respecteert het zoeken in mijn dossiers de rechten van de vragende gebruiker?
4. Hoe meet je of het werkt? Is er een vaste set vragen met bekende juiste antwoorden die periodiek meedraait, en kan ik de uitkomst zien? Dat is het enige harde bewijs dat er is. Zie testen en blijven testen.

11. Bronnen