Bronwijzigingen moeten doorstromen naar de index
Wanneer een document wijzigt of verdwijnt, moet de retrievalindex dat gecontroleerd weerspiegelen zodat oude passages niet stil in antwoorden blijven terugkomen.
Actualiteit begint bij synchronisatie. Als een bron wordt gewijzigd of verwijderd, moet de retrievalindex dat binnen een afgesproken tijd weerspiegelen. Bewaar daarom bron-ID’s, versies en timestamps zodat chunks opnieuw opgebouwd of verwijderd kunnen worden zonder de volledige kennisbank blind te dupliceren.
Retrieval en antwoordkwaliteit moeten apart gemeten worden
Een vaste set echte vragen met verwachte bronnen maakt zichtbaar of het systeem de juiste passages vindt en of het model die context vervolgens correct gebruikt.
Betrouwbaarheid vraagt een vaste evaluatieset met echte vragen en verwachte bronnen. Meet bijvoorbeeld retrieval recall, hoeveel irrelevante passages worden opgehaald en of antwoorden door de context worden ondersteund. Voeg nieuwe foutgevallen aan die set toe zodat een verbetering voor één vraag niet ongemerkt tien andere vragen slechter maakt.
Nieuwe foutgevallen worden onderdeel van de testset
Feedback, onvoldoende-antwoorden en terugkerende verkeerde retrievals leveren concrete voorbeelden op waarmee chunking, filters, ranking en bronnen gericht verbeterd kunnen worden.
Monitoring hoort ook gebruikerssignalen te bevatten. Een laag confidence-niveau, veel “geen antwoord”-gevallen, vaak geopende alternatieve bronnen of herhaalde correcties kunnen tonen waar bronkwaliteit of retrieval tekortschiet. Gebruik die signalen om het systeem gericht te verbeteren in plaats van automatisch steeds meer documenten te indexeren.
Hoe vertaal je dit naar de praktijk?
Een praktische evaluatieset bevat niet alleen makkelijke vragen met één duidelijk antwoord. Voeg ook vragen toe waarvoor meerdere bronnen nodig zijn, vragen met verouderde documenten in de collectie en vragen waarop het systeem bewust geen antwoord hoort te geven. Per vraag kun je vastleggen welke bronpassages verwacht worden en daarna controleren of retrieval die passages voldoende hoog rangschikt. Versiebeheer voorkomt daarnaast stille regressies: wanneer chunking, embeddingmodel, ranking of prompt verandert, draai je dezelfde evaluatieset opnieuw en vergelijk je de resultaten. Een hogere gemiddelde score is niet genoeg wanneer belangrijke security- of compliancevragen slechter worden. Daarom hoort een RAG-release dezelfde discipline te krijgen als andere software: meetbare acceptatiecriteria, logging, rollbackmogelijkheden en duidelijk ownership voor productiegedrag. Zo blijft de kennislaag onderhoudbaar wanneer bronnen, modellen en gebruikspatronen veranderen.
Plan daarnaast periodieke controles op de bronnen zelf. Een technisch perfecte index kan nog altijd slechte antwoorden opleveren wanneer documenten dubbel, tegenstrijdig of zonder eigenaar gepubliceerd zijn. Door bronkwaliteit en retrievalkwaliteit apart te volgen, zie je sneller of een probleem in de kennisbank, synchronisatie, ranking of generatie zit en voorkom je dat elke fout met een nieuwe prompt wordt aangepakt.