Waarom ChatGPT en Copilot verschillende antwoorden geven over jouw organisatie

Je stelt aan ChatGPT een vraag over je eigen onboardingproces. Je collega stelt dezelfde vraag aan Copilot. Er komen twee verschillende antwoorden uit, allebei zelfverzekerd gebracht. Dat komt zelden door het model. Het komt door de kennislaag erachter: welke kennis de tool mag zien, in welke versie, en of iemand ooit heeft aangewezen welk document klopt.

Waarom geven twee AI-tools verschillende antwoorden over hetzelfde bedrijf?

Omdat ze uit verschillende bronnen putten. Een AI-model heeft geen kennis van jouw organisatie; het krijgt bij elke vraag stukken tekst aangereikt en formuleert daar een antwoord uit. Verschilt die aangereikte tekst, dan verschilt het antwoord. Twee tools met toegang tot verschillende mappen zijn dus twee collega's die verschillende dossiers hebben gelezen.

Dat verklaart ook waarom het antwoord er zo overtuigend uitziet. Het model formuleert netjes wat het heeft gekregen. Het weet niet dat de offertetemplate die het las de versie van vorig jaar was, of dat de actuele afspraken in een mailtje staan dat het nooit heeft gezien.

Wat ziet ChatGPT eigenlijk van jouw organisatie?

Standaard: niets. Een los account kent je bedrijf niet. Wat het wel kan zien, hangt af van wat je koppelt of uploadt.

In de zakelijke varianten bestaat Company Knowledge, waarmee ChatGPT bronnen als een gekoppelde documentopslag of e-mail kan raadplegen en de gebruikte bron bij het antwoord vermeldt. Dat werkt goed en die bronvermelding is precies wat je wilt zien. Wat er niet in zit, is curatie vooraf: er is geen stap waarin iemand beoordeelt of het document dat straks wordt opgehaald ook het juiste document is. De tool haalt op wat er staat, inclusief de vier verouderde versies die er ook staan.

Daarnaast bestaan Projects, waarin je per project bestanden en instructies meegeeft. Prima voor een lopend traject, maar het is een persoonlijke of team-werkruimte, geen organisatiebrede afspraak over wat waar is.

En wat ziet Microsoft 365 Copilot?

Copilot heeft juist wel een organisatiebrede blik: het put uit wat er in je Microsoft-omgeving staat en respecteert daarbij de rechten die je al hebt ingericht. Iemand die een map niet mag zien, krijgt er ook geen antwoorden uit. Dat is een sterke eigenschap en meteen het antwoord op de vraag waarom Copilot en ChatGPT verschillen: Copilot leest jouw SharePoint, ChatGPT niet.

Maar diezelfde eigenschap legt een oud probleem bloot. Copilot surfacet wat er staat. Staat er in drie mappen een document met "onboarding" in de titel, dan zijn dat drie kandidaten. Microsoft levert serieus gereedschap om die rommel op te ruimen, maar dat gebeurt achteraf: opschonen, verrijken, actueel houden. Er zit geen poortje voor waar kennis eerst wordt goedgekeurd voordat de AI hem mag gebruiken.

Kun je ChatGPT trainen op je eigen bedrijfsdata?

Dit is de meest hardnekkige misvatting, dus even precies: nee, en dat is maar goed ook.

Wat mensen "trainen" noemen, is bijna altijd iets anders. Als je documenten toevoegt aan een AI-tool, worden ze opgeknipt en doorzoekbaar gemaakt. Stel je een vraag, dan zoekt het systeem de passages op die daarbij horen en plakt die als context bij je vraag. Het model leest ze op dat moment, beantwoordt je vraag en vergeet ze weer. Het model zelf verandert niet.

Er bestaat wel degelijk zoiets als een model bijtrainen, maar dat verandert vooral hoe het model schrijft, niet betrouwbaar wat het weet. Feiten in modelgewichten stoppen is duur, traag en niet corrigeerbaar: verandert je prijslijst, dan zit de oude versie er nog steeds in.

Dat het anders werkt dan verwacht, is juist het goede nieuws:

• Je kunt vandaag iets bijwerken en morgen klopt het antwoord. Geen trainingsronde, geen wachttijd.
• Rechten blijven werken. Wie een document niet mag zien, krijgt er ook geen antwoorden uit. Bij een bijgetraind model is dat onmogelijk te garanderen.
• Antwoorden kunnen een bron dragen. Je kunt controleren waar iets vandaan komt, wat bij een bijgetraind model per definitie niet kan.

De echte vraag is dus niet hoe je een model traint. Het is welke kennis het systeem mag ophalen, en wie bepaalt of die kennis klopt.

Waarom hetzelfde document twee antwoorden oplevert

Zelfs met één tool en één document lopen antwoorden uiteen. Drie oorzaken zien we bij vrijwel elke organisatie terug.

Meerdere versies. Het voorstel staat in een map, een aangepaste versie in een mailbijlage en de laatste afspraken in een chatbericht. Alle drie zijn ze vindbaar, geen ervan is aangewezen als de juiste.

Verschillende rechten. Jij mag de finance-map zien, je collega niet. Jullie krijgen keurig verschillende antwoorden, en geen van beiden merkt het.

Fragmenten zonder context. Documenten worden in stukken opgehaald. Staat het mandaat op pagina 1 en de uitzondering op pagina 9, dan is het goed mogelijk dat alleen de uitzondering wordt opgehaald. Het antwoord klopt dan letterlijk, maar niet in de praktijk.

Wat je eraan kunt doen

Het patroon is steeds hetzelfde: het probleem zit niet in de AI maar in de kennis waar die uit put. Drie dingen helpen echt.

Wijs per onderwerp één bron aan. Niet alles opruimen, wel bepalen welk document leidend is voor de twintig vragen die dagelijks langskomen. Dat is redactiewerk, geen IT-project.

Zet een poortje voor de kennis, niet erna. Laat iemand met verstand van zaken goedkeuren wat er in de gedeelde laag komt en wanneer het herzien moet worden. Opschonen achteraf blijft dweilen.

Eis een bron bij elk antwoord. Kan een antwoord niet laten zien waar het vandaan komt, dan is het een suggestie. Met bronvermelding wordt een fout bovendien vindbaar en dus herstelbaar.

Doe je dit, dan verdwijnt het verschil tussen de tools vanzelf. Niet omdat je een tool afschaft, maar omdat ze allebei uit dezelfde gecureerde laag putten. Dat is precies wat een Second Brain is: geen extra chatvenster, maar de overkoepelende laag over je AI-systemen heen die elk model dezelfde actuele bedrijfskennis geeft.

Wanneer is dit een echt probleem?

Bij vijf mensen aan één tafel niet. Dan weet iedereen welke offerte de laatste is, en corrigeer je een verkeerd antwoord met één vraag over de gang.

Het gaat pijn doen ergens tussen de vijfentwintig en honderd medewerkers. Er zijn dan meerdere teams die dezelfde klant anders beschrijven, mensen die niet meer alle historie hebben meegemaakt, en genoeg documenten dat niemand overziet welke versie leidend is. Precies dan gaan collega's AI gebruiken om het even snel op te zoeken, en precies dan wordt het verschil in antwoorden een risico in plaats van een ergernis.

De test is eenvoudig. Stel een vraag waar je het antwoord zeker van weet, aan twee mensen en aan twee AI-tools. Krijg je vier keer hetzelfde antwoord, dan zit je kennis goed. Krijg je vier varianten, dan weet je waar het aan ligt: niet aan de AI.