Je AI-chatbot geeft andere cijfers dan je Power BI-dashboards omdat hij niet hetzelfde leest. Het dashboard berekent een KPI met een afgesproken measure, filters en kalender. De chatbot leest vaak ruwe tabellen, kiest tussen velden met gelijkaardige namen of mist de filters op de rapportpagina. De AI maakt geen nieuw soort fout. Hij legt definities bloot die nooit zijn vastgelegd, geen eigenaar hebben of niet met hem zijn gedeeld.
In een oogopslag
- Een chatbot en een dashboard geven om drie redenen verschillende cijfers: ze lezen een andere bron, hanteren een andere definitie of gebruiken andere filters.
- De oplossing zit meestal niet in het AI-model. Ze begint bij één afgesproken definitie per KPI, met een aangeduide eigenaar.
- Die definitie moet zowel de AI als de rapportlezer bereiken. Anders groeien de antwoorden opnieuw uit elkaar.
Waarom de chatbot en het dashboard verschillende cijfers geven
Veel teams zoeken de oorzaak eerst bij het model. Maar het probleem zit vaak elders. De chatbot leest dezelfde onvoldoende afgestemde definities waarop je dashboards steunen, alleen zonder de context die een rapportbouwer handmatig heeft toegevoegd.
Een voorbeeld: de salesdirecteur vraagt de bedrijfschatbot naar de omzet van het vorige kwartaal. Het antwoord komt niet overeen met het dashboard voor de raad van bestuur. De chatbot heeft een factuurtabel opgeteld. Het dashboard gebruikt een measure die creditnota’s en verkopen tussen groepsvennootschappen uitsluit, gefilterd op het fiscale kwartaal. Beide cijfers heten omzet. Maar slechts één ervan volgt de afgesproken definitie, en niets vertelde de chatbot welke dat was.
In de praktijk zijn verschillen meestal terug te voeren op drie punten.
De drie punten waarop de cijfers uiteenlopen
1. Een andere bron
Een Power BI-dashboard berekent KPI’s met measures in het semantische model. Daar zit de bedrijfslogica: wat je uitsluit, hoe je retouren verwerkt en welke munt je gebruikt. Een chatbot die verbonden is met het datawarehouse, een data lake of een geëxporteerd bestand, krijgt die measures niet automatisch mee. Hij berekent opnieuw vanuit ruwe kolommen en bouwt de logica dus zelf op, meestal eenvoudiger.
2. Een andere definitie
Ook bij dezelfde bron moet de AI keuzes maken. Als een model de velden ‘Revenue’, ‘Net Revenue’ en ‘Revenue (old)’ bevat, kan de AI kiezen voor de naam die het best bij de vraag lijkt te passen. Zonder een beschrijving die aangeeft welke omzetdefinitie de organisatie bedoelt, blijft dat een gok. Mensen maken dezelfde afweging, maar vragen vaak eerst uitleg aan een collega.
3. Andere filters en context
Een dashboardpagina bevat context die de lezer niet altijd ziet: een fiscale kalender, een filter die testklanten uitsluit, een standaardregio of beveiliging op rijniveau. Een vraag aan een chatbot bevat die context niet vanzelf. Ze moet expliciet beschikbaar zijn of door de gebruikte omgeving worden toegepast. ‘Vorig kwartaal’ kan in een chatbot het kalenderkwartaal betekenen, terwijl het dashboard het fiscale kwartaal gebruikt.
Copilot in Power BI geeft verkeerde antwoorden over onze KPI’s. Hoe lossen we dat op?
Copilot in Power BI staat dichter bij het dashboard dan veel andere chatbots, omdat het met het semantische model werkt. Het verschil in bron is daardoor kleiner. Problemen met definities en context kunnen wel blijven bestaan.
Microsoft raadt aan het semantische model voor te bereiden voordat je op Copilot vertrouwt. Dat betekent duidelijke namen voor tabellen, kolommen en measures, beschrijvingen bij belangrijke measures en synoniemen voor de woorden die mensen echt gebruiken. Microsoft documenteert ook Prep data for AI, met AI data schemas om relevante velden voor AI te selecteren, AI instructions om extra aanwijzingen te geven en verified answers om gecontroleerde antwoorden vast te leggen.
Die mogelijkheden verminderen dubbelzinnigheid, maar garanderen geen identieke antwoorden. Ze veronderstellen bovendien dat iemand al weet welke omzetmeasure de juiste is en wat die betekent. Als daarover geen akkoord bestaat, kan Copilot die verwarring overnemen. Begin dus met de definitie en maak die vervolgens beschikbaar voor Copilot.
Hoe voorkomen we dat onze AI-assistent bedrijfsdefinities verzint?
Een assistent kan een definitie verzinnen wanneer hij een vraag over een term krijgt zonder een betrouwbare bron om zijn antwoord op te baseren. Hij vult de leemte dan op met een gangbare betekenis uit zijn training. Die komt niet noodzakelijk overeen met de betekenis binnen jouw organisatie.
Geef hem daarom een betere bron. Schrijf voor elke bedrijfsterm één definitie in gewone taal, duid een eigenaar aan en zorg dat de assistent die tekst kan raadplegen wanneer hij antwoordt. Veel AI-tools voor bedrijven bieden hiervoor mogelijkheden. Met de Microsoft Fabric data agent kun je bijvoorbeeld instructies toevoegen. Voor Lakehouse-, Warehouse- en Eventhouse-bronnen kun je ook voorbeeldquery’s toevoegen, maar niet voor semantische modellen. Geef de assistent daarnaast de instructie om te melden wanneer hij geen afgesproken definitie vindt, in plaats van te gokken.
Een definitie in een presentatie of op een niet-gekoppelde wikipagina volstaat niet. Als de assistent ze niet kan raadplegen, kan hij ze ook niet als basis voor zijn antwoord gebruiken.
Hoe zorgen we ervoor dat onze AI-chatbot correcte antwoorden over bedrijfs-KPI’s geeft?
Behandel de chatbot zoals elk ander rapport: test hem voordat mensen erop vertrouwen.
- Maak een lijst van de KPI’s in de rapportering voor het management en de raad van bestuur. Daar zullen mensen vragen over stellen.
- Formuleer voor elke KPI de vraag zoals een manager die zou stellen en noteer het antwoord dat het dashboard geeft.
- Stel elke vraag aan de chatbot en vergelijk de antwoorden. Ga bij een verschil na welk van de drie knelpunten de oorzaak is.
- Pak de definitie of de context aan, in plaats van alleen de prompt bij te schaven. Een omweg via de prompt helpt mogelijk bij één vraag. Een duidelijke definitie biedt een gedeelde basis voor alle vragen over die KPI.
- Voer dezelfde vragen opnieuw uit na elke modelwijziging, nieuwe databron of aanpassing van een definitie.
Waar je chatbot zijn cijfers haalt: vier opstellingen vergeleken
De meeste bedrijven combineren meerdere van deze opstellingen. De vraag is of ze allemaal naar dezelfde definities verwijzen.
| Opstelling | Wat de AI leest | Gebruikt de logica van het dashboard? | Wie houdt dit actueel? |
|---|---|---|---|
| Chatbot op ruwe tabellen of bestanden | Kolommen en rijen | Nee, hij berekent opnieuw | Standaard niemand, tenzij iemand die verantwoordelijkheid krijgt |
| Copilot op een voorbereid semantisch model | Measures, beschrijvingen en synoniemen | Kan de measures van dat model gebruiken; context en interpretatie blijven belangrijk | De auteur van het model |
| Instructies die in één chatbot zijn geplakt | Tekst die voor die tool is geschreven | Gedeeltelijk, als de logica correct is overgenomen | Wie de chatbot heeft ingericht |
| Gedeelde definities met een eigenaar, die de AI kan raadplegen | Definities, eigenaars en koppelingen naar rapporten | Kan dezelfde logica volgen als de definities aan de measures gekoppeld zijn en correct worden toegepast | De aangeduide KPI-eigenaar |
Een praktisch werkkader: benoemen, definiëren, beheren, delen en testen
- Benoemen: één naam per KPI, op dezelfde manier gebruikt in elk model, rapport en elke prompt.
- Definiëren: één zin in gewone taal die zegt wat inbegrepen is, wat uitgesloten is en welke kalender geldt.
- Beheren: één aangeduide persoon die de definitie mag aanpassen en er vragen over beantwoordt.
- Delen: rapportlezers en AI-tools raadplegen dezelfde definitie vanuit één centrale plek, in plaats van afzonderlijke kopieën. Het ontwerpdoel is om een wijziging één keer te beheren; de verwerking ervan in gekoppelde tools moet je blijven controleren.
- Testen: een vaste reeks KPI-vragen die je opnieuw uitvoert wanneer het model, de data of de definitie verandert.
Begin bij de gedeelde definitie
Wanneer een chatbot een ander cijfer geeft dan een dashboard, is het verleidelijk om van model te veranderen of de prompt te herschrijven. Dat neemt de onderliggende oorzaak vaak niet weg. De AI maakt zichtbaar over welke KPI’s nooit afspraken zijn gemaakt, welke geen eigenaar hebben of welke niet zijn gedocumenteerd. Pak dat bij de bron aan, geef mensen en AI toegang tot dezelfde definitie en controleer met vaste tests of de cijfers overeenkomen.
Veelgestelde vragen
Waarom geeft een algemene AI-chatbot andere cijfers dan ons Power BI-rapport?
Een algemene chatbot krijgt je semantische model, measures en rapportfilters niet automatisch mee. Hij berekent op basis van de data of tekst die hij ontvangt en kan ontbrekende context invullen met algemene kennis. Geef hem toegang tot je afgesproken definities en toets zijn antwoorden aan het dashboard.
Is Copilot in Power BI nauwkeuriger dan andere chatbots?
Copilot kan vanuit het semantische model werken en zo je measures gebruiken in plaats van zelf vanuit ruwe tabellen te rekenen. De kwaliteit van de antwoorden hangt nog altijd af van duidelijke namen, beschrijvingen, definities en context. Een goed voorbereid model is belangrijk, maar garandeert geen identieke of foutloze antwoorden.
Kunnen we verkeerde KPI-antwoorden oplossen met betere prompts?
Voor één vraag lukt dat soms. Maar een aanpassing aan een prompt blijft vaak beperkt tot één tool en werkt mogelijk niet meer zodra de vraag anders wordt gesteld. Een afgesproken definitie met een eigenaar, die elke tool kan raadplegen, biedt een duurzamere basis. Test wel of elke tool ze correct toepast.
Wie moet eigenaar zijn van KPI-definities voor AI?
Dezelfde persoon die ze beheert voor de rapportering: iemand met voldoende beslissingsbevoegdheid om te bepalen wat de KPI betekent, doorgaans aan de businesskant en niet bij IT. Afzonderlijke eigenaars voor rapportdefinities en AI-definities vergroten het risico dat die opnieuw uiteenlopen.
Hebben we een semantische laag nodig voordat we een chatbot op onze data aansluiten?
Je hebt eerst afgesproken definities nodig. In Power BI bevat het semantische model al de measures. Wat vaak ontbreekt, is de betekenis in gewone taal, een eigenaar en een manier waarop AI-tools buiten Power BI die informatie kunnen raadplegen.