Een AI-demo is bedoeld om te laten zien wat een model kan. Een model schrijft een voorstel, vat een contract samen of stelt een wijziging in code voor, en het resultaat ziet er goed uit. De demo beantwoordt één vraag: kan het model een plausibele output maken? De meeste andere vragen blijven open.
In het dagelijks werk is de output maar één onderdeel van wat moet functioneren. Iemand moet weten waarvoor de output dient, het model van de juiste informatie voorzien, beoordelen of het resultaat klopt en het inzetten in een proces dat al bestaat. Ontbreekt een van die onderdelen, dan levert ook een sterke output weinig op, of zorgt hij juist voor extra werk.
Begin bij de taak, niet bij het hulpmiddel
Een bruikbaar vertrekpunt is een afgebakende taak met een beoogd zakelijk resultaat. “AI inzetten in sales” is geen taak. “Een briefing voorbereiden vóór een eerste gesprek met een potentiële klant, zodat de accountmanager de context van de klant en de belangrijkste vragen kent” is dat wel. Hoe specifieker de taak, hoe makkelijker het is te beoordelen of de bijdrage van AI helpt, en te merken wanneer dat niet zo is.
Informatie en bevoegdheden
Iedere taak hangt af van informatie. Een gespreksbriefing kan putten uit klantgegevens, recente correspondentie, marktinformatie en de eigen positionering van de organisatie. Elke bron roept praktische vragen op: is de informatie actueel, is ze betrouwbaar, en mag het systeem haar voor dit doel gebruiken? Bevoegdheden zijn net zo belangrijk als beschikbaarheid. Een output die steunt op gegevens die de gebruiker niet mag zien, of op verouderde data, is een probleem, hoe vloeiend hij ook leest.
Wat AI voorbereidt, en wie besluit
Het helpt om de taakverdeling expliciet te maken. In veel workflows kan AI goed voorbereiden: verzamelen, ordenen, opstellen of voorstellen. Een mens beoordeelt vervolgens de outputs met gevolgen, zoals alles wat naar een klant gaat, in een systeem wordt vastgelegd of wordt gebruikt voor een besluit.
Menselijke beoordeling wordt vaak gepresenteerd als waarborg, maar werkt alleen onder drie voorwaarden. De beoordeling heeft een eigenaar nodig: een benoemde persoon of rol die verantwoordelijk is voor het besluit, geen gedeelde inbox. De beoordelaar heeft bruikbaar bewijs nodig: de bronnen waarop de output steunt, wat er zou veranderen en waarom, en waar het systeem onzeker was. En er zijn heldere acceptatiecriteria nodig, zodat de beoordelaar weet wat “goed genoeg” betekent voor deze taak. Een algemene goedkeuringsknop voldoet aan geen van deze voorwaarden als de beoordelaar het werk niet echt kan beoordelen.
Het NIST AI Risk Management Framework sluit hierop aan. De kern daarvan vraagt organisaties processen voor menselijk toezicht te definiëren, te beoordelen en vast te leggen, en AI-systemen te testen vóór ingebruikname en regelmatig tijdens gebruik. NIST AI RMF Core (Engelstalig)
Geaccepteerd werk aansluiten op het proces
Een geaccepteerde output moet ook ergens terechtkomen. Een briefing hoort beschikbaar te zijn waar de accountmanager zich voorbereidt; een goedgekeurde codewijziging hoort het gewone review- en releaseproces in te gaan; een gecontroleerd document hoort te staan waar collega’s het verwachten. Als mensen resultaten met de hand tussen systemen moeten kopiëren, hangt de workflow af van goede wil en kalft hij af.
Twee illustraties uit de studio
Twee ventures van Xablu Venture Studio werken aan varianten van deze vragen. GoToM8 wordt ontwikkeld om klant-, markt- en systeemsignalen te verbinden met gevalideerde strategie en kennis, zodat commerciële en operationele teams hun werk consistenter kunnen voorbereiden en uitvoeren. De nadruk ligt op voorbereiding die een mens gebruikt en beoordeelt, niet op geautomatiseerde besluiten. Of die aanpak overeind blijft bij verschillende teams en data-omgevingen, moet de validatie nog laten zien.
CodeChat, een venture in ontwikkeling en validatie, vertrekt vanuit softwareontwikkeling. Een voorgestelde codewijziging is alleen bruikbaar als de ontwikkelaar die haar beoordeelt kan zien wat er zou veranderen, waarom en hoe het is gecontroleerd, en als een geaccepteerde wijziging het bestaande review- en releaseproces van het team volgt. De aanpak wordt nog gevalideerd; over het effect op ontwikkelwerk zijn nog geen conclusies te trekken.
Echt gebruik evalueren
Zodra een workflow met echte gebruikers draait, komt het bewijs dat telt uit gebruik, niet uit demo’s. De vragen hieronder zijn suggesties voor die evaluatie; iedere organisatie zal ze moeten afstemmen op de eigen taak en risico’s.
Sommige antwoorden vallen tegen, en dat is nuttig. Een workflow waarin beoordelen langer duurt dan de taak zelf uitvoeren, is in zijn huidige vorm misschien niet de moeite waard. Een workflow waarin correcties afnemen en het gebruik groeit, verdient verdere ontwikkeling.
Is er in uw organisatie één workflow waarbij AI zou kunnen helpen? Breng de taak in kaart, de informatiebronnen waarvan die afhangt en de persoon die het resultaat zou beoordelen, en neem die drie punten mee naar een eerste gesprek met ons.
Bespreek een workflow →