TV-programma’s als Radar, Kassa en Ook dat nog! hebben jarenlang gedraaid op slechte klantenservice. De chatbot van DPD doet daar nu lekker aan mee.

Een dichtende AI-chatbot

Geconfronteerd met een AI-chatbot die de klant niet kan helpen met zijn servicevraag, gaat de klant andere vragen stellen. Eerst vraag hij de chatbot om een grap te vertellen en dan om een gedicht te schrijven over slechte klantenservice.

De generatieve AI van de chatbot schrijft een keurig gedicht over de slechte service van DPD. Een gedicht dat zo gepast had in een sketch van het programma Ook dat nog. Het programma dat jarenlang week in week uit de slechte dienstverlening van bedrijven op de hak nam met sketches.

Uiteraard ging deze mooie poëzie viral en was dit voor DPD reden hun chatbot offline te halen. Zie hier de opname:

Hallucinerende AI-chatbot

Dat de inzet van AI echt met beleid moet gebeuren blijkt maar weer uit dit voorbeeld. Waar hier de AI-chatbot nog met inhoudelijk correcte teksten komt, ook al zijn die pijnlijk voor het bedrijf, kan generatieve AI ook hallucineren. Daarmee wordt bedoelt dat er informatie bedacht wordt die niet bestaat.

De ene chatbot geeft niet thuis…

Laat ik een concreet voorbeeld geven. Ik kreeg recent in de ‘hobby-sfeer’ een vraag van een onderzoeker of ik wist of er in Polen mensen waren die hem konden helpen en of er in Polen publicaties waren die hij kon gebruiken. Ik ken wel Polen en de Poolse geschiedenis behoorlijk goed. Het specifieke onderwerp was ik minder mee vertrouwd maar sprak me wel aan dus ging ik maar eens op zoek en ik starte met een vraag aan Chat GPT: Die gaf niet thuis omdat “Helaas kan ik geen specifieke boeken oplijsten die vóór 2022 in Polen zijn verschenen over…….”.

Los van de term ‘oplijsten’ die creatief is, kwam ik dus niet verder ook toen ik nog explicet mijn vraag herformuleerde gericht op informatie van voor 2022.

…de tweede hallucineerd

Dan maar aankloppen bij Bard (de chatbot van Google*) met dezelfde openingsvraag: “Geef een overzicht van in Polen verschenen boeken die gaan over [onderwerp]” waarop Bard voortvarend aan de slag ging. Ik laat de inhoudelijk informatie weg omdat die op zich niet relevant is.

In Polen zijn er tientallen boeken verschenen over [onderwerp]. Deze boeken kunnen worden onderverdeeld in twee hoofdgroepen:
– Autobiografische verslagen van [onderwerp]. Deze verslagen geven een persoonlijke kijk op het leven […..].
– Historische studies die de geschiedenis van [onderwerp]. Deze studies geven een overzicht van [….]

Na deze keurige inleiding met impliciete vraagherhaling (alsof Bard een communicatietraining bij me heeft gevolgd). Volgen drie lijstjes met boeken:

  • Autobigrafieen
  • Historische publicaties
  • Recente publicaties

Dit alles op het eerste oog heel overtuigend totdat je verder gaat kijken en de eerste titel geschreven zou zijn door generaal Stanisław Sosabowski. Een voor mij vertrouwde naam die totaal niet past bij het onderwerp. Vervolgens blijkt bij een nadere analyse dat alle door Bard gegenereerde informatie een complete hallucinatie is!

Toepassen van AI? Maak jezelf ook bewust van de mogelijke gebreken

Deze twee voorbeelden laten zien dat voor twee hele gebruikelijke toepassingen van generatieve AI, de uitkomst niet direct een succes oplevert. Natuurlijk moet dit je niet weerhouden om dit soort mogelijkheden, en andere toepassingen van (generatieve) AI te blijven onderzoek voor je klantenservice, marketing of andere afdelingen binnen je bedrijf maar zorg ook dat je goed bewust bent van de eventuele risico’s die je daarmee loopt.

Tegen de achtergrond van dat advies is het bijna gek dat de chatbot van DPD de ruimte had om flauwe grappen en gedichten te produceren. Vanaf de eerste meer gescripte chatbots is bekend dat mensen proberen ze uit te dagen. Zo’n uitglijder is pijnlijk, zeker als die viral gaat en ook nog opgepikt wordt door ‘ mainstream’ media zoals de NOS.

*) TOEVOEGING 10 Feb. ’24: Google heeft Bard gerebrand naar Gemini.