Cloudera: Conversational AI helpt bedrijven interne data toegankelijk te maken

Veel bedrijven beschikken over grote hoeveelheden data. Als die gegevens snel en gemakkelijk beschikbaar zijn, levert dat ongetwijfeld veel voordelen op. Klassieke tools voor business intelligence zijn tot nu toe onvoldoende in staat gebleken om dit te realiseren. BI is voor veel business-gebruikers simpelweg te technisch en het draaien van rapporten levert bijna per definitie verouderde informatie op. Met de komst van AI - en dan met name conversational AI chatbots - zou hier wel eens verandering in kunnen komen. De snelheid van AI chatbots en de mogelijkheid om context toe te voegen, maakt het mogelijk om bijna in realtime inzicht in data te krijgen. De vraag is alleen wel: hoe bouw je eigenlijk een interne conversational AI chatbot?

Conversational AI chatbots kunnen zeer waardevol zijn voor bedrijven, mits ze goed getraind zijn op de beschikbare data, zo bleek tijdens een groot event (Evolve) dat Cloudera onlangs in New York organiseerde. De eerste stap in het benutten van AI voor enterprise data is het waarborgen van de kwaliteit van deze data. Het is cruciaal om een duidelijk onderscheid te maken tussen hoogwaardige, actuele data en data van mindere kwaliteit of met twijfelachtige actualiteit. Alleen door een dergelijk onderscheid te maken, kan men de AI effectief trainen en betrouwbare resultaten garanderen.

Met andere woorden: train een AI-model uitsluitend op data waarvan de kwaliteit duidelijk is en voldoet aan de eisen en wensen van de organisatie. Dit zal in veel gevallen betekenen dat de datasets redelijk beperkt van omvang blijven. Dat heeft als voordeel dat de benodigde IT-resources - servercapaciteit, het daarmee gepaard gaande elektriciteitsgebruik en -kosten - redelijk binnen de perken kunnen blijven. Dit geldt zeker bij de start van het gebruik van conversational AI als business users nog moeten wennen aan ‘prompt engineering’ en de vraag hoe het beste een goede vraag aan een AI chatbot kan worden gesteld, zich soms nog wat lastig laat beantwoorden. Beperkt in omvang is uiteraard een relatief begrip, want Cloudera heeft ook klanten die wel drie petabytes aan netwerkdata per dag verzamelen.

Conversational AI in de praktijk

Met een goed getrainde AI kunnen gebruikers vragen stellen aan de chatbot. De opkomst van ChatGPT heeft de interesse in en verwachtingen van op Large Language Models (LLM) gebaseerde toepassingen naar nieuwe hoogten gestuwd. Elk bedrijf lijkt er inmiddels mee te experimenteren, en kwalificeert en implementeert LLM-gebaseerde diensten om hun interne operaties te verbeteren en de interacties met hun gebruikers en klanten te verrijken.

Tijdens het Cloudera-event in New York bleek dat er grote verschillen zitten in de mate waarin organisaties gebruik maken van dit soort tools. Interessant genoeg blijkt hierbij niet zozeer de techniek, maar veel eerder de houding van eindgebruikers ten aanzien van AI een belangrijke rol te spelen. Angst voor verandering, zorgen of het toepassen van AI geen banen kost, maar ook twijfels of AI wel de verwachte resultaten oplevert, spelen hierbij duidelijk een rol, bleek uit diverse presentaties en discussies. Daarom werden vooral de sessies die aangeven hoe deze nieuwe technologieën op een veilige en gecontroleerde manier kunnen worden omarmd zeer goed bezocht.

De rol van open source

Grote bedrijven hebben specifieke behoeften die verder gaan dan algemene toepassingen. De privacy-zorgen zijn groot, vooral omdat veel bedrijven terughoudend zijn om hun interne kennisbasis te delen met externe providers. Dit vraagt om een delicate balans tussen het uitbesteden van diensten en databescherming. Samenwerken met commerciële aanbieders van LLM’s voor enterprise-toepassingen is dan ook zeker niet vanzelfsprekend.

Het goede nieuws is dat veel van deze zorgen weggenomen kunnen worden door gebruik te maken van open source-modellen die intern ofwel on-premise worden geïmplementeerd. Zelf met open source tools aan de slag gaan, is echter zeker niet haalbaar voor iedere IT- en business-afdeling. De technische AI-kennis die hiervoor noodzakelijk is, zal veelal niet intern aanwezig zijn en het aantrekken van de juiste expertise is in de huidige arbeidsmarkt onbegonnen werk.

Gelukkig leveren bedrijven die zich gespecialiseerd hebben in data science en AI hier in toenemende mate oplossingen voor. Zo introduceerde Cloudera een zogeheten ‘Applied Machine Learning Prototype’, kortweg AMP genoemd. Het bedrijf spreekt hierbij van een ‘LLM Chatbot Augmented with Enterprise Data’. Dit AMP demonstreert hoe je een chatbot-applicatie kunt verrijken met een enterprise-data om contextbewust interne datasets te ontsluiten. AMP is bovendien volledig gebaseerd op open source-technologie.

Wat is een AMP?

AMPs zijn kant-en-klare, end-to-end Machine Learning (ML) projecten die specifiek ontworpen zijn om enterprise use cases op gang te brengen. In het geval van Cloudera kun je met één klik een compleet ML-project uit de AMP-catalogus selecteren en implementeren.

Hoe werkt dit in de praktijk? Bij een implementatie van een AMP worden drie stappen doorlopen:

• Resource checks: hierbij wordt geverifieerd of de benodigde IT-resources beschikt zijn.
• Project setup: in deze stap wordt de installatie van dependencies geregeld en worden het te gebruiken open source-model gedownload.
• ETL-proces: in deze stap wordt een zogeheten vector database gevuld met de eigen data van de organisatie zodat het gedownloade model kan worden getraind.

Hierna is het model gereed voor het beantwoorden van semantische zoekopdrachten. De kwaliteit van de chatbot-reacties hangt uiteraard sterk af van de kwaliteit van de in de vector database geladen data. Het is essentieel om de hiervoor gebruikte kennisbasis te organiseren en op te schonen voor hoogwaardige reacties van de chatbot. Vaak zal dit betekenen dat onderscheid gemaakt moet worden tussen data waarvan de kwaliteit niet alleen bekend is, maar ook van het gewenste niveau is en data waarover onduidelijkheid over de accuraatheid bestaat of die bijvoorbeeld erg oud is.

Het prototype in actie

Het zogeheten proces van RAG (Retrieval-Augmented Generation) voor het genereren van een feitelijk antwoord op een gebruikersvraag omvat verschillende stappen. Ten eerste vult het systeem de vraag van de gebruiker aan met context uit een kennisbank. Om dit te bereiken, wordt in de vector database gezocht naar documenten die semantisch het dichtst bij de vraag van de gebruiker liggen, waarbij gebruik wordt gemaakt van insluitingen om relevante inhoud te vinden. Zodra de dichtstbijzijnde documenten zijn geïdentificeerd, haalt het systeem de context op door gebruik te maken van de document-ID's en insluitingen die zijn verkregen in het zoekantwoord.

Met de verrijkte context is de volgende stap het indienen van een verbeterde prompt bij de LLM. Deze verbeterde prompt of vraagt wordt vervolgens toegepast om het feitelijke antwoord te genereren. Deze nieuwe prompt bevat zowel de opgehaalde context als de oorspronkelijke gebruikersvraag.

Ten slotte wordt het gegenereerde antwoord van de LLM aan de gebruiker gepresenteerd via een webapplicatie, waarbij een uitgebreid en nauwkeurig antwoord op de vraag wordt geboden.

Uit die ervaringen die Cloudera inmiddels met deze manier van werken heeft opgedaan, blijkt dat hiermee een goed geïnformeerde en contextueel relevante reactie wordt gegenereerd, waardoor de algehele gebruikerservaring eveneens wordt verbeterd.

Als al deze stappen zijn doorlopen, beschikt de business-organisatie over een volledig functionerende end-to-end implementatie van het prototype. Het AMP-prototype toont hierbij twee verschillende antwoorden van de chatbot-applicatie, één met en één zonder enterprise context. Dit illustreert het vermogen van de chatbot om contextueel bewuste antwoorden te geven.

Tijdens het Evolve-event blek dat er bij veel business-organisaties veel belangstelling bestaat om via conversation AL chatbots interne dataverzamelingen te ontsluiten via een op vraag-en-antwood gebaseerde manier van werken. Tijdens het event noemde enterprise-organisaties die reeds met AMP’s aan de slag zijn gegaan bovendien veelbelovend. Interessant was bovendien om te zien hoe verschillende de enterprise-organisaties die met deze manier van werken ervaring hebben opgedaan eigenlijk zijn. Het varieerde van een autofabrikant die grote hoeveelheden data analyseerde die verkochte voertuigen tijdens het rijden genereren tot een farmaceutische firma die conversational AI toepast om het ontwikkelproces van medicijnen te versnellen tot een internationale bank die op AI gebaseerde chatbots gebruikt om pogingen tot fraude op te sporen.