‘Duidelijk verband tussen AI en BI op Big Data-clusters’

Volgens honderden onderzoekers loopt Europa achter als het gaat om onderzoek naar en toepassing van kunstmatige intelligentie. Om in die leemte te voor­zien, zou er een speciaal Europees onderzoekscentrum moeten komen. Over kunstmatige intelligentie (AI) wordt al bijna een halve eeuw gesproken. En altijd weer doemen scenario’s op van computersystemen die beslissen en niet de mensen. Het onderzoeks­bureau BARC deed er onderzoek naar en constateert een verband tussen AI en BI op Big Data-clusters.

Artificial Intelligence (AI), oftewel kunstmatige intelligentie werd lange tijd beschouwd als iets geheimzinnigs, een vorm van magie. Met de acceptatie van software als verlengstuk van het menselijke vernuft, is de ‘tovenarij’ rond AI-toepassingen verdwenen. In veel productiebedrijven vormen robots een vertrouwd beeld in de productiehallen. We vinden ze weliswaar nog niet erg intelligent, maar dat komt omdat we ze doorgaans alleen instellen op het uitvoeren van repeterende werkzaamheden. Zodra ze zijn geladen met echt menselijke expertise, gaat hun status omhoog. Als cobots laten we ze gezamenlijk met menselijke collega’s in dezelfde ruimte aan een bepaald productieproces werken. En ieder verricht zijn taak vanuit een bepaalde competentie.

Zowel de machine als de mens beschikken over grote hoeveelheden data op basis waarvan een handeling wel of niet op een bepaald moment wordt uitgevoerd. Kunstmatige intelligentie wordt vooral door data gedreven. Het is dus ook geen wonder dat juist daarom AI weer actueel is, nu iedereen begint te beseffen dat data de olie van de digitale wereld is.

Sneller dan mensen

Patrick Keller is senior analist bij BARC, een Duits bureau dat technologietrends onderzoekt en bedrijven informeert over hoe zij hun voordeel kunnen doen met deze ontwikkelingen. Keller legt een heel duidelijk verband tussen kunstmatige intelligentie, data-analyse en de inspirerende werking van algoritmen op data.

”Bedrijven moeten zich gaan verdiepen in hoe ze met kunstmatige intelligentie hun producten en productieprocessen kunnen verbeteren”, zo zegt hij. ”Voor praktisch alle menselijke zintuigen en communicatieve vaardigheden bestaan inmiddels elektronische varianten in de vorm van sensoren en mems (micro elektronische mechanische structuren). We weten langs welke patronen ons brein leert en informatie interpreteert en zijn al in staat om die kennis onder te brengen in neurale netwerken. Uit onderzoeken weten we dat algoritmen bij patroonherkenning in beeldopnamen inmiddels hoger scoren dan mensen. In de medische sector willen ze daar hun voordeel mee doen bij het stellen van diagnoses, bijvoorbeeld in het geval van huidkanker. Google claimt zelfs in staat te zijn om aan de hand van de data achter een zevental essentiële medische parameters, het overlijden van een patiënt 24 tot 48 uur eerder te kunnen voorspellen dan een zorginstelling die de gangbare diagnosemethoden hanteert.”

Volgens Keller komen deze voorspellingen tot stand met dezelfde analytische algoritmen als waarmee de zoekgigant dagelijks z’n reusachtige volumes aan Big Data doorspit. En die aanpak vinden we volgens hem ook terug in systemen waarmee we machines bewaken om aan preventief onderhoud te doen of waarmee we knelpunten in verkeersknooppunten of in grensoverschrijdende logistieke stromen opsporen.

In het door BARC geïnitieerde Big Data-onderzoek laat het merendeel van de respondenten weten de analyse-instrumenten in te zetten om de gigantische hoeveelheid beschikbare data te benutten voor het maken van voorspellende modellen, voor het beter onderbouwen van de besluitvorming en voor het doorspitten van data van uiteenlopende aard. En de instrumenten doen hun werk blijkbaar goed, want bijna 70% van de ondervraagden geeft te kennen dat ze betere strategische beslissingen nemen. Ook zijn ze nu in staat hun processen te verbeteren en hebben ze meer inzicht in de ervaringen van hun klanten.

Gebrek aan deskundigheid

Problemen zijn er ook. Die hebben te maken met het gebrek aan deskundig personeel, zowel voor wat betreft de kennis van de toegepaste technologie als de analytische kwaliteiten. Ook wordt men geconfronteerd met privacyvraagstukken rond persoons­gebonden data en met de beveiliging van data.

Daarnaast spelen ook de hoge kosten voor de Big Data-analyseomgeving een rol. Voor de eerste opslag van ruwe data, afkomstig van bijvoorbeeld sensoren of social media, geldt dat niet, want 65% van de ondervraagden gebruikt daarvoor data lakes. De op open source code gebaseerde opslag voor Big Data verricht bij 47% tevens de functie van goedkoop archief. Van de respondenten aan het BARC-onderzoek laat 36% weten dagelijks, dan wel met een lagere frequentie het Hadoop-cluster te legen, terwijl 21% ‘event processing’ toepast en indien nodig realtime via streaming voorzieningen data naar binnen haalt. ’Near-time’ is goed genoeg voor 35% om data met een vertraging van enkele seconden tot zelfs minuten over te pompen.

Keller concludeert uit het onderzoek dat kunstmatige intelligentie het nieuwe paradigma is voor bedrijven, ook vanuit IT-perspectief. De focus ligt vooralsnog op data-analyse en machine learning. Data-architecturen worden meer en meer heterogeen. Kunstmatige intelligentie gaat op diverse plekken binnen de organisatie bedrijfs­processen automatiseren, ook wanneer het gaat om IT-processen. Interessant in dat opzicht is de uitkomst dat 46% van de door BARC ondervraagde bedrijven verwacht dat ze hun Big Data-analysevoorzieningen kunnen inrichten via een public cloud. Nog eens 30% kiest voor een hybride omgeving en 24% houdt het op een private cloud.

Snel grootschalig analyseren via data shards

BARC-consultant Patrick Keller was één van de inleiders bij de Nederlandse introductiebijeenkomst van IRIS, het nieuwe heterogene dataplatform van Intersystems. Het bedrijf claimt met IRIS een product op de markt te hebben gebracht dat binnen één architectuur onderdak biedt aan zowel data voor transactieverwerking, data voor analytische toepassingen en data ten behoeve van bedrijfsprocessen die realtime worden uitgevoerd.

Voor het snel analyseren van omvangrijke datasets viel tot dusver de keuze vaak op systemen met in-memory databases. Die laten zich niet zonder meer direct opschalen op het moment dat de werkbelasting en de omvang van de datasets toenemen. De keuze voor de maximale omvang van de in-memory database verkleint weliswaar het risico van gebrek aan geheugencapaciteit, maar laat in theorie nog steeds toe dat door een onverwacht tekort aan capaciteit, data verloren gaat. Bovendien is het een heel kostbare oplossing. IRIS werkt met een intelligent mechanisme voor het managen van het cachegeheugen en schrijft na een in-memory uitgevoerde bewerking, automatisch data ook naar geheugen op schijf. Onder geen beding gaan tijdens de operatie gegevens verloren, stelt men.

Een transactie van één record laat zich binnen één microseconde (0,001 milliseconden) verwerken en in-memory plaatsen om van daaruit door een query te worden benaderd. Binnen 20 microseconden staat de transactie bijgeschreven in het logboek en komt daarmee ook terecht op de harde schijf.

Schaalbaarheid ontleent IRIS aan het workload-mechanisme, gebaseerd op het al langer gebruikte Enterprise Cache Protocol (ECP) voor het onderverdelen van één monolithische database naar gedistribueerde database­tabellen in het cachegeheugen. In IRIS is hieraan Intelligent Intershard Communication toegevoegd, waardoor zeer grote volumes gedistribueerde datasets zijn te analyseren. Zo’n geclusterde sharded omgeving verdeelt de werkbelasting met datasets horizontaal in rijen. De technologie, die onder andere ook Facebook toepast, zorgt ervoor dat datapartities in specifieke, grote tabellen omwille van de snelheid en beheersbaarheid op verschillende servers zijn ondergebracht. Ze worden aangeduid als data shards. Wanneer een veelgebruikte analysetoepassing queries op een geclusterde data-omgeving afvuurt, laat IRIS de shard master de queries opdelen en verspreiden over de data shards voor parallelle uitvoering. Daarna aggregeert de shard master de verschillende resultaten en levert die in zijn geheel terug aan de betreffende analyse-applicatie. Onderling kunnen de shards data uitwisselen zonder de shard master erbij te betrekken.

Data laat zich binnen het platform zowel in een relationele structuur (SQL) opslaan als in een object-georiënteerd model met een synchronisatie-mechanisme tussen die twee omgevingen. Het dupliceren van data kan achterwege blijven, evenals een representatie van het proces (mapping) van object naar relationeel. De mogelijkheid om het meest geschikte formaat en representatie-model toe te passen, zorgt voor flexibiliteit in de fase van systeemontwikkeling, voor een hoger prestatieniveau tijdens de operationele uitvoering en voor minder complexiteit bij het beheer.

Frans van der Geest is journalist