Blog Data Observability - Ban de bonus?

Ik heb liever niet dat mijn favoriete supermarktproducten in de aanbieding zijn. De reden: het schap is vrijwel altijd leeg. Als ik mijn onvrede hierover uit bij vrienden, hoor ik nog wel eens de opmerking dat het een marketingtruc is. Je komt naar de winkel voor de aanbieding, het schap is leeg en dan koop je een ander, duurder product. Ik weiger dat te geloven. Lege schappen en gemiste aanbiedingen zorgen voor frustratie bij klanten en veroorzaken een slechte ervaring. Ontevreden klanten wil je niet hebben als bedrijf. Toch gebeurt het elke keer weer.

Als consument met een beetje verstand van bedrijfsvoering, inkoop en logistieke ketens ga ik ervan uit dat er bij het plannen van acties al ver van tevoren wordt nagedacht over de toelevering. Met kunstmatige intelligentie is een accurate inschatting te maken van de te verwachten vraag op basis van klantgedrag uit het verleden. Het fenomeen aanbiedingen is tenslotte niet opeens vorige maand uitgevonden. De producenten zorgen dat er voorraad is, en de distributeurs en vervoerders plannen de aanlevering in. Waar loopt het spaak?

Data Observability

Aangenomen dat er inmiddels voldoende goede planningstools bestaan, moet het wel misgaan bij de data waarop de planningen worden gebaseerd. De slimste algoritmen zijn waardeloos als de kwaliteit van de data waarop ze worden losgelaten, niet deugt. De hoeveelheid data die beschikbaar is om beslissingen te nemen, groeit sterk, maar de kwaliteit ervan is nog altijd een probleem. De aanbiedingen bij de supermarkt zijn maar een voorbeeld. Ook financiële afdelingen, marketingteams, logistieke planners en industriële operators krijgen met slechte data te maken in een wereld waar datagedreven werken de norm is.

Data Observability is een opkomende discipline die hulp kan bieden bij het verbeteren van de datakwaliteit door datastromen continu te volgen met behulp van metadata uit de processen. Er zijn verschillende tools beschikbaar, zoals Monte Carlo, Bigeye, Databand en Datadog, die goed integreren met de populaire dataplatformen.

Data Observability gaat ervan uit dat tools vijf aspecten in de gaten houden:

·         Freshness: Controleer hoe recent de data zijn en voorkom verouderde inzichten waardoor bijvoorbeeld voorraadproblemen ontstaan.

·         Distribution: Analyseer datapatronen (zoals gemiddelde en standaarddeviatie) om afwijkingen te detecteren. Zo kan een plotselinge piek of daling in de interactie van klanten met de website een waarschuwing zijn voor een probleem met het dataverzamelingsproces of een onderliggende systeemfout.

·         Volume: Controleer de hoeveelheid data die door systemen stroomt. Onverwachte stijgingen of dalingen in de datastroom kunnen een probleem in de verwerking veroorzaken.

·         Schema: Controleer veranderingen in datastructuur om te voorkomen dat er later in de pijplijn problemen ontstaan. Een verandering van een datatype of het hernoemen van een kolom, kan in gekoppelde systemen tot onverwachte fouten leiden.

·         Lineage: Traceer de herkomst en transformaties van data om fouten sneller op te sporen. Als er afwijkende waarden worden gevonden, geeft data lineage inzicht in waar in de pijplijn de oorzaak van de afwijking optrad.

De crux van Data Observability zit in het continue en geautomatiseerde karakter van de monitoring van datakwaliteit in plaats van een periodieke evaluatie. Het is wel belangrijk van tevoren te definiëren aan welke criteria de data moeten voldoen zodat deze in lijn zijn met de bedrijfsdoelen. Tools die problemen signaleren, zijn slechts het begin van een oplossing. Ook een tijdige en adequate opvolging inrichten is essentieel om maximaal voordeel te kunnen halen uit de hulpmiddelen.

Nu maar hopen dat er straks voldoende vakkenvullers beschikbaar zijn om de in juiste hoeveelheden aangeleverde aanbiedingen in de lege schappen te plaatsen. En dat ze wel klaar zijn op het moment dat ik net mijn favoriete product eens lekker voordelig wil inslaan.

(Dit artikel van Thijs Doorenbosch verscheen eerder op Data-Expo.nl)

Over Data Expo

Tijdens Data Expo op 10 en 11 september 2025 in de Jaarbeurs Utrecht, komen professionals uit verschillende data-disciplines en van verschillende niveaus samen om kennis, tools en inspiratie te delen. Met ruim 100 exposanten, 120 lezingen en een netwerk aan professionals is Data Expo dé plek om oplossingen te vinden voor het inzichtelijk en relevant maken van de alsmaar groeiende stroom aan data. Claim hier jouw gratis tickets.