Splunk presteert beter op Hyper Converged Infrastructure

Terwijl de public cloud vanwege de verborgen kosten als alternatief voor een private IT-infrastructuur onder vuur ligt, zien wel steeds meer cloud native applicaties het levenslicht. Helder gedefinieerde API’s en een ruime keuze in tooling maken de cloud tot het walhalla van de applicatie-ontwikkelaars. Hun voorkeur gaat steeds meer in de richting van microservices. Deze kleine, functiegerichte apps laten zich snel en effectief samenstellen, onderhouden en verpakt in containers via internet uitrollen. De open source-variant Kubernetes is bezig met een snelle opmars in het applicatielandschap.

Efficiënter werken 

De economische terugval vraagt om een efficiëntere werkwijze van bedrijven en instellingen. Containers blijken als virtualisatielaag veel effectiever te werken dan de verouderde VM-architecturen. Hoe meer softwaretoepassingen zich in containers bevinden, hoe alerter een IT-organisatie kan reageren op uitdagingen en kansen voor de business. Het implementeren en onderhouden van dit soort op containers gebaseerde IT-infrastructuren geschiedt steeds vaker met de open source-technologie Kubernetes. Dankzij de cloud native community neemt de functionaliteit voortdurend toe, waardoor de technologie steeds breder inzetbaar wordt. Wie kiest voor een commercieel ondersteunde Kubernetes-applicatie weet zich bovendien gesteund door professionals die de oplossing onderhouden en actualiseren.

Anders dan bij puur gevirtualiseerde infrastructuren, waarin iedere virtuele machine beschikt over een eigen besturingssysteem, delen containers met elkaar de basiscomponenten van het onderliggende. Dit is veelal een Linux-besturingssysteem. Daarmee wordt virtuele overhead voorkomen. Toch ziet technologie-analist Enrico Signoretti van de GigaOM Research Community, VM-gebaseerde infrastructuren niet direct verdwijnen. VM en Kubernetes zullen nog een lange tijd met elkaar moeten leven binnen een Hyper Converged Infrastructure (HCI). Dit is de technologie waarop de IT-stack in veel datacenters voor de cloud is opgebouwd. Signoretti denkt dat bij sommige omgevingen er altijd sprake zal zijn van een hybride oplossing. Een veel gebruikte database-applicatie van een verouderde architectuur laat zich nu eenmaal niet gemakkelijk in een containerstructuur gieten. Hij vraagt zich dan ook af of in zo’n geval migratie vanuit kostenoverweging wel lonend is. 

Orkestratie-tool

Daarnaast constateert de Italiaanse analist dat Kubernetes slechts een orkestratie-tool is. Er zijn aanvullende tools nodig om een Kubernetes-cluster adequaat te laten reageren op de veranderende business-behoeften van ondernemingen. Vooral de zogeheten ’stateful’ applicaties (zie kader) eisen voldoende dataopslag en een efficiënte afhandeling van het netwerkverkeer. Uiteindelijk draait het om het goed beheren van een hybride infrastructuur en gelijktijdig simplificeren van die infrastructuur. In die context biedt HCI meer dan ooit een oplossing. In een recent verschenen blog noemt Signoretti drie partijen die met succes Kubernetes en HCI weten te combineren:

• VMware integreert Kubernetes simpelweg in zijn hypervisor. De licentiekosten kunnen weliswaar hoog uitpakken, maar in termen van TCO is het beheren van één infrastructuur gemakkelijker dan het beheren van een complexe hybride omgeving.
• Klanten van Nutanix ervaren dezelfde voordelen, maar anders dan bij VMware zijn de Kubernetes-onderdelen transparant geïmplementeerd boven op de inmiddels cloud gebaseerde hypervisor.
• De derde partij is de scale-up Diamanti, waarvan de technologie een gehele nieuwe weg inslaat met separate hardware voor de ’offload’ van data en netwerkverkeer, geïntegreerd en geoptimaliseerd voor het Kubernetes-platform. De functionaliteit van het orkestratie-mechanisme is vergroot en draagt bij aan de prestaties, efficiency en versimpeling van de Kubernetes-applicaties. De technologie laat zich toepassen in combinatie met de genoemde HCI-omgevingen, maar is ook ’bare metal’ te implementeren, dus rechtstreeks op de onderste laag van het besturingssysteem. Zonder virtuele overhead en met volledige ondersteuning van ‘stateful’ applicaties faciliteert de Diamanti technologie voldoende opslagcapaciteit voor grote hoeveelheden applicatiegebonden data.

Splunk en data-gedreven processen

Stateful applicaties treffen we vooral aan bij data-gedreven toepassingen rond databases, bij Artificial intelligence (AI) en in omgevingen met Machine Learning (ML). Wie denkt aan door data gedreven processen komt vrijwel automatisch terecht bij Splunk. Dit softwareplatform is in staat om alle door machines gegenereerde data in ongestructureerde vorm te ontsluiten, op te slaan en te structureren. Zodat de data via een uitgebreide reeks van analytische toepassingen gebruikt kan worden. Het Splunk-platform omvat een bibliotheek van pasklare apps die zich via API’s met de dataverzameling laten verbinden. Op die manier is het heel eenvoudig om voor uiteenlopende doeleinden oplossingen te creëren voor het vergaren van data uit verschillende bronnen om daarop vervolgens analyses uit te voeren. Splunk wordt onder andere gebruikt bij big data-analyses, operationeel IT-beheer (ITOM) met AI-ondersteuning, netwerk- en datacenterbeveiliging (SIEM ofwel Security Information and Event Management) en DevOps (cloud monitoring, prestatiemetingen aan applicaties, incidentrapportages). Het platform is geheel toegespitst op het ondersteunen van bedrijfsactiviteiten waarvan het succes samenhangt met efficiënt indexeren, analyseren en visualiseren van data.     

Referentiearchitectuur voor stabiele uitrol

Het inrichten en implementeren van Splunk wordt vaak als complex ervaren. De applicaties functioneren optimaal zolang de onderliggende IT-infrastructurele bronnen in lijn zijn met de topologie van een Splunk-cluster. Die topologie bestaat uit forwarders (in- en doorvoer van geaggregeerde data van geselecteerde databronnen, real-time data, loggegevens enz.), indexers (geïndexeerd opslaan van de data naar schijfgeheugen) en search heads (uitvoeren van zoekopdrachten op de dataverzameling).

Splunk-implementaties zijn doorgaans bovendien omvangrijk met veel aangesloten machines en eindgebruikers. De processen kunnen draaien op enkelvoudige servers of op meervoudige en taakgerichte servers. Een massale hoeveelheid streaming data kan de capaciteit van het netwerk, de servers en de opslagvoorzieningen al snel overbelasten. In zogeheten Splunk Validated Architectures (SVA’s) is de referentiearchitectuur vastgelegd voor een stabiele, efficiënte en dupliceerbare uitrol. Het is interessant om te zien hoe een scale-up als Diamanti zijn platform volledig in lijn met de SVA’s heeft ingericht, waardoor iedere Splunk-toepassing er zonder wijziging op kan draaien. Tijdrovend handelingen als het op de gewenste toepassing afstellen van systeembronnen is dan niet langer nodig. Vrijwel letterlijk volstaat één druk op de knop om de Splunk-software gebruik te laten maken van de dynamische schaalvoordelen en de hoge prestaties van de Kubernetes-containers.

Kinney Group, een onafhankelijk expertisebureau op het gebied van Splunk, heeft recent de meerwaarde van het Diamanti Kubernetes-platform gevalideerd voor Splunk-applicaties. Dit bureau levert sedert 2013 diensten rondom Splunk aan het bedrijfsleven en overheidsorganisaties. De experts concludeerden na een uitgebreide test van een Splunk-referentiearchitectuur op zowel het Diamanti-platform als op het public cloud-platform van AWS dat gebruikers zowel qua prestaties als qua kosten beter uit zijn met de Kubernetes gedreven cloud-oplossing. 

Stateful versus stateless

Bij een toenemend aantal software-applicaties wordt tijdens de uitvoering van een programma de status van het proces vastgelegd in samenhang met door de gebruiker ingegeven voorkeuren, zoekspecificaties, schermweergaven en eerder geopende bestanden. Deze ’stateful’ applicaties zijn op zich niet nieuw. Ook in veel legacy-toepassingen is de afhankelijkheid van bepaalde datasets ingebouwd. De eerste containerapplicaties bestonden voornamelijk uit webgebaseerde stateless applicaties. Die houden geen data vast over voorgaande sessies en starten telkens geheel opnieuw.

Wanneer bedrijven hun ontwikkelteams willen laten profiteren van aspecten als snelheid, eenvoud en overdraagbaarheid, kiezen ze steeds vaker voor de cloud als infrastructuur voor hun primaire database- en dataservices-toepassingen. Daar horen dus ook stateful container-applicaties bij. Tijdens activatie leggen die veel informatie vast en laten op de data real-time analyses los. Een voorbeeld is bijvoorbeeld de boekingssite van de Engelse reisorganisatie Travelport. Door de on-the-fly uitgevoerde analyses kan aan een bezoeker direct na afsluiten van een boekingssessie een interessant aanbod worden gedaan met eventuele extra’s. Iemand die geen transactie is aangegaan, krijgt dan bijvoorbeeld suggesties voorgelegd die alsnog kunnen leiden tot een deal.