Losstaande servers inefficiënt
Amsterdam was dit jaar het podium voor de Hadoop Summit. In de Beurs van Berlage verzamelden tal van Hadoop-aanhangers zich voor de laatste ontwikkelingen en trends. Een van de aanwezigen was Matthijs van Leeuwen, voorheen verbonden aan ClusterVision - een Nederlands bedrijf dat kant-en-klare clusters oplevert voor High Performance Computing (HPC), en nu CEO van Bright Computing. Dit bedrijf heeft programmatuur ontwikkeld die clusters actief maakt en makkelijk laat beheren. Het is een ‘high potential company’, zoals de Amerikanen zeggen en in 2013 winnaar van de Deloitte Rising Star-award.
Matthijs van Leeuwen
Van Leeuwen denkt groot en is van meet af aan de Amerikaanse markt opgegaan met zijn software. Vooral omdat partners als Dell, Cray en Cisco daar hun hoofdkantoor hebben. Maar ook omdat die markt groter is; er zijn meer organisaties en overheden die aan High Performance Computing doen. Inmiddels heeft het bedrijf een indrukwekkende klantenlijst opgebouwd: Boeing, NASA, Lockheed Martin, de Amerikaanse ministeries van defensie en van energie, veel laboratoria en tal van universiteiten. Bijvoorbeeld die van Groningen en de Technische Universiteit Eindhoven (TU/e). Overal waar heftig rekenwerk nodig is, biedt een cluster uitkomst.
“Steeds meer”, vertelt Van Leeuwen, “want in toenemende mate is het ontwerpproces digitaal. Vliegtuigbouwers simuleren testen; het kost immers bijzonder veel geld om een windtunnel te huren. En autofabrikanten voeren ook steeds vaker digitale botsproeven uit. Dat is veel goedkoper dan een splinternieuwe auto in een paar minuten naar de schroothoop te laten rijden.”
‘Bare metal’
Wat dit alles met datacenters van doen heeft? Nou, dat verklaart eigenlijk de aanwezigheid van Van Leeuwen op de Hadoop Summit in Amsterdam. De nieuwste Bright Cluster Manager is niet voorbehouden aan de supercomputers en zware servers. Hij weet van elk stuk ‘bare metal’ een knooppunt in een cluster te maken. Daarmee zijn datacenters nu ook een markt voor zijn software. “Eigenlijk eerder al”, vertelt hij, “maar we moeten ons als klein bedrijf focussen. Nu zijn we zo ver dat we de Nederlandse en Europese markt op gaan. Binnenkort komen we ook met een versie voor OpenStack; dus dan kunnen we in elk datacenter terecht.” OpenStack is het open source besturingssysteem voor de cloud dat door RackSpace en NASA is ontwikkeld. Inmiddels nemen meer dan 200 bedrijven deel aan het project, waaronder Dell, Intel, Red Hat en Ericsson.
Bright Cluster Manager 7
Dankzij de integratie van het fysieke cluster en de Hadoop-software, kost het minder tijd en moeite om een cluster in gebruik te nemen en te beheren. Bright Cluster Manager 7 ondersteunt alle populaire varianten van Apache Hadoop waardoor klanten van Bright de variant kunnen kiezen die het best aan hun behoeften voldoet, terwijl ze kunnen profiteren van de geavanceerde functionaliteiten van Bright Cluster Manager.
Behalve installatie en provisioning biedt Bright Cluster Manager 7 uitgebreide controle- en beheermogelijkheden voor het Hadoop-cluster. Met de grafische gebruikersinterface kunnen systeembeheerders problemen vroegtijdig ontdekken en corrigeren voordat ze tot een onderbreking van de dienstverlening leiden. Dankzij geïntegreerde HDFS (Hadoop Distributed File System) beheermogelijkheden kunnen Bright Cluster Manager 7-operators opslagmogelijkheden vanuit diezelfde interface makkelijk toewijzen aan gebruikers.
“Bright Cluster Manager 7 omvat ook ondersteuning voor Apache Hadoop waarmee we al onze expertise op het gebied van clusterbeheer samenbrengen, zodat klanten hun Hadoop-clusters vanaf het begin al efficiënt kunnen gebruiken”, licht Van Leeuwen toe. “Of klanten nu meerdere instances van Hadoop op hetzelfde moment willen laten draaien of een hybride HPC en een Hadoop-cluster tegelijkertijd willen gebruiken, Bright Cluster Manager 7 maakt het allemaal heel makkelijk.”
Cloud-aanvulling
Clusters hebben het voordeel dat ze makkelijk zijn te beheren, en op- en af te schalen zijn. Dat er nog losstaande servers in een datacenter staan, kan er bij hem niet in. Erg inefficiënt. Bovendien is het met het programma mogelijk eenvoudig een cluster uit te breiden met een cluster in de Amazon-cloud (of een andere cloud); te beheren vanaf één console. Van Leeuwen doet dit al voor een Amerikaanse farmaceut. Bij het testen van nieuwe medicijnen zijn plotseling zoveel CPU’s nodig voor een beperkte periode, dat het loont om die tijdelijk in te huren bij de cloud-aanbieder. En als je het niet meer nodig hebt, dan stop je er gewoon mee. Je betaalt alleen voor het gebruik van de rekenkracht, en van de clustersoftware. Door de master/slave architectuur is zo’n oplossing eenvoudig te realiseren.
Interessant duo
Hadoop gedraagt zich ook als een cluster, maar de programmatuur kan lang niet zoveel ‘ijzer’ aan als Bright, dat werkt aan een oplossing voor honderd duizend nodes. Bovendien kijkt Bright op cycle-niveau naar de snelheid van harde schijven, bijvoorbeeld. Loopt alles binnen het cluster efficiënt? Is de opslag goed verdeeld? Dat soort zaken.
Wat dat betreft, is deze software een mooie aanvulling op datacenter infrastructure management-software, zoals InfraStruxure. Die houdt het energieverbruik in de gaten van alle onderdelen in het datacenter, zorgt voor een efficiënte koeling en een geïntegreerd inzicht in de prestaties van alle componenten.
Wie zijn datacenter heeft omgebouwd tot een verzameling clusters kan met de beheersoftware ook nog eens in de gaten houden of de rekencapaciteit nuttig en kostenefficiënt wordt ingezet in relatie tot de workload. Daarmee vormen de twee een interessant duo.
Er is nog wel werk aan de winkel voor Van Leeuwen, want voor de meeste mensen gaat het nog steeds om High Performance Computing. Terwijl de software geschikt is voor elk datacenter. “En in het begin liepen we nog wel aan tegen het idee dat mensen vinden dat software van een Nederlands bedrijfje nooit zo goed kan zijn. We kunnen nu laten zien met onze klantenlijst hoe goed we zijn.”