Op weg naar een hoogwaardig in-house datacenter

Bij veel universiteiten, ziekenhuizen en andere organisaties bestaat grote behoefte aan het moderniseren van de IT-aanpak. Men overweegt te investeren in Big Data of business analytics, wil wellicht een private cloud-omgeving hosten en veel sneller dan voorheen kunnen inspelen op nieuwe eisen en wensen van de business. Dit betekent in veel gevallen dat men interne computerruimtes en datacenters dient te moderniseren. Maar hoe doen we dat? Onderzoekers van de Vrije Universiteit Amsterdam hebben hiervoor een roadmap opgesteld - in eerste instantie voor intern gebruik, maar deze aanpak is wellicht ook voor andere organisaties relevant. 

Een organisatie die zijn interne datacenter wil moderniseren, heeft met nogal wat randvoorwaarden te maken. Denk aan duurzaamheid, efficiëntie, flexibiliteit, security en data-safety. Om beter op de toekomst voorbereid te zijn, werkt De Vrije Universiteit met Royal HaskoningDHV samen aan het ontwikkelen van een roadmap om de behoefte aan serverruimte in de vorm van toekomstscenario’s te inventariseren en vorm te geven. Daarnaast wordt gewerkt met systems engineering tools waarmee geborgd wordt dat het ontwerp niet kan gaan divergeren van de oorspronkelijk aan het ontwerp gestelde eisen. Deze benadering borgt een betere afstemming op de toekomstige behoefte van de organisatie en biedt gelegenheid te optimaliseren op de randvoorwaarden MVO, duurzaamheid, efficiëntie, flexibiliteit, security en data-safety.

Integrale aanpak

Om te komen tot een in-house datacenter dat specifiek bij de desbetreffende organisatie aansluit - zowel op organisatorisch als op technisch niveau - is een integrale aanpak nodig. Dat kan alleen wanneer alle belangen bekend zijn en geborgd worden. Op deze manier worden technische eisen en randvoorwaarden beter geformuleerd en wordt een organisatie gedwongen tot het formuleren van een visie op de lange termijn waarbij alle stakeholders recht gedaan wordt.

Een integraal ontwerp vraagt een integrale aanpak en beantwoording aan alle doelen die de organisatie zich stelt. Dat betekent alle invloedsfactoren betrekken en tegelijkertijd orde scheppen. Enerzijds is er het primaire doel van het datacenter: het faciliteren van de ICT-apparatuur. Anderzijds moet voldaan worden aan de wirwar aan randvoorwaarden die de organisatie stelt. Ook stelt de maatschappij eisen aan datacenters die door de politiek kracht worden bijgezet. Als voorbeeld: energetische efficiëntie is geen keuze meer, het is een vereiste voor een succesvolle opzet.

Systematisch en integraal benaderen

Een integrale aanpak begint met het inventariseren van alle stakeholders en het inzichtelijk maken welke belangen er zijn. De mindmap (figuur 1) geeft een indruk van de complexiteit van het vraagstuk. Het is evident dat het programmeren, specificeren en realiseren vraagt om een heldere methodiek om het spoor niet bijster te raken. Een van de manieren is om de methodieken die bekend staan als ‘systems engineering’ te adopteren en op het vraagstuk toe te spitsen. Het doel is immers alle stakeholders te betrekken en daarbij het primaire doel niet uit het oog te verliezen.

Figuur 1: Mindmap in-house datacenter

Om de belangen van alle stakeholders recht te doen en het centrale doel niet uit het oog te verliezen moet een hiërarchie van eisen bepaald worden. Als voorbeeld kan onderstaande gelden.

• Missie

Het is duidelijk dat de IT-voorziening de organisatie moet ondersteunen bij het waarmaken van haar missie.

• Maatschappij

Maatschappelijk moet rekening gehouden worden met toenemende eisen vanuit de politiek ten aanzien van energieverbruik, maar ook ten aanzien van data security (privacyvraagstuk bijvoorbeeld) en de - zeg maar - naspeurbaarheid van processen.

• Gebruikers

Een concrete invulling hiervan wordt verwoord door de eisen die gebruikers stellen en de te verwachten ontwikkelingen van deze eisen over de levenscyclus van het datacenter. Hoewel niemand de toekomst exact kent kunnen de eisen van vandaag geëxtrapoleerd worden met behulp van voorziene ontwikkelingen en een onzekerheidsgebied gedefinieerd worden.

• Techniek

Technisch moet tenslotte gekeken worden naar de actieve apparatuur, de te verwachten ontwikkelingen en de beschikbare IT-, elektrotechnische en werktuigbouwkundige structuur binnen een campus. Hoe de verschillende technische mogelijkheden en beperkingen ingezet kunnen worden om tot een integrale opzet gekomen kan worden die aan bovenstaande eisen voldoet.

Deze stappen dalen af in aggregatieniveau en het is in elk van deze stappen van belang de uitkomsten telkens en itererend te toetsten aan bovenliggende eisen om daadwerkelijk tot een integrale aanpak te komen.

Voor dit artikel is gekozen voor deze vier niveaus (figuur 2). Elk niveau kan weer worden opgedeeld in meerdere stappen om de hanteerbaarheid van het vraagstuk te verbeteren.

Figuur 2: Systems Engineering In-House Datacenter

 Achtergrond en uitwerking

• Missie

Onderzoekers, R&D, ziekenhuizen (privacygevoeligheid) en mission critical datacenters willen dicht bij apparatuur zitten. Onderzoekers willen niet afhankelijk zijn van de cloud om hun onderzoek te kunnen valideren. R&D-afdelingen zijn vanwege hun strategisch belang sowieso sterk beveiligd en organisaties zoeken naar mogelijkheden om dit beter te borgen. Ziekenhuizen hebben te maken met strenge privacyregelgeving en willen hun clientèle maximale kwaliteit bieden wat dit betreft.

• Maatschappij

- Duurzaamheid

Green IT stimuleert energiezuinige data-centers en maximaal hergebruik door het gebruik van (thermische) smart-grids. Lokale overheden zoals de gemeente Amsterdam stellen regels op voor data centers die zich in hun gemeente vestigen. Maatschappelijke organisaties stellen energieverslindende data centers bloot aan publiciteit het zogenaamde ‘naming en shaming’. Energiezuinig is geen keuze meer, alleen de mate waarin is dat nog. 

• Dataopslag

Organisaties zullen meer data gaan opslaan en verwachten dat informatie vanuit het verleden beter, langer en “direct” beschikbaar is. Wettelijke vereisten vanuit het perspectief van reproduceerbaarheid van processen versnelt de groei van opslagcapaciteit verder.

• Gebruikerseisen

- Verwachte behoeften organisatie

In vrijwel alle gevallen zijn organisaties alleen in staat eisen te formuleren voor de praktijk die zij vandaag kennen. Om tot een goede programmering te komen moeten deze eisen naar een toekomstverwachting geëxtrapoleerd worden door alle voorziene ontwikkelingen, technisch maar ook maatschappelijk in de eisen te verdisconteren.

• Devices

- Handheld devices

De afgelopen jaren is het aantal ‘handheld devices’ explosief gegroeid. Niemand kijkt er nog van op wanneer iemand drie of meer handheld devices heeft die via wifi of 4G-netwerk communiceren. Het dataverkeer loopt (deels) via het interne wifi-netwerk en deels via het 3G/4G-netwerk (extern).

Het 4G-netwerk wordt door veel gebruikers als stabieler en sneller ervaren, ten opzichte van het wifi-netwerk. Vooralsnog leidt dit tot een toename van wifi-capaciteit, maar 3G en 4G concurreren hiermee sterk. Het is vooralsnog niet duidelijk welk netwerk gebruikers zullen gaan prefereren. Vooralsnog is groei in alle mobiele en wireless netwerken te bespeuren en is niet te verwachten dat één van de netwerken het volledig van het andere zal overnemen.

• Desktops

Desktops worden veelal gebruikt om de gebruikelijke Windows-applicaties te draaien. Over het algemeen zijn er twee á drie specifieke programma’s voor de bedrijfsvoering, zoals SAP benodigd. Het aantal gebruikers met een standaard aansluiting vormt in het algemeen de meerderheid. Deze aansluitingen worden doorgaans op een datasnelheid aangesloten kleiner dan 500 Mbit per seconde. Binnen deze groep gebruikers zijn geen grote ontwikkelingen te verwachten.

• Onderzoeksapparatuur, diagnostiek en dergelijke

Onderzoeksapparatuur met ‘zware’ applicaties (MRI, elektronenmicroscopen supercomputers en dergelijke) zijn niet de norm, maar de uitzondering die naast dataverkeer en dataopslag meer eisen stellen aan de bouwkundige omgeving en op het installatietechnische vlak. Juist dergelijke applicaties zijn van grote invloed op het in-house datacenter. Ze genereren grote datastromen en daarmee gepaard gaande eisen aan dataopslag die met het datacenter gefaciliteerd moet worden. Er is een duidelijke trend zichtbaar waarbij deze apparatuur gebruik maakt van universele infrastructuren.

De toename in snelheidseisen en dichtheid van universele netwerken zal naar verwachting verder toenemen.

Technische achtergrond 

• Ontwikkeling actieve ICT-apparatuur

Wat zijn de verwachte ontwikkelingen in datasnelheid en dataopslag in relatie met het verwachte energieverbruik en de behoefte aan fysieke ruimte? Kan efficiënter omgegaan worden met de gevraagde energie?

Om deze vragen te kunnen beantwoorden, zal inzicht verkregen moet worden in de actieve apparatuur die de ICT-afdeling gebruikt en wat de te verwachten ontwikkelingen in de toekomst zijn. Centrale ICT-apparatuur kan in twee hoofdcategorieën ingedeeld worden: processoren (datasnelheid) en dataopslag. Bij beide is een ontwikkeling te herkennen, die invloed heeft op de omvang en technische eisen die aan het data-center gesteld moeten worden.

- Datasnelheid

Een algemeen bekende wet die een voorspelling doet over de ontwikkeling van processoren, is de Wet van Moore. Deze wet zegt dat de snelheid van een processor of CPU (Central Processing Unit) iedere 18 maanden zal verdubbelen. De wet van Moore is echter niet meer geldig [1]. Sinds 2005 is de snelheid van een enkele processor vrijwel gelijk gebleven. Chipleveranciers hebben dit probleem tijdelijk ‘opgelost’ door de zogenaamde duo-processor in 2006 te introduceren. Deze technologie werkt op basis van twee of meerdere processoren in één systeem parallel te plaatsen. De toename in snelheid is echter niet evenredig. De toename vlakt af naarmate het aantal toegepaste processoren toeneemt (Amdahl’s Law). De verwachting is derhalve dat de groei in benodigde serverruimte voorlopig niet stopt of afneemt; de groei zal wellicht enigszins afvlakken. Wel vindt een verdichting van apparatuur plaats. Dat betekent dus meer energieverbruik en grotere warmtelast per oppervlakte-eenheid.

- Dataopslag

Naast servers wordt ook dataopslag geplaatst in een datacenter. De huidige disk-dataopslag wordt in de toekomst naar verwachting in hoog tempo vervangen voor flash-dataopslag [2][3][4]. Flash-dataopslag kan per HE (Hoogte Eenheid, vaste eenheid in een ICT-kast) in een hogere concentratie uitgevoerd worden dan disk-dataopslag. Met andere woorden: Het vraagt 50 tot wel 70 procent minder fysieke ruimte en minder energie. De groei in behoefte aan dataopslag zal voor een deel kunnen plaatsvinden in een transitie van disk-opslag naar veel kleinere en met name zuiniger opslagmedia. De ruimtebehoefte volgt de toename in opslagruimte, echter niet evenredig.

Randvoorwaarden ontwerp

De Power Usage Effectiveness ( PUE ) [5] wordt berekend door de totaal verbruikte energie te delen op de energie die door de ICT-apparatuur is verbruikt. Vanuit de politiek worden eisen gesteld aan datacenters en de verwachting is dat deze eisen in de toekomst strenger zullen worden. Tot nu toe wordt self-reporting als meetmethode toegepast (wat ertoe leidt dat informatie op zijn zachtst gezegd arbitrair is), maar op afzienbare termijn valt te verwachten dat certificeringsmethodieken met betrekking tot het beperken van energieverbruik usance zullen worden.

Wanneer de verwachting van het aantal en type servers en de dataopslag is vastgesteld, de ontwikkeling in de komende jaren in een onzekerheidsgebied is vertaald kan de fysieke omvang van het datacenter in grote lijnen worden bepaald.

De locatiekeuze kan een invloed uitoefenen op de keuze van de actieve apparatuur. Bij locaties met een hoge vierkante meter-prijs zal de TCO (Total Cost of Ownership) een (duurdere) high density-oplossing beter te rechtvaardigen zijn ten opzichte van een lage vierkante meter-prijs.

Tevens heeft locatiekeuze een invloed op de elektrotechnische en werktuigbouwkundige oplossingen. Er moet namelijk worden afgewogen of er hoger in de hiërarchie gelegen eisen zijn, zoals toegankelijkheid voor bepaalde gebruikersgroepen.

Elektrotechnische aansluitingen

Vanuit het verwachtingsprofiel voor het dataverkeer en dataopslag is het elektrische aansluitvermogen te bepalen. Het stroomverbruik is evident aan de gekozen oplossing, op dit vlak is er op korte termijn weinig ruimte voor innovatie. Een server met een gevraagde aansluiting van 230V en 5A zal ook minimaal op 230V/5A aangesloten moeten worden voor een goede werking. Het opgenomen elektrische vermogen door de actieve ICT-apparatuur wordt voor een (groot) deel omgezet in warmte.

Twee ontwikkelingen die in de markt plaats vinden op elektrotechnisch gebiedt zijn DC-netwerken en grafeen.

Grafeen bestaat uit koolstofatomen in een honingraatstructuur van één atoom dik. De eigenschappen zijn extreem: dun (één atoom dik), sterk, buigzaam, geleidend en als geleider als vervanging van koper en goud (de structuur van grafeen blijft geordend bij geleiding van elektronen) tevens een vervangen van silicium en dus te gebruiken als halfgeleider. Grafeen is zeer veelbelovend, in de elektronica voor wat betreft warmteontwikkeling mogelijk zelfs grensverleggend. Inmiddels zijn de eerste stappen buiten het laboratorium gezet. In de nabije toekomst zal blijken hoe grafeen zich gaat ontwikkelen in massaproductie. Of DC dan wel grafeen in de nabije toekomst (1 á 2 jaar) ook uitgerold kunnen gaan worden, is echter afhankelijk van tal van factoren.

Werktuigkundige aansluitingen

Vanuit het verwachtingsprofiel voor servers, dataopslag en de verwachting binnen de organisatie is de verwachte warmteontwikkeling in het datacenter te bepalen.

De ICT-afdeling wil graag een datacenter op een bepaalde temperatuur hebben. Deze temperatuur wordt vaak gekozen uit gewoonte, waarbij de medewerkers geacht worden langdurig in de ruimte aanwezig zijn. Deze temperatuur is vaak niet gebaseerd op het temperatuurwerkgebied van de servers, die op hogere temperaturen kunnen functioneren. Een gemiddelde server heeft een werktemperatuur tussen de 10 tot 35°C. Hiermee ontstaat de vraag of een ruimte 24/7 (8760 uur per jaar) gekoeld moet worden op +/- 21 °C, terwijl er maar een tweetal uur per dag (500 uur per jaar) iemand aanwezig is.

De Europese Commissie en CPU-ontwikkelaars als Intel [6] hebben onafhankelijk van elkaar geïndiceerd dat de temperatuur van datacenters verhoogd kan worden in verband met energiebesparing. Zonder daarbij de performance van het datacenter uit het oog te verliezen. Uit testen van Intel blijkt dat er geen noemenswaardige verhoging van de ‘failure rates’ ontstaat door verhoogde temperatuur en vochtigheid. Volgens Mark Monroe of Sun Microsystems kunnen datacenters per 1 °C verhoging een energiebesparing van vier procent realiseren [7].

ICT-afdelingen refereren regelmatig naar ASHREA voor de uitgangspunten van de temperatuur en de vochtigheidsgraad in een datacenter. ASHREA geeft als geadviseerde werktemperatuur voor class 1 datacenters van 18°C tot 27°C. En een toegestane werktemperatuur voor Class A1 datacenters van 15°C tot 32°C!

Figuur 3: Werktemperaturen in een datacenter volgens ASHRAE

Theoretisch gezien mag de temperatuur in het datacenter dus oplopen tot 32°C. Een integrale aanpak vraagt dan wel om verder te kijken wat de gevolgen zijn voor de overige installaties.

Een punt van aandacht is dan dat de temperatuur van hoger dan 27°C aan de koude kant van de actieve apparatuur het kantelpunt is waarbij de fans in de apparaten sneller gaan draaien en daarmee meer elektrisch vermogen gaan gebruiken. Een energiebesparing aan één kant moet ook een energiebesparing over het gehele systeem zijn en niet een verschuiving van energieverbruik.

Warmtebeheersing

In de basis bestaat er geen wens om een datacenter te koelen, maar bestaat de wens de warmteontwikkeling te beheersen. En dan bij voorkeur op een effectieve manier.

Of het elektrisch aansluitvermogen van de servers op korte termijn verlaagd zal worden, is nog maar de vraag. Het aantal servers zal echter zeker toenemen en daarmee ook de warmteontwikkeling. En dat terwijl de ICT-sector met de Meerjarenafspraken energie-efficiency juist de afspraak heeft staan om tot 2020 het energieverbruik jaarlijks met gemiddeld twee terug te dringen [8].

De koeling van een traditioneel datacenter is al snel 40 tot 50 procent van het totale energieverbruik. Een energiebesparing op de koeling zien we direct terug in de PUE.

Gratis koeling

Organisaties met meerdere gebouwen bij elkaar gesitueerd, bijvoorbeeld op een campus, zijn dikwijls voorzien van een centrale koude-opwekking. Deze koude wordt getransporteerd door de gebouwen via een koud-waternet. De ervaring leert dat het grootste deel van het jaar de koelopwekking niet volledig wordt belast. Hierdoor is de delta T tussen de voedende (primaire) leiding en de retour (secundaire) leiding lager ten opzichte van het geïnstalleerde vermogen. Het gevolg is dat de koude opwekking een groot deel van het jaar een lager rendement heeft ten opzichte van een grotere delta T tussen de voedende en retourtemperatuur.

We kunnen gratis koeling voor het datacenter verkrijgen door de retour-koudeleiding van de gebouwen naar de datacenter te leiden en deze retourkoude via een driewegklep aan te sluiten om de primaire kant van de koude aanvoer zodat de aangeboden temperatuur hoger is waarmee het datacenter gekoeld kan worden. Bijkomend voordeel is dat delta T bij de centrale koelmachine vergroot wordt, waarmee het rendement van de koelmachine zal toenemen. De temperatuur van de aangeboden koude aan het datacenter zal dan hoger zijn ten opzichte van een conventioneel ontwerp.

Referenties

• University of Ulm
• [1] Lutz Schubert – The classical Strategies no longer hold true Computing Performance
• Datacenter Works
• [2] http://datacenterworks.nl/2014/01/24/storage-gaat-het-datacenter-veranderen/
• Flash Memory Summit
• http://www.flashmemorysummit.com/
• [3] 20130814_Inspiring IT Innovation with SSD Solutions_Crooke.pdf
• [4] 20130813_Flash at Facebook_Taylor.pdf
• FHI IT Room Infra
• [5] Energy Logic – A Holistic Approach to Data Center Energy Savings - Emerson Network Power
• Intel.nl
• [6] http://www.intel.com/content/www/us/en/data-center-efficiency/efficient-datacenter-high-ambient-temperature-operation-brief.html
• Data center knowledge
• [7] http://www.datacenterknowledge.com/archives/2008/10/14/google-raise-your-data-center-temperature/
• Agentschap NL Energie en Klimaat
• [8] Duurzaam Koelen van datacenters Het mes snijdt aan twee kanten
• Ilko van Genderen, consultant Vrije Universiteit FCO

Peter Schumacher, adviseur en projectmanager Royal HaskoningDHV, Building services