Low latency en connectiviteit in online gaming

Achter het robuuste uiterlijk van de iconische Van Nelle Fabriek in Rotterdam gaat een bijzondere wereld schuil. In de fabriek zelf zijn talloze bedrijven gehuisvest die een breed scala aan producten en diensten leveren. Een deel van die bedrijven doet ‘iets’ met internet. Een van die bedrijven is Smartdc, een modern datacenter wat zich bevindt in het voormalig distributiecentrum van de Van Nelle Fabriek. In dit datacenter worden onder andere gameservers gehost door zusterbedrijf i3D.net. Via deze servers kunnen dagelijks miljoenen gamers de grootste game-titels zoals FIFA, The Division en Rocket League met elkaar online spelen. i3D.net heeft wereldwijd duizenden servers staan, verdeeld over bijna 40 locaties. De miljoenen gamers in West-Europa komen virtueel tezamen in het datacenter van Smartdc.

Het is 2008 als de eigenaar van i3D.net, Stijn Koster, samen met Richard Boogaard het plan opstelt om in Rotterdam een eigen datacenter te bouwen gericht op gamehosting en low latency. Tot nog toe werd er ruimte gehuurd bij andere datacenters voor de duizenden gameservers in Nederland. Na veel gesprekken, verbouwingen en onderhandelingen is het dan op 27 oktober 2009 zover, Smartdc opent zijn deuren. In de jaren die volgen breidt het datacenter zich uit op basis van vraag. In 2013 volgt ISO- en NEN-certificering en in 2016 wordt een tweede powerhouse ingericht vanuit het uitgangsprincipe dat alle hardware een keer stuk kan gaan en dus redundant uitgevoerd moet worden. 2018 staat in het teken van een grote esthetische verbouwing. Nieuwe vergaderruimtes, een nieuwe breakroom voor klanten en een nieuwe entree voorzien van de laatste technische snufjes.

De beloning voor Managing Director Richard Boogaard en CEO Stijn Koster volgt in 2019, als Smartdc en i3D.net worden overgenomen door de Franse speluitgever Ubisoft.

Ingericht voor gamehosting

Een veelgehoorde term in het datacenter van Smartdc is low latency. Een absolute noodzaak voor het hosten van videogames. Latency kan omschreven worden als de vertraging tussen het invoeren van een actie tijdens het gamen en de actie die op het scherm wordt weergegeven. Als een speler in FIFA via zijn toetsenbord een bal over het veld schiet, dan is dat een signaal dat van het toetsenbord, via de computer uiteindelijk in het datacenter terechtkomt waar die betreffende game draait. Daar wordt de actie uitgevoerd waarna de gameserver een signaal terugstuurt naar de pc van de gamer. Dat signaal wordt vertaald naar beeld zodat de gamer kan zien dat de bal ook echt geschoten wordt en aankomt bij een andere speler. Zo’n signaal gaat via routers, kabels, verbindingskastjes, switches, hubs, poorten, knooppunten en datacenters heen en weer. Ondanks dat het signaal met de snelheid van het licht heen en weer gaat, neemt het tijd in beslag. Tijd, vertaald naar latency in milli­seconden, die voor een optimale game-ervaring zo laag mogelijk moet zijn: low latency.

Waarom draait een game in een datacenter?

Game-publishers en game-ontwikkelaars hosten hun videogames op dedicated servers. Dit zijn servers die maar één taak hebben: het hosten van die ene videogame. Zo’n server is dus 100% dedicated (ingezet) voor dat betreffende spel. Bij gamehosting worden gameservers op verschillende locaties via een netwerk met elkaar verbonden, zodat spelers vanaf verschillende locaties online videogames met elkaar kunnen spelen. Een datacenter is er op ingericht om dataverkeer met elkaar te verbinden. Daarom is een datacenter bij uitstek geschikt voor het hosten van een videogame. Helemaal als dat datacenter is ingericht op low latency, zoals Smartdc.

Always up, never down

Naast latency is downtime een belangrijke pijler voor een datacenter. Of nog beter, het voorkomen van downtime. Of klanten van Smartdc nu een online gaming-platform bouwen, games ontwikkelen of games publiceren, ze hebben altijd een betrouwbare, wereldwijde, snelle infrastructuur met een hoge beschikbaarheid nodig. Downtime in een datacenter betekent ‘game over’ en is catastrofaal voor zowel de gamer als het datacenter. Voor de gamer is het spel afgelopen en de reputatie van het datacenter wordt geschaad, wat uiteindelijk kan leiden tot verlies aan inkomsten.

Voor gamehosting is een oplossing die hoge performance, low latency en optimale uptime combineren daarom essentieel. Geen enkele gamer wil vertraging in het spel. Het is een van de grootste frustraties van gamers.

Die latency wordt beïnvloed door verschillende aspecten. De eerste twee zijn al kort aan bod gekomen:

• Snelheid van de bekabeling.
• De route waarover signalen heen en weer worden verstuurd.
• Het type server en de hardware in de server.
• Softwareperikelen in de game zelf.

Snelheid van de bekabeling

De eerste latency-factor heeft te maken met de snelheid van het dataverkeer via het internet. Dit wordt beperkt door de snelheid van het licht. De bekabeling van het internet bestaat uit glasvezel. De data wordt omgezet in een lichtsignaal dat door de glasvezelkabels wordt geschoten. Het laatste stukje naar woningen van mensen of bedrijven kan ook glasvezel zijn, maar ook nog kabelinternet of telefoonlijn. Dit is in wezen de bovengrens van hoe snel data verstuurd kan worden op dit moment.

Netwerkcongestie

De tweede factor die invloed heeft op latency is netwerkcongestie. Het internet is een enorm netwerk van onderling verbonden netwerken. Er zijn meerdere manieren om van het ene punt naar het andere op het netwerk te komen. Het Border Gateway-protocol (BGP), dat een beetje lijkt op de verkeersregelaar van het internet, neemt deze beslissingen. Het BGP stuurt het overgrote deel van het internetverkeer over het kortste pad. Maar omdat al het verkeer over het kortste pad gaat, kan dit leiden tot congestie. Dit resulteert in verkeersknelpunten en frequente vertragingen van internetverkeer

Afstand

Latency komt nog scherper in beeld wanneer spelers op verschillende afstanden van een bepaalde gameserver in een datacenter tegen elkaar spelen. Spelers die dichter bij een gameserver-locatie zijn, ervaren een lagere latency en hogere responsiviteit met de server tijdens het spelen omdat er een kortere afstand overbrugd moet worden. Terwijl degenen die verder weg zijn, hogere latency en lagere responsiviteit zullen ervaren. Als zodanig hebben spelers dichter bij een gameserver een duidelijk voordeel ten opzichte van spelers die verder weg zijn. Dit wil echter niet zeggen dat een server in de buurt van de gamer gegarandeerd een betere spelervaring biedt. Spelservers kunnen overbelast en verstopt raken tijdens verkeerspieken. Dit leidt tot een verslechterde spelervaring. Een van de redenen waarom netwerkcongestie ontstaat, is het routeringsbeleid van internet. Wat op zijn beurt tot langzamere gameplay leidt.

Acceptabel prestatieniveau

De uitdaging voor gamehosting-partijen is om alle spelers een acceptabel prestatieniveau te bieden. Dit prestatieniveau moet worden gehandhaafd, ongeacht de locatie van de speler. Onderzoek heeft aangetoond dat vertragingen van slechts 100 ms de gameplay zodanig kunnen verslechteren dat deze niet speelbaar is (Claypool, 2007*). Alles op 100 ms of minder wordt acceptabel geacht voor gaming. 20 tot 40 ms is echter optimaal.

Het netwerkteam van Smartdc (en i3D.net) heeft een dagtaak aan het zoveel mogelijk beperken van netwerkcongestie. Zodra er klachten worden geconstateerd van gamers (bijvoorbeeld via sociale media) wordt er meteen actie ondernomen om het verkeer om te leiden via een snellere route. Dat is een van de grote voordelen van een specialisatie in de gamehosting. Het is een servicelaag, richting de klanten, die voor een datacenter ongekend is.

Type server en hardware

Vaak wordt door de game-ontwikkelaar aangegeven welk type server er gebruikt moet worden en welke hardware daarin moet zitten zodat de game goed draait. Vanuit de invalshoek van i3D.net wordt er dan ook nog eens gekeken naar de performance.

Zo worden er aanbevelingen gedaan om de server verder te optimaliseren zodat dit uiteindelijk de prestaties van de server ten goede komt. Dit levert weer een verbetering op voor de gamers.

Softwareperikelen

Dit is een factor waar de engineers van Smartdc en i3D.net geen rol in kunnen hebben. De programmatuur van het spel. Tenminste, als het aankomt op de software van het spel zelf. Zodra er een component in zit waar connectiviteit een rol in speelt, dan kunnen de engineers meekijken en wellicht verbeteringen adviseren.

Het netwerk van i3D.net

Een goed netwerk is dus ook van essentieel belang voor de beste spelervaring. i3D.net beheert een eigen 1 TB+ wereldwijd netwerk (AS49544). Het netwerk gaat over meerdere intercontinentale verbindingen; trans-Atlantisch, trans-Pacific en naar het Midden-Oosten. Het netwerk staat in de top 10 van beste netwerken ter wereld. Low latency en beschikbaarheid zijn de essentie van het i3D.net-netwerk. Het netwerk bestaat uit meerdere Tier-1 providers en connecties met de grootste Internet Exchanges ter wereld.

i3D.net is fysiek aanwezig op bijna 40 datacenter-locaties verdeeld over 6 continenten. Door aanwezig te zijn op locaties die zo dicht mogelijk bij de spelers zijn, wordt de latency geminimaliseerd omdat het verkeer over zo kort mogelijke afstanden verstuurd wordt. i3D.net heeft daarnaast ook veel peering-verbindingen met internet providers over de hele wereld, om ervoor te zorgen dat verkeer op de snelst mogelijke manier wordt gerouteerd om optimale gaming-prestaties te garanderen. Doordat i3D.net een eigen netwerk bezit, hebben de engineers zelf de controle over het verkeer binnen het netwerk. Door deze verbindingen kan i3D.net netwerkcongestie voorkomen door het verkeer over andere routes te versturen. Verkeer wordt gerouteerd op basis van de vertraging die wordt ondervonden via elke netwerkroute in plaats van de afstand. Beslissingen over netwerkrouting zijn gebaseerd op de latency van netwerkroutes. Deze mix van verschillende transit-aanbieders en Internet Exchanges garandeert maximale game-prestaties met low latency.

Zakelijke markt

Die focus op low latency binnen het datacenter Smartdc en het netwerk van i3D.net is niet alleen aantrekkelijk voor de game-industrie. Andere industrieën hebben hier ook behoefte aan, zoals Voice-over-IP-dienstverleners. Het is dan ook geen verrassing dat Smartdc een scala aan VoIP-aanbieders bedient, waaronder grote, wereldwijde spelers zoals Discord en Teamspeak. Deze twee zijn weliswaar direct verbonden aan gaming, maar zijn ‘slechts’ twee VoIP-bedrijven in een mix van tientallen aanbieders zoals Damecon, Kwebbl, Sona Business, Eylo Telcom en ga zo maar door. Hosted VoIP is dus een belangrijke pijler voor de prestaties op latency-gebied binnen het datacenter. Via i3D.net wordt in Smartdc een servicelaag aangeboden voor de zakelijke markt. Zo biedt i3D.net ook beheer en onderhoud aan op de high-end infrastructuur voor bedrijfskritische applicaties en databases. i3D.net bezit en exploiteert ook de volledige IT-stack voor het netwerk van bedrijven: datacenter, netwerk, hardware, beveiliging, software, back-up en opslag. Alles wordt beheerd door een eigen team van specialisten.

Rol van het datacenter

Gelegen in het hart van Rotterdam kan Smartdc zich met recht het hart van de Europese game-markt noemen. Het 3.500 m2 grote datacenter kent een meet-me-room dat de grootst connectiviteits­hub in de regio is. Hier komen verbindingen met alle belangrijke carriers, transit-providers en exchanges, inclusief het netwerk van i3D.net, voor de beste connectiviteit samen. De gameservers binnen Smartdc zijn rechtstreeks verbonden met het i3D.net netwerk. Smartdc ligt centraal in de FLAP-regio (Frankfurt - London - Amsterdam - Parijs) en kan daarom snel verbinden met de grote Europese Internet Exchanges met low latency.  Het Rotterdamse datacenter heeft een historische uptime van 99,9999%. De enige manier om een uitstekende uptime te kunnen realiseren, is door alle systemen redundant uit te voeren. Smartdc Rotterdam heeft twee powerhouses met ieder een eigen redundant UPS-cluster. Deze setup zorgt ervoor dat het datacenter nooit zonder stroom komt te zitten. Elk rack heeft daarom een volledig gescheiden A- en B-feed. Dit betekent dat alle apparatuur toegang tot twee verschillende stroompaden heeft en dat het gehele datacenter als geheel op een van die paden kan worden uitgevoerd. Zo komen de servers in het datacenter nooit zonder stroom te zitten.

*Claypool, M, (2007). Network Characteristics for Server Selection in Online Games. Retrieved from: https://digitalcommons.wpi.edu/computerscience-pubs/166