AMS-IX kiest nieuwe generatie switch-hardware

In verband met de aanhoudende groei van het dataverkeer via ons platform, moet AMS-IX altijd klaar zijn voor de toekomst. Daarom kijken we constant naar mogelijkheden om ons groeipotentieel verder te vergroten, geheel in lijn met onze hoge eisen en normen. Momenteel is de meest dringende eis het opschalen van de (100GE) poortdichtheid van de switches die deel uitmaken van het AMS-IX platform.

We hebben vastgesteld dat de verbonden klantencapaciteit op het platform op 100GE hoger is dan bij 10GE en we verwachten hier een verdere groei. Naast de poortdichtheid hebben we nog een belangrijke eis: het verlagen van het energieverbruik en de kosten. In vergelijking met de originele 100GE-implementaties op basis van SFP is een verlaging met een factor 7 voor elke 100GE-poort haalbaar als we gebruik maken van QSFP28 optische transceivers.

De oplossing - en meteen een upgrade - van de kern van het AMS-IX netwerk begint medio november 2016 en zal worden verzorgd door het Brocade SLX platform. De belangrijkste reden voor de keuze van dit platform zijn de specificaties die zeer goed aansluiten bij onze eisen en een exacte of zelfs betere match vormen dan het aanbod van andere leveranciers. Onze lange en bijzonder goede relatie met Brocade heeft bij deze beslissing vanzelfsprekend ook een rol gespeeld.

Evolutie van het AMS-IX platform

Henk Steenman is CTO van AMS-IX

In 2012 heeft AMS-IX de eerste 100GE geïnstalleerd aan de kant van de afnemers. In de tussentijd waren we al begonnen met de upgrade van de interswitch links in de Amsterdamse stadsregio van 10GE lags naar 100GE of 100GE lags. Op dat moment maakten we gebruik van de Brocade MLXe-16 of MLXe-32 en de optische transceivers CFP-LR4 of CFP-LR10.

Sinds dat moment hebben de 100GE optische transceivers zich ontwikkeld van de CFP form factor met een typisch verbruik van 24 W voor LR4 types via CFP2-LR4 (8 W) naar nu QSFP28-LR4 (3,5 W). Dat is een besparing in energieverbruik met bijna een factor 7. In dezelfde tijd is de poortdichtheid met een factor 2 vergroot met de migratie van CFP naar de CFP2 form factor (op basis van hetzelfde chassis). Door gebruik te maken van de QSFP28 form factor wordt de poortdichtheid met een factor 8 vergroot op dezelfde fysieke ruimte of met een factor 4 op een chassis dat slechts de helft van de ruimte van een MLXe-32 in beslag neemt. In hetzelfde tijdsbestek is ook nog eens de prijs van een 100GE interface plus optische transceivers gedaald met een factor 10.

Tijdelijke oplossingen

Zoals eerder aangegeven moesten we de 100GE interfaces op het IX-platform al vroeg nadat de 100GE gebaseerde producten op de markt verschenen, aanpassen op zowel de klantverbindingen als de interswitch links tussen de toegangspunten en de core-switches. Omdat we moeite hadden met de lage 100GE dichtheid per chassis hebben we de afgelopen twee jaar tijdelijke oplossingen moeten implementeren:

• We plaatsten meer core-locaties en switches om de belasting per core-switch te verminderen.

• We plaatsten daarnaast meer toegangsswitches om de toenemende eisen aan de 100GE toegangspoorten te verwerken.

Beide tijdelijke oplossingen gingen ten koste van de efficiëntie, omdat we meer energie en ruimte verbruikten dan we voor ogen hadden.

Onderzoek

In deze periode hebben we naar verschillende producten gekeken die op de markt verschenen of bij verschillende leveranciers op de roadmap stonden. Op basis van onze evaluatie van dit onderzoek hebben we al in 2014 besloten dat we voor de volgende generatie van het platform bij Brocade zouden blijven. De belangrijkste reden hiervoor was dat de specificaties van het Brocade SLX platform overeenkwamen of zelfs beter waren dan wat de anderen te bieden hadden en zeer goed bij onze eisen pasten. Daarnaast heeft onze bijzonder goede relatie met Brocade aan deze beslissing bijgedragen.

Vanaf het begin van de ontwikkeling van het SLX-platform hebben we onze eisen met Brocade besproken. Er heeft een groot aantal ontmoetingen tussen Brocade en AMS-IX technici plaatsgevonden om er zeker van te zijn dat onze eisen al in de eerste versie van het product werden nagekomen, zodat we het vanaf de eerste dag konden gebruiken. AMS-IX technici hebben de SLX in het Brocade CAT-lab in juni en augustus 2016 getest. We konden tevens een test doen in het AMS-IX lab in Amsterdam. Op basis van deze resultaten zullen we medio november het eerste nieuwe chassis implementeren.

Implementatie

Onze eerste toepassing van het SLX9850-platform zal in de core van het platform plaatsvinden. In verband met de hierboven genoemde beperking van de dichtheid hebben we drie jaar geleden twee extra core-nodes op twee verschillende locaties toegevoegd. Met het SLX9850-platform gaan we dit terugbrengen tot de twee oorspronkelijke locaties waar we voor redundantie elk twee chassis zullen toepassen.

We verwachten de eerste implementatie van de SLX8950 medio september tot november 2016 te kunnen uitvoeren. Na verdere uitgebreide testen zullen we een van de huidige cores vervangen door een SLX9850-chassis en de backbone links naar deze switch migreren, terwijl we het dataverkeer verdelen over de resterende interswitch links. Wanneer er na een bepaalde termijn geen problemen optreden met de SLX9850 in productie, zullen we de resterende core-switches vervangen waarna alle problemen met 100GE poortdichtheid in de backbone voor de komende jaren verleden tijd zullen zijn. Deze hele operatie zal resulteren in een aanzienlijke verlaging van de operationele kosten, omdat we minder ruimte en minder dark fibers voor de core nodig zullen hebben.

AMS-IX lab

In de tweede helft van 2017 verwachten we enkele toegangsswitches naar het SLX9850-platform te migreren, vooral op de locaties waar een hoge dichtheid aan 100GE consumentenpoorten aanwezig is.

We hebben bovendien in het AMS-IX lab in Amsterdam sinds juni de beschikking over een 4-slot SLX-chassis. Dit wordt gebruikt voor lokale testen en voor het programmeren van onze beheersoftware voor het nieuwe platform. Dit laatste is nodig omdat niet alleen de hardware compleet nieuw is, maar ook het besturingssysteem.

Henk Steenman is CTO van AMS-IX