Fout van netwerkbeheerders haalt Google Cloud onderuit

De Google Cloud is West-Europa is op 30 november zo’n 70 minuten onbereikbaar geweest. Een netwerkbeheerder in het datacenter van Google in het Belgische St. Ghislain had een nieuwe uplink toegevoegd aan het netwerk van Google. Door een fout maakte deze nieuwe verbinding echter de gehele Google Cloud in West-Europa onbereikbaar.

Google meldt dat nieuwe uplinks in het datacenter doorgaans met behulp van een geautomatiseerd systeem worden toegevoegd. Dit systeem was door een andere storing echter tijdelijk niet bereikbaar, waarna werd besloten de uplink handmatig toe te voegen. Hierbij is een fout gemaakt, waardoor de uplink werd overspoeld met verkeer en overbelast raakte.

Pas na een uur ontdekt

Het probleem werd door Google pas na 61 minuten ontdekt. Het geautomatiseerde systeem voor het toevoegen van uplinks is namelijk ook het systeem dat de uplinks monitort. Dit systeem was echter onbereikbaar, waardoor Google in eerste instantie de problemen niet in de gaten had. Zodra de fout werd ontdekt was deze binnen enkele minuten gecorrigeerd.

Google belooft de procedures voor het toevoegen van uplinks aan te passen om herhaling van het incident te voorkomen. Het handmatig toevoegen van uplinks aan het datacenter wordt hierbij aan banden gelegd, ook als het geautomatiseerde systeem niet beschikbaar is.

Dossiers