Combinatie van periodiek onderhoud en update veroorzaakte storing in Google’s cloud

Google’s App Engine API’s werden op 11 augustus 2016 getroffen door een storing, waardoor App Engine applicaties van verschillende klanten bijna twee uur lang onbereikbaar waren. Uit een verklaring van het bedrijf blijkt dat de problemen zijn veroorzaakt door een update die gelijktijdig werd uitgevoerd met een migratieproces van App Engine applicaties.

Google meldt ten tijden van de storing periodiek onderhoud te hebben uitgevoerd waarbij werknemers van Google App Engine applicaties hebben gemigreerd tussen datacenters in de regio US-CENTRAL om het dataverkeer beter te balanceren. Hierbij wordt eerst een deel van de app verplaatst naar een nieuw datacenter, waarna de servers in het oude datacenter stapsgewijs wordt afgebouwd. De taak van de servers in het oude datacenter wordt hierbij automatisch overgenomen door servers in het nieuwe datacenter.

Software-update

Bij het uitvoeren van dit onderhoud op 11 augustus 2016 ging het echter fout. Gelijktijdig met het migratieproces bleek een software-update te worden uitgevoerd op de traffic routers. Deze update heeft ervoor gezorgd dat de traffic servers werden herstart, waarbij de beschikbare routercapaciteit tijdelijk afnam.

Dit had op zichzelf geen problemen opgeleverd. Bij de migratie moesten echter meerdere instances van handmatig geschaalde applicaties worden ingepland. Dit gebeurt door via de traffic routers een opstartverzoek te sturen naar de server die de nieuwe instance host. Sommige van deze instances werden echter traag opgestart, waardoor het App Engine systeem de opstartverzoeken meerdere keren heeft verstuurd. Die heeft een piek in de CPU-belasting veroorzaakt op de traffic routers. Deze overbelaste traffic routers hebben vervolgens een aantal inkomende verzoeken niet verwerkt.

Extra capaciteit toevoegen

Google wijt de veroorzaakte storing aan de problemen met de traffic routers. Het bedrijf stelt voldoende routing capaciteit beschikbaar te hebben om normaal gesproken alle verzoeken te verwerken. De systemen waren echter niet berekend op het grote aantal opstartverzoeken dat het App Engine systeem extra verstuurden door het trage opstarten van instances. Het bedrijf belooft meer traffic routing capaciteit toe te voegen om een grotere capaciteitsbuffer te creëren en dergelijke problemen in de toekomst te voorkomen.