Storing datacenter LS-1

Na een aantal dagen monitoren zien we geen problemen meer in het netwerk. Onze excuses voor de downtime die we hebben gehad. Er zijn maatregelen genomen om dit soort problemen tot het minimum te laten beperken.

Volgens de datacenter engineers zijn er wellicht issues met de peering tussen het AMS-IX en het datacenter netwerk. Een definitief antwoord vanuit hun moet nog komen. Wanneer er meer informatie beschikbaar is, zullen wij dit direct delen.

We zien sinds 21.48 weer problemen in het datacenter. Helaas ligt dit probleem buiten ons bereik en vinden wij het net zo vervelend als jullie. We zullen zo spoedig mogelijk een update geven.

Het probleem met de core router moet verholpen zijn. We monitoren het netwerk deze hele week op enige problemen.

Als eerst ons diep gemeende excuses voor nogmaals een downtime te hebben. De problemen van afgelopen vrijdag lopen helaas nog steeds.

Wij zijn samen met de datacenter enigneers in het datacenter om dit probleem grondig te onderzoeken.

Dit probleem ligt aan de core router van het datacenter + wederom een loop in het netwerk.

We vermoeden dat er een probleem is en hebben het in onderzoek.

De loop is gevonden en verholpen. We houden samen met de engineers het netwerk tot 0:00 vannacht intensief in de gaten. Alle systemen zijn weer online.

De datacenter engineers onderzoeken een loop in het netwerk. Nadat dit is opgelost, worden de verbindingen hersteld. Helaas is er nog geen ETA doorgegeven. Maar het probleem is vandaag zeer zeker opgelost.

We zien dat er nog problemen zijn met de module. Dit incident zal de hele dag open blijven staan. Om aan iedereen duidelijk te maken dat er downtime verwacht kan worden. Wij vinden dit zelf ook erg vervelend. En zullen een gesprek hierna hebben over hoe wij dit in het vervolg kunnen voorkomen.

De fout in de core router is gevonden, de LR module is vervangen en werkt zoals het hoort. Het probleem is hierbij opgelost.

Mochten er nog problemen opkomen met je website of VPS, dan hoor ik dat graag. Nogmaals onze excuses voor het ongemak deze nacht en ochtend.

We zien nog problemen binnen het netwerk. Dit wordt zo snel mogelijk opgelost. Er zullen spoedig updates gepost worden.

Rond 4.45 is de Core router herstart om de BGP problemen naar het AMS-IX toe, op te lossen. Verdere informatie over dit probleem kan worden aangevraagd bij support. Het probleem is opgelost en er wordt nog gemonitord op de werking. Er kan packetloss aanwezig zijn, dit wordt deze ochtend onderzocht. Onze excuses voor het eventuele ongemak!

Er is contact met de upstream providers gemaakt voor een probleem diagnose. Als er meer bekend is, laten we dat zo snel mogelijk weten.

Helaas kan er niet goed telefonisch contact worden gelegd met de engineers van het datacenter. Het is wachten tot dat zij reageren. Wij hopen dit zo snel mogelijk vroeg in de ochtend te hebben opgelost! Helaas ligt dit niet in onze handen.

Deze nacht rond 1.05 en 1.48 zijn er problemen gedetecteerd in het LS-1 datacenter. Wij zijn aan het onderzoeken waar de problemen liggen. Onze excuses voor het ongemak!