ONDERHOUD

[Storing - Opgelost] Storing in deel van iXL netwerk

Omstreeks 19.20 uur was er een storing binnen een deel van ons netwerk. Engineers zijn direct ter plaatsen gegaan om het probleem te onderzoeken en op te lossen.

Om 19.40 was alles weer online. De toedracht van de verstoring wordt onderzocht en in de loop van deze week hier geplaatst.


Wat was de oorzaak?
Door een fout in de configuratie van het netwerk binnen het betreffende rack, is er een loop ontstaan waardoor het netwerk onstabiel en onbereikbaar is geworden. Deze fout is opgespoord en opgelost.

Wie had er last van?
Aangezien het één van onze racks betrof, had het overgrote deel van onze klanten geen last van deze storing. Alleen klanten binnen dit specifieke serverrack hebben overlast gehad.

Wat verklaard de duur van de storing?
Een half uur voor aanvang van deze storing, ontvingen wij het bericht van BIT (Onze datacenter & netwerk leverancier) dat er een DDoS aanval gaande was welke werd gefilterd door NAWAS.
Hier hebben onze klanten geen last van gehad. Op het moment van de netwerk verstoring werd in eerste instantie aangenomen dat dit naar aanleiding van een DDoS aanval was.
De symptomen van de meldingen vanuit ons monitoringsysteem kwam namelijk overeen. Aangezien het filteren van een DDoS aanval in sommige gevallen ruim 5 minuten kan duren is na daarna gezien dat het ging om een netwerkstoring binnen één van onze racks.

Wat gaan wij doen om dit te voorkomen?
We hebben werkprocedures aangescherpt om dit in de toekomst te voorkomen. Aankomende weken zal er ook nog overleg plaatsvinden om dit nogmaals onder de loep te nemen om er zeker van te zijn dat de procedure optimaal is.
Daarnaast gaan we detecties van ons monitoringsysteem anders inrichten, zodat het direct inzichtelijk is wanneer het een DDoS betreft of een probleem binnen ons eigen netwerk.

Onze excuses voor de overlast die dit heeft veroorzaakt.
Mochten er nog vragen zijn naar aanleiding van deze storing of onze uitleg, mail naar support@ixlhosting.nl.

Door: Robert van Esseveld, op: 26-02-2018