Nachdem vor
mehr als einem Jahr eine USV-Anlage meinte, sich in eine Art von Midlife-Crisis verabschieden zu müssen, haben sich gestern nun die Batterien einer USV-Anlage zerhäkelt.
Aber alles der Reihe nach. Was ist passiert? Eine Phase der Stromversorgung hier im Gebiet ist weggeknallt. Nichts Schlimmes, dafür hat man ja USV-Anlagen und Diesel-Aggregat. Das hat auch alles ganz wunderbar funktioniert, der Diesel sprang an, die USV-Anlagen haben übernommen. Nur eine Anlage, die wollte nicht.
Genauer: Die Batterien haben es nicht bis zum Diesel ausgehalten, und das
• obwohl es nur 3 Minuten bis zur Lastübernahme des Diesels sind (inkl. Warmlaufen)
• obwohl die Batterien regelmäßig getestet sind (in echten Ausfall-Tests)
• obwohl sie eine Lebenserwartung von 10 Jahren haben
• obwohl sie noch
vor ein paar Wochen wunderbar funktioniert und diese Zeit überbrückt haben
Die Rückumschaltung von Diesel auf das normale Stromnetz hat übrigens einwandfrei funktioniert, denn da mussten die Batterien auch nicht wirklich etwas leisten. Die USV-Anlage als solche hat also problemlos funktioniert.
So viel zu den Gründen und Ursachen. Die Folgen sind wohl fast jedem klar. Es war in einem Teil des Rechenzentrums kurzzeitig dunkel und sehr leise. Also diametral das Gegenteil dessen, was man sich als Techniker wünscht.
Der gestrige Tag waren wir also alle, und damit meine ich wirklich alle (inkl. mir) beschäftigt, die Server zu prüfen. Wir haben alle Server geprüft, und diejenigen, die nicht hochfuhren, manuell an der Konsole versucht, dazu zu bewegen, es doch zu tun. Der häufigste Grund für ein Nicht-Hochfahren: Falsche Bootloader-Konfiguration, meist nach Kernel-Updates.
Es gab zum Glück nur einen einzigen Festplattenausfall, der aber durchaus auch vorher schon (unbemerkt) aufgetreten sein könnte.
Und jetzt noch ein paar persönliche Dinge, die ich loswerden möchte. Zunächst einmal möchte ich mich bei den wirklich netten, verständnisvollen und unterstüztenden Lesern hier bedanken, die besonders in den Kommentaren mehr als eine Lanze für uns gebrochen haben. Hierfür empfinde ich tiefsten Respekt.
Es hat mich jedoch erschüttert, dass es, auch hier in den Kommentaren, mehr als nur eine kritische Stimme gab, besonders und auch von Kunden, bei denen ich genau das nicht erwartet hätte. Es wurden (hier und bei uns im Support) Vorwürfe und Beschuldigungen gemacht, die ich absolut nicht nachvollziehen kann. Daher hier einige Dinge, die ich (er-)klären möchte:
- Informationspolitik hier im Blog
In derartigen Situationen wie der gestrigen ist meine erste Amtshandlung sicher nicht, einen Blogbeitrag zu verfassen. Für schnelle Status-Informationen an Kunden gibt es derzeit die Status-Seite (die außerhalb unseres RZs liegt) sowie in Kürze noch eine weitere Informations-Seite.
- "Die Hotline ist ständig besetzt! Eine Frechheit!"
Die Aussage war wohl für viele Anrufer treffend und korrekt, die Schlussfolgerung aber nicht. Wie schon einige Kommentatoren hier treffend schrieben: Zu solchen Zeiten rufen eine Vielzahl an Kunden an. Sehr viele Kunden. Was nachvollziehbar ist. Wir haben aber nur eine begrenzte Zahl an Mitarbeitern. Und wenn diese alle telefonieren, ist eben "dicht". Es ist für uns wichtiger, das Problem zu lösen, anstatt darüber zu reden. Daher ziehen wir möglichst viele Resourcen auf die Problemlösung ab.
- "Auf der 24x7-Notruf-Hotline erwarte ich immer jemanden!"
Auch das geht, wie voranstehend beschrieben, personell in solchen Situationen _nie_. Wer als Kunde wirklich einen persönlichen 24x7-"Wir arbeiten daran"-Seelentröster möchte, kann gerne mit uns einen entsprechenden Vertrag schließen, ich stelle dann einfach 3 weitere Mitarbeiter ein, die in Schichtarbeit nur für diesen einen Kunden erreichbar sind. Die Kosten lege ich sogar gerne ohne Aufschlag um
- "Aber ich muss wissen, wie lange es dauert!"
Wir ebenso. Aber da uns bislang immer noch eine zuverlässig arbeitende Glaskugel fehlt, arbeiten wir solange, bis das Problem gelöst ist. Der Reihe nach. Ohne Priorisierung, einfach von A bis Z (bitte nicht wörtlich nehmen).
- "Aber woher will ich wissen, dass Ihr wirklich etwas tut?"
Einen solchen Ausfall merkt man. Es ist nahezu ausgeschlossen, dass hier etwas Derartiges passiert, aber wir es nicht von selbst merken. Und sollte dem wirklich so sein, haben wir ja die Telefone, die dann als Warnzeichen glühen.
- "Wie verhindern Sie, dass das nie wieder passiert?"
(eine Frage eines Kunden, der gestern hier persönlich vorbeikam)
Simple Antwort: Gar nicht. 100%ige Sicherheit gibt es nie. Es gibt immer Umstände, egal bei wieviel Redundanz oder Vorsichtsmaßnahmen, die zu solch einer Situation führen können.
- "Was tun Sie denn jetzt dagegen?"
Heute im Laufe des Tages rollt ein LKW mit einem kompletten neuen Satz an Batterien vor die Tür, die heute noch eingebaut werden. Damit sollte, rein statistisch, das Problem vom Tisch sein. Der Spass ist übrigens, da Batterien ein Verschleissteil, keine Sache von Garantie oder Gewährleistung, sondern geht zu 100% auf unsere Kappe. Wenn ich den uns entstandenen Schaden in Form der neuen Batterien und der Arbeitszeit rechne, bin ich bei einer netten 5-stelligen Summe. (Das soll kein Leidlied sondern lediglich eine Information sein)
Es gab aber auch positive Rückmeldungen, die ich natürlich auch zitieren möchte (teilweise auch hier aus den Kommentaren):
- der Kommentar von Alexander
- die Kommentare von Timo hier, hier und hier
- der Kommentar von Andre/STB
- "ich finde es jedenfalls toll, dass Sie so professionell sind und den Schaden nicht nur schnell beheben sondern auch eine persönliche Information dazu mailen."
- "alles kein Probelm, die Zeit ist im Wandel und der Mensch muss merken, das Geschwindigkeit nicht das ganze Leben ist."
- "So ein kurzer Ausfall, andere Provider halten es nicht mal für nötig Stunden zu entschuldigen!"
