Eine Woche fast ohne Schlaf: das aka-aki Entwicklungsteam beim Krisenmanagement

Das war eine harte Woche. Für uns hier in den aka-aki-Büros und natürlich vor allem für euch, unsere Mitglieder. Serverausfälle immer wieder, Fehler in den Freundeslisten, mysteriöse Zombie-aki-mails, die nach dem Löschen wieder auferstehen und viele weitere Unannhemlichkeiten. Was da eigentlich schief gelaufen ist und wie es weitergeht, das haben wir heute Lukas, unseren Chef der Webentwicklung gefragt und hier sind seine Antworten…

Lukas, die Probleme fingen ja schon Ende letzter Woche an. Was ist eigentlich schief gelaufen?

Am vergangenen Mittwoch wurde unsere iPhone-App von Apple im Appstore freigeschaltet. Das war schon etwas überraschend, denn wir wurden mit Kleinigkeiten fast drei Monate immer wieder hingehalten von den Prüfern bei Apple. Gut, aber keine Entschuldigung. Dass aka-aki dann innerhalb von kürzester Zeit aber so weit in den Downloadchart-Listen nach oben klettert, damit hatten wir wirklich nicht gerechnet. Diese Flut von neuen Nutzern hat dann unseren Server, der bisher schnurrte wie ein Kätzchen, völlig überlastet. Wir haben seit dem einen zusätzlichen Server nach dem anderen dazugeschaltet. Das klingt einfacher als es ist. Immer wieder gab es Probleme mit Datenbanken, die migriert und angepasst werden müssen. Deshalb immer wieder ein seltsames Verhalten des Systems, und eben leider auch viele Totalausfälle. Wir mussten lernen, dass man nicht alles vorher bis ins Detail simulieren kann. Und uns wurde auch schmerzlich klar gemacht, dass wir eben doch noch eine recht kleine Firma sind. Was unsere Ressourcen angeht, also Ausstattung mit Personal und eigener Technik, kann man aka-aki gar nicht mit den “Großen” Onlineangeboten vergleichen. Wir können uns nur in aller Form bei den Usern entschuldigen.

Und im Moment? Wie geht es dem System, läuft alles wieder stabil?

Es ist besser geworden. Heute gab es kaum Probleme, nur hier und da kurze Ausfälle von wenigen Minuten. Die Ursache dafür ist aber eine andere als für die großen Probleme am letzten Wochenende. Es sind noch Hardwareprobleme aufgetaucht. Unser System hält uns also noch in Atem. Aber für die User können wir vorerst Entwarnung geben. Es kann noch passieren, dass der Login vorübergehend nicht klappt, beim nächsten Versuch ein paar Minuten später sollte es aber funktionieren.

Was hast du mit deinem Team jetzt umgebaut, damit es in Zukunft nicht mehr zu solchen großen Problemen kommen kann?

Wir haben inzwischen 10 Server online wo vorher nur zwei waren. Wir haben jetzt Kapazitäten in einem zweiten Rechenzentrum, was auch mehr Sicherheit bedeutet. Danke für die Schnelle Hilfe geht an die Jungs von der filoo GmbH, die uns ganz schnell und unkompliziert geholfen haben, die Kapazitäten zu erhöhen. Tolle Arbeit! Außerdem haben wir das Monitoring zuverlässiger gemacht, sodass wir jetzt schneller Handeln können, wenn etwas schief läuft. Und auch an unserem iPhone-Programm nehmen wir Änderungen vor, damit es in Zukunft weniger Serverlast erzeugt.

Lukas, danke für die Antworten und eine hoffentlich geruhsame Nacht für dich und dein Team, ihr könnt den Schlaf gebrauchen und habt es euch verdient!

12 Responses to “Interview: Was war los mit aka-aki in der letzten Woche?”