MTB-News und Rennrad-News nicht erreichbar

Stefan Raab stürzt beim Biken und wirkt noch leicht angeschlagen – im gleichen Moment fällt die Verbindung zu unseren bei KölnFrankfurt/M. stehenden Servern ebenfalls aus. Noch wissen wir nichts genaues, gehen aber davon aus, dass die Websites bald wieder erreichbar sind. Weitere Infos folgen hier sobald verfügbar.


So sieht unser Server-Monitoring im Moment aus – viel zu viel rot!

Wir sind dann mal weg :)

Update:

23:04 Uhr – Es gibt Probleme im Rechenzentrum – man arbeitet dran!
0:39 Uhr – Die ersten Server (rennrad-news.de) sind wieder online.
8:00 Uhr – mtb-news.de ist weiterhin nicht erreichbar. Die Server sind alle hochgefahren und es geht ihnen gut. Offenbar gibt es weiter Probleme mit dem Netzwerk. Wir haben uns noch mal mit dem Rechenzentrum in Verbindung gesetzt. Gut schlafen konnte ich heute trotzdem … ;)
8:02 Uhr – Da fällt mir gerade auf, dass wir eine so lange Downtime lange nicht mehr hatten.
8:03 Uhr – Der Kontakt zum Rechenzentrum war erfolgreich. MTB-News.de ist auch wieder online. Vermutlich mal wieder nur die Putzfrau über das Kabel gestolpert ;)
8:38 Uhr – Es werden gerade noch ein paar letzte Aufräumarbeiten durchgeführt, gleich ist MTB-News wieder erreichbar

Motivation

So eine Nachricht motiviert ja ungemein, sich des Problems anzunehmen:

hey shi… fuc… ibc:D versuche hier schon länger mal neue videos reinzustellen aber hier kommt nie was an was soll der schei… was geht ab mannnnnnnnnnnnnnnnn wo bleiben meine videos??????????????????????????????????????????????????????????

20. März 2010: Serverumzug Rennrad-News.de

Hallo,
wir ziehen heute Rennrad-News auf schnellere Hardware um, damit wir die ganze Saison über die Seiten zuverlässig und mit gewohnt hoher Geschwindigkeit ausliefern können.

Wir halten euch hier im Schaltwerk auf dem Laufenden
Marcus und Thomas

20:06 – Forum ist zu und Daten der Datenbank werden für das kopieren auf neuen Server bereitgestellt
20:16 – Daten werden auf neuen Server kopiert
20:19 – kopieren ist fertig
20:20 – Import der Datenbank auf dem neuen Datenbank-Server
20:22 – Ups: Rikman: “der import fliegt mir gerade um die ohren – die konsole haut es voll mit zeichensalat”
20:40 – Es wird noch mit dem Import gekämpft…
20:42 – Gewonnen – der Import ist drin :)
20:51 – Daten sind kopiert.
20:51 – DNS Einträge werden auf neuen Server umgestellt
20:57 – Neues Forum kurz getestet – funktioniert soweit alles
21:02 – irgendwas klemmt noch beim DNS
21:12 – DNS passt jetzt, die ersten User trudeln auf dem “neuen” Rennrad-News ein.

21:18 – Scheint alles zu laufen. Jetzt kommen die anderen Bereiche noch dran (Fotoalbum, Marktplatz etc)
21:40 – Marktplatz läuft
21:40 – Fotoalbum ist fertig, sobald dein eigener Computer das DNS Update bekommen hat wird es dir auch angezeigt werden – sollte nur wenige Minuten dauern
21:45 – Winterpokal ist wieder da
21:53 – Trainingsverwaltung ist wieder online
21:54 – DNS vom Fotoalbum zickt noch ein wenig herum – es kann sich nur um Minuten handeln
21:57 – http://tourguide.rennrad-news.de läuft wieder
21:59 – die schicke Mitgliederkarte geht wieder: http://geoprofil.rennrad-news.de/map
22:13 – http://last-minute.rennrad-news.de/ wieder online
22:16 – Fotoalbum geht jetzt auch wieder :)

Das war es dann wohl – wenn es noch Probleme gibt meldet euch bitte hier oder per email
:)

Rennrad-News.de wegen Systemupdates kurz offline

Wir spielen momentan (24. Januar 2010, seit ~10:30 Uhr) einige Systemupdates in die Server von Rennrad-News.de ein. Daher ist Rennrad-News.de momentan nicht erreichbar.

Wir hoffen, gegen 13 Uhr wieder da zu sein.

Entschuldigt bitte die Umstände.

BTW, wir haben auch einen Twitter-Account: @rennradnews

Update, 12:55 Uhr: Wir werden es nicht schaffen, um 13 Uhr wieder online zu sein. Der letzte Server hängt noch im Filesystemcheck und ist der Meinung, dass er gern noch etwas Zeit dafür hätte :-(

Update 13:55 Uhr: Alles wieder ok :-)

Heiligabend bei MTB-News.de

Für den reibungslosen Betrieb von Seiten wie MTB-News.de ist es wichtig, dass man die Server und Dienste permanent überwacht und bei Auffälligkeiten schnell reagieren kann. Es gibt verschiedene Arten, Server und Dienste zu überwachen: zum einen es ist z. B. möglich, in regelmäßigen Zeitabständen zu prüfen, ob der Server per Netzwerk erreichbar ist (ping) oder ob der Webserver noch arbeitet. Eine andere Art der Überwachung ist das langfristige Aufzeichnen bestimmer Parameter, etwa der CPU-Auslastung. So kann man in einem Diagramm sehen, wie sehr ein Server über den Tag verteilt zu tun hat. Man kann sich das auch über längere Zeiträume ansehen, etwas über ein ganzes Jahr.

Ein Parameter, den wir auch so überwachen ist die Anzahl der User, welche zu einem Zeitpunkt bei MTB-News.de aktiv sind. In diesem Diagramm kann man manchmal echt nette Sachen sehen, zum Beispiel den Verlauf eines Länderspiels der deutschen Mannschaft bei der vergangenen Europameisterschaft.

Heiligabend ist auch so ein besonderer Tag:

Man sieht wunderbar, wie die Userzahl am späten Nachmittag förmlich wegbricht (weil die Leute sich ihre Geschenke geben lassen nehme ich an…) und sich erst am späten Abend noch mal ein wenig “erholt”. Man sieht den Unterschied zu den vergangenen Tagen sehr deutlich, wenn man sich das Diagramm der gesamten letzten Woche anschaut – der Knick am Nachmittag ist an keinem anderen Tag außer Heiligabend existent:

So, und nun feiert schön weiter :)

Nach dem Serverumzug

Am Freitag war es – mal wieder – soweit: wir haben einen Teil von MTB-News.de (News, Forum, Bikemarkt und ein paar kleinere Sachen) auf neue Server umgezogen.

Die vorherigen Server haben gut anderthalb Jahre ihren Dienst getan, arbeiteten zuletzt aber immer öfter an ihren Leistungsgrenzen.

Die Teile von MTB-News.de, welche wir jetzt von neuen Maschinen ausliefern lassen, liefen zuvor auf vier Servern (drei Webserver, ein Datenbankserver – naja, eigentlich waren es fünf – es gibt immer noch einen Datenbank-Slave-Server). Es handelte sich um Maschinen mit Athlon 64 X2 Dual-Core-Prozessoren mit jeweils acht Gigabyte RAM und zwei zu einem RAID 1 konfigurierten SATA-II-Platten.

Es verhielt sich zuletzt so, dass die Webserver an den CPU-Limits arbeiteten und der Master-Datenbankserver am Limit der Festplatten (ihm fehlte etwas RAM, was eine erhöhte Festplattenaktivität zur Folge hatte). Viel Spielraum für Optimierungen am Software-Setup hatten wir auch nicht mehr, so dass wir den Entschluss fassten, alles auf aktuellere Hardware umzuziehen.

Wir haben die neuen Server so ausgewählt, dass sie an den jeweilige Problemstellen der alten Maschinen merkliche Verbesserungen erhielten. Als Webserver haben wir nun anstatt drei Maschinen mit jeweils zwei CPU-Cores zwei Maschinen mit jeweils acht Cores (aktuelle Xeon-Prozessoren). Der Datenbankserver hat jetzt zum Einen doppelt so viel RAM (16 Gigabyte) und zum Anderen ein RAID 5 aus drei SAS-Festplatten mit 15.000 U/min und schafft merklich mehr I/O-Operationen pro Sekunde. Die Benchmarks, die wir vorab gefahren haben, versprachen einen anständigen Leistungsschub für MTB-News.de. Nach dem Umzug haben wir es auch von einigen Leuten gehört (und natürlich auch selbst bemerkt …), dass das Forum nun merklich schneller läuft als vorher.

Den Umzug auf neue Hardware am Freitag haben wir gleich genutzt, um dem Softwarestack der Server einigen Änderungen zu unterziehen. Seit Beginn haben wir bei MTB-News.de auf den Apache-Webserver mit mod_php gesetzt. Diese Konstellation hat allerdings einige Nachteile, insbesondere auf Seiten mit viel Last.

Wir haben den Apache auf den neuen Servern jetzt gar nicht mehr installiert, sondern setzen auf nginx – einem kleinen, gut konfigurierbaren und doch sehr effizienten und schnellen Webserver. PHP ist über die FastCGI-Schnittstelle angebunden.

Den MySQL-Datenbankserver haben wir bei der Gelegenheit auch gleich von Version 5.0 auf Version 5.1 migriert – auch hier bieten sich einige Vorteile gegenüber der Vorgängerversion.

Viele Teile von MTB-News.de (Fotoalbum, Videos, Trainingsverwaltung, Tourguide, Winterpokal, you name it …) laufen unabhängig vom Forum auf ganz anderen Servern und wurden beim Serverumzug gar nicht angefasst. Insgesamt gibt es zur Zeit sieben Maschinen, welche für die Auslieferung der Seiten von MTB-News.de zuständig sind.

Soweit mal ein paar technische Einblicke hinter die Kulissen. Wenn sich Fragen auftun – die Kommentare sind offen :)

Wir hoffen, dass wir mit der aktuellen Hardware gut über die nächste Saison kommen – mal schauen, wann das nächste Upgrade fällig wird.

MTB-News.de: Serverumzug

Wir ziehen Forum, News und Bikemarkt auf komplett neue Server um. Hier halten wir Euch auf dem laufenden.

@20:11 Das Forum haben wir gerade dicht gemacht und legen jetzt los
@20:30 Der Hinweis auf den Videobereich wurde wohl vermehrt angenommen – grade sind dort 200 Benutzer unterwegs
@20:31 Datenbanken werden auf den neuen Server kopiert
@20:36 Datenbanken werden importiert – nachdem das geschehen ist (dauert so ca. eine Stunde) wollen wir noch ein paar Änderungen an den Indexen der Datenbank vornehmen, das dauert auch noch mal eine knappe Stunde. Danach sollten wir langsam auf den neuen Server umschalten können
@21:10 Die Datenbanken sind auf dem neuen Server importiert. Jetzt führen wir ein paar Änderungen an Tabellen-Indexen durch …
@21:50 jetzt testen, ob alles geht
@22:10 Wir sind wieder da :) scheint alles geklappt zu haben. Jetzt noch kleinere Probleme beheben

11.12.2009 MTB-news.de – Wartungsarbeiten am Freitag abend

Um die Seiten in Zukunft noch schneller und zuverlässiger ausliefern zu können, ziehen wir MTB-News.de auf schnellere Hardware um.

Freitag abend (11. Dezember 2009) wird daher zwischen ca. 20 und 24 Uhr News, Forum und Bikemarkt gar nicht oder nur eingeschränkt zu erreichen sein.

Foto- und Videoalben, Tourguide, Trainingsverwaltung und Winterpokal sind während dieser Zeit bis auf kurze Pausen aber normal abrufbar.

Wir werden euch hier im Blog und auf Twitter @mtbnews auf dem Laufenden halten.

18. November – ca. 6h Auszeit auf MTB-News

Durch ein Hardwareproblem ist das Forum auf MTB-News derzeit nicht abrufbar. Wir hatten ein ähnliches Problem bereits am 9. November und waren davon ausgegangen, dass es jetzt funktioniert. Aktuell wird die Hardware überprüft und das defekte Teil ggf. ausgetauscht. Laut Provider müssen wir uns auf rund 6 Stunden einrichten.

Bikemarkt, Fotos, Videos und Winterpokal laufen unabhängig davon ohne Störung.

Sobald es Neues gibt erfahrt ihr es hier.

Update 12:15

Es lag an einem defekten CPU Lüfter – dieser wurde ausgetauscht, jetzt sollte alles wieder laufen – das ganze hat dann zum Glück doch nur eine Stunde gedauert

Störung auf MTB-News.de

Wir haben eventuell Hardware-Probleme bei MTB-News.de.
Wir wissen noch nichts Genaues, später mehr.

Update, 21:30 Uhr: Fehler ist lokalisiert, wir warten jetzt auf den Tausch des defekten Teils (Netzwerkkarte).