Archiv der Kategorie: Technik

Heiligabend bei MTB-News.de

Für den reibungslosen Betrieb von Seiten wie MTB-News.de ist es wichtig, dass man die Server und Dienste permanent überwacht und bei Auffälligkeiten schnell reagieren kann. Es gibt verschiedene Arten, Server und Dienste zu überwachen: zum einen es ist z. B. möglich, in regelmäßigen Zeitabständen zu prüfen, ob der Server per Netzwerk erreichbar ist (ping) oder ob der Webserver noch arbeitet. Eine andere Art der Überwachung ist das langfristige Aufzeichnen bestimmer Parameter, etwa der CPU-Auslastung. So kann man in einem Diagramm sehen, wie sehr ein Server über den Tag verteilt zu tun hat. Man kann sich das auch über längere Zeiträume ansehen, etwas über ein ganzes Jahr.

Ein Parameter, den wir auch so überwachen ist die Anzahl der User, welche zu einem Zeitpunkt bei MTB-News.de aktiv sind. In diesem Diagramm kann man manchmal echt nette Sachen sehen, zum Beispiel den Verlauf eines Länderspiels der deutschen Mannschaft bei der vergangenen Europameisterschaft.

Heiligabend ist auch so ein besonderer Tag:

Man sieht wunderbar, wie die Userzahl am späten Nachmittag förmlich wegbricht (weil die Leute sich ihre Geschenke geben lassen nehme ich an…) und sich erst am späten Abend noch mal ein wenig „erholt“. Man sieht den Unterschied zu den vergangenen Tagen sehr deutlich, wenn man sich das Diagramm der gesamten letzten Woche anschaut – der Knick am Nachmittag ist an keinem anderen Tag außer Heiligabend existent:

So, und nun feiert schön weiter :)

Nach dem Serverumzug

Am Freitag war es – mal wieder – soweit: wir haben einen Teil von MTB-News.de (News, Forum, Bikemarkt und ein paar kleinere Sachen) auf neue Server umgezogen.

Die vorherigen Server haben gut anderthalb Jahre ihren Dienst getan, arbeiteten zuletzt aber immer öfter an ihren Leistungsgrenzen.

Die Teile von MTB-News.de, welche wir jetzt von neuen Maschinen ausliefern lassen, liefen zuvor auf vier Servern (drei Webserver, ein Datenbankserver – naja, eigentlich waren es fünf – es gibt immer noch einen Datenbank-Slave-Server). Es handelte sich um Maschinen mit Athlon 64 X2 Dual-Core-Prozessoren mit jeweils acht Gigabyte RAM und zwei zu einem RAID 1 konfigurierten SATA-II-Platten.

Es verhielt sich zuletzt so, dass die Webserver an den CPU-Limits arbeiteten und der Master-Datenbankserver am Limit der Festplatten (ihm fehlte etwas RAM, was eine erhöhte Festplattenaktivität zur Folge hatte). Viel Spielraum für Optimierungen am Software-Setup hatten wir auch nicht mehr, so dass wir den Entschluss fassten, alles auf aktuellere Hardware umzuziehen.

Wir haben die neuen Server so ausgewählt, dass sie an den jeweilige Problemstellen der alten Maschinen merkliche Verbesserungen erhielten. Als Webserver haben wir nun anstatt drei Maschinen mit jeweils zwei CPU-Cores zwei Maschinen mit jeweils acht Cores (aktuelle Xeon-Prozessoren). Der Datenbankserver hat jetzt zum Einen doppelt so viel RAM (16 Gigabyte) und zum Anderen ein RAID 5 aus drei SAS-Festplatten mit 15.000 U/min und schafft merklich mehr I/O-Operationen pro Sekunde. Die Benchmarks, die wir vorab gefahren haben, versprachen einen anständigen Leistungsschub für MTB-News.de. Nach dem Umzug haben wir es auch von einigen Leuten gehört (und natürlich auch selbst bemerkt …), dass das Forum nun merklich schneller läuft als vorher.

Den Umzug auf neue Hardware am Freitag haben wir gleich genutzt, um dem Softwarestack der Server einigen Änderungen zu unterziehen. Seit Beginn haben wir bei MTB-News.de auf den Apache-Webserver mit mod_php gesetzt. Diese Konstellation hat allerdings einige Nachteile, insbesondere auf Seiten mit viel Last.

Wir haben den Apache auf den neuen Servern jetzt gar nicht mehr installiert, sondern setzen auf nginx – einem kleinen, gut konfigurierbaren und doch sehr effizienten und schnellen Webserver. PHP ist über die FastCGI-Schnittstelle angebunden.

Den MySQL-Datenbankserver haben wir bei der Gelegenheit auch gleich von Version 5.0 auf Version 5.1 migriert – auch hier bieten sich einige Vorteile gegenüber der Vorgängerversion.

Viele Teile von MTB-News.de (Fotoalbum, Videos, Trainingsverwaltung, Tourguide, Winterpokal, you name it …) laufen unabhängig vom Forum auf ganz anderen Servern und wurden beim Serverumzug gar nicht angefasst. Insgesamt gibt es zur Zeit sieben Maschinen, welche für die Auslieferung der Seiten von MTB-News.de zuständig sind.

Soweit mal ein paar technische Einblicke hinter die Kulissen. Wenn sich Fragen auftun – die Kommentare sind offen :)

Wir hoffen, dass wir mit der aktuellen Hardware gut über die nächste Saison kommen – mal schauen, wann das nächste Upgrade fällig wird.

Eurobike-Videos, ein Rückblick

Nun sind seit der Eurobike ein paar Wochen vergangen. Zeit für uns, euch mit ein paar Hintergrundinformationen zu unserem Videoangebot zur Messe zu versorgen.

Wir haben in diesem Jahr die Auslieferung der Videos komplett selbst übernehmen können – 2008 hatten wir zum Teil noch auf Amazons S3 zurück gegriffen.

Als am Abend des 2. September das erste Video hochgeladen und im News-Bereich verlinkt wurde, verhielt sich alles noch recht ruhig – richtig los ging es dann am 3. September. Im Laufe dieses Tages wurden die ersten 15 Videos insgesamt fast 16.000 mal angeschaut. Am 4. September hatten wir insgesamt schon 27 Videos veröffentlicht, an diesem Tag wurden die Videos 24.500 mal angeschaut – was auch der Tagesrekord war.

Verlauf der Downloads
Verlauf der Downloads

Die durchschnittliche Dateigröße eines Videos ist gut 37 Megabyte – am 4. September haben wir also allein ca. 850 Gigabyte an Videos ausgeliefert.

Bis zum 28. September 2009 wurden alle 50 Videos insgesamt 193.000 mal angeschaut, das entspricht einer übertragenen Datenmenge von ungefähr 7,5 Terabyte (oder ca. 400 Tage Video am Stück).

Wir haben in Spitzenzeiten drei Server zur Auslieferung benutzt, jeder hatte 100 MBit/s Bandbreite zur Verfügung. Diese 100 MBit/s pro Server wurden gerade zum Anfang tagsüber permanent fast komplett ausgelastet. Wir hatten noch Backup-Bandbreite in Reserve (wieder bei S3), brauchten diese aber nicht in Anspruch nehmen. Es gab auch keine Beschwerden über zu langsame Übertragungen – wir denken also, dass wir das ganz gut hinbekommen haben ;)

Verlauf der Bandbreite eines Video-Servers
Verlauf der Bandbreitennutzung eines Video-Servers

Rekordhalter bei den Downloads ist übrigens das Canyon-Video, welches bis jetzt fast 11.000 mal angeschaut wurde. Auf den Plätzen zwei und drei folgen Cannondale und Liteville.

Die Top-Ten der Downloads:

  1. Canyon
  2. Cannondale
  3. Liteville & Syntace
  4. Trek
  5. Shimano
  6. Specialized
  7. DT Swiss
  8. Nicolai
  9. SRAM
  10. Votec

Stromausfall bei MTB-News.de

Wegen eines Stromausfalls ist MTB-News seit 11:22 nicht ereichbar – wir hoffen dass es bald wieder geht.

Info vom Hoster:
Derzeit liegt eine Störung in unserer Stromversorgung vor. Unsere Techniker arbeiten mit Hochdruck an der Ursachenanalyse und der Behebung des Problems.

Wir hoffen, dass bald alles wieder geht und halten euch hier auf dem Laufenden.

Update 11:40: Server haben wieder Strom und werden hochgefahren

Update 12:00: Schätzungsweise gegen 13:00 sollte alles wieder normal laufen

Update 13:52: das ganze zieht sich etwas hin – da die Server nicht sauber runtergefahren wurden müssen sich RAID und andere Dinge erstmal initialisieren – unser aktueller Tipp ist daher ca 17:00 Uhr heute.

Info vom Hoster:

29.01.2009 13:31 Uhr
Aufgrund der vielzahl an ausgefallenen Servern, bitten wir um Verständniss, dass die Wiederherstellung von defekten Servern im Einzelfall noch den ganzen Tag über dauern kann. Die Rechenzentren beherbergen ca. 12.000 Server. Die meisten Systeme sind nach Rückkehr der Spannungsversorgung wieder verfügbar. Im Augenblick muss mit mehreren Stunden Bearbeitungszeit gerechnet werden

30.01.2009, 6:36 Uhr: Fotoalbum ist wieder da. Alles wieder im gruenen Bereich :) Danke fuer eure Geduld!

Hinweis

Wir geben zwischendurch auch Updates über Twitter heraus: twitter.com/mtbnews

MTB-News.de: Statistiken 2008

Es ist ja fast schon Tradition, dass wir euch zum Jahreswechsel kurz über ein paar Zahlen des vergangenen Jahres auf MTB-News.de informieren.

Zusammenfassung: 2008 war wieder sehr erfolgreich – wir haben uns in allen Eckdaten erneut verbessert.

Meine Lieblingszahl ist auch in diesem Jahr der Beitragszähler, dieser wird neben der Anzahl der registrierten Benutzer eigentlich überall zum Vergleich von Foren herangezogen. Zum Jahreswechsel hatten wir 5,39 Millionen Beiträge in der Datenbank gespeichert, verglichen mit dem Vorjahreswert von 4,31 Millionen ist das ein Zuwachs von 1,08 Millionen. Wir sind damit im Ranking der größten deutschsprachigen Boards auf Platz 13. Der Themenzähler hat sich über das Jahr auf 367.000 erhöht (Vorjahr: 308.000; Zuwachs 59.000).

Es registrierten sich 29.970 Benutzer neu bei MTB-News.de (Vorjahr: 27.000), so dass wir zum Jahreswechsel insgesamt 137.838 registrierte Benutzer führen.

Pro Tag kamen also im Schnitt 2964 neue Beiträge (plus 4,4 Prozent im Vergleich zum Vorjahr) und 162 neue Themen (+2,8 Prozent) hinzu. Es registrierten sich durchschnittlich 82 User täglich bei MTB-News.de (plus 10,5 Prozent).

Wir haben in 2008 an rund 25 Millionen Besucher insgesamt ca. 170 Millionen Seiten ausgeliefert. Das entspricht ungefähr 50 Terabyte Netzwerktraffic. Die Videoberichterstattung wäherend der Eurobike verursachte zusätzlich auch noch mal ein paar Terabyte, die ein Dienstleister für uns ausgeliefert hat.

Wir haben im Jahr 2008 ungefähr 7,5 Millionen Mails an unsere User versendet (Benachrichtigungen, Newsletter). Das entspricht durchschnittlich 14 Mails pro Minute.

Umzug von MTB-News.de – aktuelle Infos

Hier informieren wir euch heute abend fortlaufend über des Status des Umzugs von MTB-News.de auf die neuen Server.

Ihr könnt gerne Kommentare und Fragen hier direkt unter dem Artikel loswerden – wenn es die Zeit erlaubt, antworten wir euch gerne!

Ablauf

19:40 Uhr Forum und Bikemarkt sind deaktiviert
19:43 Uhr Wir beginnen mit dem Dumpen der Datenbanken. Das wird eine Weile dauern … Danach werden die Dumps komprimiert und auf die neuen Datenbankserver übertragen (das dauert sicher auch etwas – sind immerhin ein paar Gigabyte). Zeitgleich werden alle Dateien auf die neuen Server übertragen (Skripte, Attachments usw.)
20:30 Uhr Die Datenbank-Dumps werden komprimiert.
20:40 Uhr Alle Dateien von Forum und Startseite sind übertragen. Die Datenbank dauert noch eine Weile.
20:47 Uhr Die Datenbanken sind komprimiert und werden auf die neuen Server kopiert.
20:52 Uhr ETA für das Kopieren der Dumps: 22:10 Uhr …
21:20 Uhr Die Dateien des Bikemarkts werden momentan kopiert, aktueller Stand : 40.000 von 460.000 Dateien komplett

Rikman bei der Arbeit ;)
Thomas

22:35 Uhr Der Import der Datenbanken klappt nicht, eine Berechtigungsproblem. Als es dann endlich doch läuft bricht es mit einer Fehlermeldung ab. Den Fehler haben wir sofort gefunden – das Beheben in einer mehrere GB grossen Datei dauert dann doch einen Moment.
Jetzt läuft der Import wieder.
23:39 Uhr Der Import der Datenbanken ist abgeschlossen, es werden jetzt noch ein paar Indexe neu gebaut. Wenn alles klappt, sind wir in ca. 45 Minuten mit dem Forum wieder online. Daumen druecken ist angesagt!
00:00 Uhr (!) Forum laeuft auf den neuen Servern! Wir testen kurz und geben es dann frei. Alle weiteren Anwendungen (Trainingsverwaltung, Bikemarkt usw.) folgen spaeter, einige erst im Laufe des Tages/Abends.

00:15 Uhr Forum kurz getestet, wir schalten jetzt das DNS um, damit ihr nach Eingabe von „MTB-News.de“ auf den neuen Servern landet.

00:15 Uhr Schon 77 User online.
01:54 Uhr Alles läuft – nur der Bikemarkt braucht wegen der vielen Fotos noch bis morgen früh.
07:30 Uhr Guten Morgen MTB-News! Der Bikemarkt läuft jetzt auch wieder.

Neue Hardware für MTB-News.de

Heute wurden fünf neue Server für MTB-News.de bereit gestellt.

Wir werden diese in den nächsten Tagen einrichten und irgendwann demnächst MTB-News.de komplett auf die neue Hardware umziehen.

Die neuen Servern stehen jetzt auch in Deutschland und nicht mehr in den USA wie bisher. Dadurch werden sich die Ladezeiten der Seiten hoffentlich etwas verringern.

Wir halten euch auf dem Laufenden!

Probleme auf MTB-News.de

Eine Festplatte auf einem unserer Server ist defekt, bis zum Austausch kann es dadurch zu Problemen kommen.

Updates

10:00 Uhr: Forum laeuft jetzt in einer Art Notbetrieb, Hardwaretausch ist im Gange
12:00 Uhr: Zwischenzeitlich hatten die Jungs im Datacenter versucht die falsche Maschine zu reparieren. Kann ja mal passieren, bei denen ist es noch mitten in der Nacht. Es verzögert sich deshalb alles ein wenig.
13:00 Uhr: Die defekte Hardware wurde ersetzt, wir beginnen mit der Wiederherstellung.
16:30 Uhr: Wir sind mit den meisten Dingen fertig, hier und da kommen aber noch Nacharbeiten dazu – es kann also sein, dass es noch an einigen Ecken und Ende etwas hakelig ist.