Archiv der Kategorie: Forum

Nach dem Serverumzug

Am Freitag war es – mal wieder – soweit: wir haben einen Teil von MTB-News.de (News, Forum, Bikemarkt und ein paar kleinere Sachen) auf neue Server umgezogen.

Die vorherigen Server haben gut anderthalb Jahre ihren Dienst getan, arbeiteten zuletzt aber immer öfter an ihren Leistungsgrenzen.

Die Teile von MTB-News.de, welche wir jetzt von neuen Maschinen ausliefern lassen, liefen zuvor auf vier Servern (drei Webserver, ein Datenbankserver – naja, eigentlich waren es fünf – es gibt immer noch einen Datenbank-Slave-Server). Es handelte sich um Maschinen mit Athlon 64 X2 Dual-Core-Prozessoren mit jeweils acht Gigabyte RAM und zwei zu einem RAID 1 konfigurierten SATA-II-Platten.

Es verhielt sich zuletzt so, dass die Webserver an den CPU-Limits arbeiteten und der Master-Datenbankserver am Limit der Festplatten (ihm fehlte etwas RAM, was eine erhöhte Festplattenaktivität zur Folge hatte). Viel Spielraum für Optimierungen am Software-Setup hatten wir auch nicht mehr, so dass wir den Entschluss fassten, alles auf aktuellere Hardware umzuziehen.

Wir haben die neuen Server so ausgewählt, dass sie an den jeweilige Problemstellen der alten Maschinen merkliche Verbesserungen erhielten. Als Webserver haben wir nun anstatt drei Maschinen mit jeweils zwei CPU-Cores zwei Maschinen mit jeweils acht Cores (aktuelle Xeon-Prozessoren). Der Datenbankserver hat jetzt zum Einen doppelt so viel RAM (16 Gigabyte) und zum Anderen ein RAID 5 aus drei SAS-Festplatten mit 15.000 U/min und schafft merklich mehr I/O-Operationen pro Sekunde. Die Benchmarks, die wir vorab gefahren haben, versprachen einen anständigen Leistungsschub für MTB-News.de. Nach dem Umzug haben wir es auch von einigen Leuten gehört (und natürlich auch selbst bemerkt …), dass das Forum nun merklich schneller läuft als vorher.

Den Umzug auf neue Hardware am Freitag haben wir gleich genutzt, um dem Softwarestack der Server einigen Änderungen zu unterziehen. Seit Beginn haben wir bei MTB-News.de auf den Apache-Webserver mit mod_php gesetzt. Diese Konstellation hat allerdings einige Nachteile, insbesondere auf Seiten mit viel Last.

Wir haben den Apache auf den neuen Servern jetzt gar nicht mehr installiert, sondern setzen auf nginx – einem kleinen, gut konfigurierbaren und doch sehr effizienten und schnellen Webserver. PHP ist über die FastCGI-Schnittstelle angebunden.

Den MySQL-Datenbankserver haben wir bei der Gelegenheit auch gleich von Version 5.0 auf Version 5.1 migriert – auch hier bieten sich einige Vorteile gegenüber der Vorgängerversion.

Viele Teile von MTB-News.de (Fotoalbum, Videos, Trainingsverwaltung, Tourguide, Winterpokal, you name it …) laufen unabhängig vom Forum auf ganz anderen Servern und wurden beim Serverumzug gar nicht angefasst. Insgesamt gibt es zur Zeit sieben Maschinen, welche für die Auslieferung der Seiten von MTB-News.de zuständig sind.

Soweit mal ein paar technische Einblicke hinter die Kulissen. Wenn sich Fragen auftun – die Kommentare sind offen :)

Wir hoffen, dass wir mit der aktuellen Hardware gut über die nächste Saison kommen – mal schauen, wann das nächste Upgrade fällig wird.

Stromausfall bei MTB-News.de

Wegen eines Stromausfalls ist MTB-News seit 11:22 nicht ereichbar – wir hoffen dass es bald wieder geht.

Info vom Hoster:
Derzeit liegt eine Störung in unserer Stromversorgung vor. Unsere Techniker arbeiten mit Hochdruck an der Ursachenanalyse und der Behebung des Problems.

Wir hoffen, dass bald alles wieder geht und halten euch hier auf dem Laufenden.

Update 11:40: Server haben wieder Strom und werden hochgefahren

Update 12:00: Schätzungsweise gegen 13:00 sollte alles wieder normal laufen

Update 13:52: das ganze zieht sich etwas hin – da die Server nicht sauber runtergefahren wurden müssen sich RAID und andere Dinge erstmal initialisieren – unser aktueller Tipp ist daher ca 17:00 Uhr heute.

Info vom Hoster:

29.01.2009 13:31 Uhr
Aufgrund der vielzahl an ausgefallenen Servern, bitten wir um Verständniss, dass die Wiederherstellung von defekten Servern im Einzelfall noch den ganzen Tag über dauern kann. Die Rechenzentren beherbergen ca. 12.000 Server. Die meisten Systeme sind nach Rückkehr der Spannungsversorgung wieder verfügbar. Im Augenblick muss mit mehreren Stunden Bearbeitungszeit gerechnet werden

30.01.2009, 6:36 Uhr: Fotoalbum ist wieder da. Alles wieder im gruenen Bereich :) Danke fuer eure Geduld!

Hinweis

Wir geben zwischendurch auch Updates über Twitter heraus: twitter.com/mtbnews

MTB-News.de: Statistiken 2008

Es ist ja fast schon Tradition, dass wir euch zum Jahreswechsel kurz über ein paar Zahlen des vergangenen Jahres auf MTB-News.de informieren.

Zusammenfassung: 2008 war wieder sehr erfolgreich – wir haben uns in allen Eckdaten erneut verbessert.

Meine Lieblingszahl ist auch in diesem Jahr der Beitragszähler, dieser wird neben der Anzahl der registrierten Benutzer eigentlich überall zum Vergleich von Foren herangezogen. Zum Jahreswechsel hatten wir 5,39 Millionen Beiträge in der Datenbank gespeichert, verglichen mit dem Vorjahreswert von 4,31 Millionen ist das ein Zuwachs von 1,08 Millionen. Wir sind damit im Ranking der größten deutschsprachigen Boards auf Platz 13. Der Themenzähler hat sich über das Jahr auf 367.000 erhöht (Vorjahr: 308.000; Zuwachs 59.000).

Es registrierten sich 29.970 Benutzer neu bei MTB-News.de (Vorjahr: 27.000), so dass wir zum Jahreswechsel insgesamt 137.838 registrierte Benutzer führen.

Pro Tag kamen also im Schnitt 2964 neue Beiträge (plus 4,4 Prozent im Vergleich zum Vorjahr) und 162 neue Themen (+2,8 Prozent) hinzu. Es registrierten sich durchschnittlich 82 User täglich bei MTB-News.de (plus 10,5 Prozent).

Wir haben in 2008 an rund 25 Millionen Besucher insgesamt ca. 170 Millionen Seiten ausgeliefert. Das entspricht ungefähr 50 Terabyte Netzwerktraffic. Die Videoberichterstattung wäherend der Eurobike verursachte zusätzlich auch noch mal ein paar Terabyte, die ein Dienstleister für uns ausgeliefert hat.

Wir haben im Jahr 2008 ungefähr 7,5 Millionen Mails an unsere User versendet (Benachrichtigungen, Newsletter). Das entspricht durchschnittlich 14 Mails pro Minute.

Umzug von MTB-News.de – aktuelle Infos

Hier informieren wir euch heute abend fortlaufend über des Status des Umzugs von MTB-News.de auf die neuen Server.

Ihr könnt gerne Kommentare und Fragen hier direkt unter dem Artikel loswerden – wenn es die Zeit erlaubt, antworten wir euch gerne!

Ablauf

19:40 Uhr Forum und Bikemarkt sind deaktiviert
19:43 Uhr Wir beginnen mit dem Dumpen der Datenbanken. Das wird eine Weile dauern … Danach werden die Dumps komprimiert und auf die neuen Datenbankserver übertragen (das dauert sicher auch etwas – sind immerhin ein paar Gigabyte). Zeitgleich werden alle Dateien auf die neuen Server übertragen (Skripte, Attachments usw.)
20:30 Uhr Die Datenbank-Dumps werden komprimiert.
20:40 Uhr Alle Dateien von Forum und Startseite sind übertragen. Die Datenbank dauert noch eine Weile.
20:47 Uhr Die Datenbanken sind komprimiert und werden auf die neuen Server kopiert.
20:52 Uhr ETA für das Kopieren der Dumps: 22:10 Uhr …
21:20 Uhr Die Dateien des Bikemarkts werden momentan kopiert, aktueller Stand : 40.000 von 460.000 Dateien komplett

Rikman bei der Arbeit ;)
Thomas

22:35 Uhr Der Import der Datenbanken klappt nicht, eine Berechtigungsproblem. Als es dann endlich doch läuft bricht es mit einer Fehlermeldung ab. Den Fehler haben wir sofort gefunden – das Beheben in einer mehrere GB grossen Datei dauert dann doch einen Moment.
Jetzt läuft der Import wieder.
23:39 Uhr Der Import der Datenbanken ist abgeschlossen, es werden jetzt noch ein paar Indexe neu gebaut. Wenn alles klappt, sind wir in ca. 45 Minuten mit dem Forum wieder online. Daumen druecken ist angesagt!
00:00 Uhr (!) Forum laeuft auf den neuen Servern! Wir testen kurz und geben es dann frei. Alle weiteren Anwendungen (Trainingsverwaltung, Bikemarkt usw.) folgen spaeter, einige erst im Laufe des Tages/Abends.

00:15 Uhr Forum kurz getestet, wir schalten jetzt das DNS um, damit ihr nach Eingabe von „MTB-News.de“ auf den neuen Servern landet.

00:15 Uhr Schon 77 User online.
01:54 Uhr Alles läuft – nur der Bikemarkt braucht wegen der vielen Fotos noch bis morgen früh.
07:30 Uhr Guten Morgen MTB-News! Der Bikemarkt läuft jetzt auch wieder.

Statistik 2007

Das Jahr 2007 ist seit ein paar Tagen vorbei und ihr wartet sicher schon total sehnsüchtig auf die Statistiken … ;-)

Ich hatte Anfang des letzten Jahres die Forum-Statistiken für 2006 an dieser Stelle veröffentlicht und so wollen wir es für 2007 wieder handhaben.

MTB-News.de

Beginnen wir mit dem Beitragszähler: Zum Ende des Jahres 2007 hatten wir 4,31 Millionen Beiträge in der Datenbank, welche zu rund 308.000 Themen gehörten und von über 108.000 registrierten Benutzern geschrieben wurden.

Die Zahlen zu Beginn des Jahres 2007 sahen so aus: 3,28 Millionen Beiträge (+1,03 Millionen in 2007), 250.000 Themen (+58.000) und 81.000 Benutzer (+27.000).

Damit hat sich meine Prognose bewahrheitet, nach der in 2007 über 1 Million neuer Beiträge bei MTB-News.de veröffentlicht werden sollten :-)

Pro Tag wurden im Schnitt 2837 neue Beiträge geschrieben (2006: 2576 neue Beiträge pro Tag; plus 9 Prozent), 158 neue Themen erstellt (2006: auch 158 – keine Veränderung) und es haben sich 74 neue Benutzer registriert (2006: 56 pro Tag; plus 24 Prozent).

Und wie auch im letzten Jahr gibt es wieder ein paar technische Zahlen.

Die DB-Server haben in 2007 mehr zu tun gehabt, als im Vorjahr – im Mittel waren wir bei ca. 250 Anfragen (Lese- und Schreibzugriffe) pro Sekunde für MTB-News.de, was insgesamt ca. 7,75 Milliarden Datenbankzugriffe bedeutet. Zum (zugegeben, recht unfairen) Vergleich: Ebay erzeugt pro Tag rund 26 Milliarden DB-Anfragen.

Netzwerktraffic ist in 2007 natürlich auch wieder ordentlich erzeugt worden, insgesamt runde 36 Terabyte.

Rennrad-News.de

Hier auch kurz die Zahlen für Rennrad-News.de, welches sich auch eines sehr gesunden Wachstums erfreut:

Beiträge Ende 2007: 679.500, davon 314.000 in 2007 geschrieben.

Themen Ende 2007: 34.700, davon 13.800 in 2007 erstellt.

Benutzer Ende 2007: 18.811, davon haben sich 7.150 in 2007 registriert.

Wir haben in 2007 ca. 4,4 Millionen Mails verschickt (Vorjahr: 3,5 Millionen; plus 20 Prozent). Diese Zahl gilt für Rennrad-News.de und MTB-News.de zusammen.

So, und jetzt dürft ihr raten, wieviele Server mittlerweile für MTB-News.de und Rennrad-News.de arbeiten!

Verbesserungen bei der Suche im Forum

Die Suche im Forum ist eine der meistgenutzten Funktionen neben den eigentlichen Forumsfunktionen. Da eine Volltextsuche in über 3,5 Millionen Datensätzen keine triviale Sache sind, haben wir in der Vergangenheit immer wieder mal Probleme mit der Performance bei der Volltextsuche gehabt.

Heute morgen habe ich ein neues System für die Suche eingebaut, welches die Suchanfragen um einen Faktor 10-1000 beschleunigen sollte. Auch die Zeit zwischen zwei erlaubten Suchanfragen wurde erst mal auf 10 Sekunden herunter gesetzt.

Für euch sollte sich nicht allzuviel ändern, mit der neuen Suche könnt ihr aber ab sofort das den einzelnen Begriffen einer verketteten Suche vorangestellte „+“ weglassen: Aus der Suchanfrage +marzocchi +monster wird jetzt einfach wieder marzocchi monster.

Als kleinen Bonus könnt ihr jetzt auch nach Begriffen mit zwei Zeichen suchen („XT“, „LX“, „MX“ usw.).

Habt Spaß!