Archiv der Kategorie: Technik

Statistik 2007

Das Jahr 2007 ist seit ein paar Tagen vorbei und ihr wartet sicher schon total sehnsüchtig auf die Statistiken … ;-)

Ich hatte Anfang des letzten Jahres die Forum-Statistiken für 2006 an dieser Stelle veröffentlicht und so wollen wir es für 2007 wieder handhaben.

MTB-News.de

Beginnen wir mit dem Beitragszähler: Zum Ende des Jahres 2007 hatten wir 4,31 Millionen Beiträge in der Datenbank, welche zu rund 308.000 Themen gehörten und von über 108.000 registrierten Benutzern geschrieben wurden.

Die Zahlen zu Beginn des Jahres 2007 sahen so aus: 3,28 Millionen Beiträge (+1,03 Millionen in 2007), 250.000 Themen (+58.000) und 81.000 Benutzer (+27.000).

Damit hat sich meine Prognose bewahrheitet, nach der in 2007 über 1 Million neuer Beiträge bei MTB-News.de veröffentlicht werden sollten :-)

Pro Tag wurden im Schnitt 2837 neue Beiträge geschrieben (2006: 2576 neue Beiträge pro Tag; plus 9 Prozent), 158 neue Themen erstellt (2006: auch 158 – keine Veränderung) und es haben sich 74 neue Benutzer registriert (2006: 56 pro Tag; plus 24 Prozent).

Und wie auch im letzten Jahr gibt es wieder ein paar technische Zahlen.

Die DB-Server haben in 2007 mehr zu tun gehabt, als im Vorjahr – im Mittel waren wir bei ca. 250 Anfragen (Lese- und Schreibzugriffe) pro Sekunde für MTB-News.de, was insgesamt ca. 7,75 Milliarden Datenbankzugriffe bedeutet. Zum (zugegeben, recht unfairen) Vergleich: Ebay erzeugt pro Tag rund 26 Milliarden DB-Anfragen.

Netzwerktraffic ist in 2007 natürlich auch wieder ordentlich erzeugt worden, insgesamt runde 36 Terabyte.

Rennrad-News.de

Hier auch kurz die Zahlen für Rennrad-News.de, welches sich auch eines sehr gesunden Wachstums erfreut:

Beiträge Ende 2007: 679.500, davon 314.000 in 2007 geschrieben.

Themen Ende 2007: 34.700, davon 13.800 in 2007 erstellt.

Benutzer Ende 2007: 18.811, davon haben sich 7.150 in 2007 registriert.

Wir haben in 2007 ca. 4,4 Millionen Mails verschickt (Vorjahr: 3,5 Millionen; plus 20 Prozent). Diese Zahl gilt für Rennrad-News.de und MTB-News.de zusammen.

So, und jetzt dürft ihr raten, wieviele Server mittlerweile für MTB-News.de und Rennrad-News.de arbeiten!

Bikemarkt…

Hallo,

hier ein kurzes, (gefrustetes) Update:

ich hatte ja hier nach Meinungen, Vorschlägen etc gefragt und mich bereits an die Umsetzung gemacht.

Mein Plan war, den Bikemarkt in der aktuellen Form beizubehalten und an einzelnen Stellen zu verbessern – zusätzlich die angedachten Abläufe rund um die Verkäufe separat zu entwickeln und dann dort einzubinden.

Den Plan habe ich vorhin nach etlichen wohl vergeudeten Stunden aufgegeben – die Frickelei im Code des aktuellen Bikemarktes hat mich wahnsinnig gemacht. Wo ist jetzt der Code den ich gerade suche? in irgendeinem Include, im PHP-File selbst oder im Template?

Zusätzlich habe ich heute mit jemandem gesprochen, der seine Seite komplett auf Basis eigenentwickelter Software betreibt (ebenfalls im Bikebereich) – er liefert im Vergleich zu uns ein mehrfaches an Seiten aus benötigt dafür deutlich weniger Hardware als wir mit unserer eingekauften Software (speziell Fotoalbum (noch) und Bikemarkt sind bei uns echte Ressourcenkiller).

Jetzt freue ich mich darauf, den kompletten Bikemarkt doch in CakePHP zu bauen.
Im Vergleich zur Frickelei der letzten Tage ist das quasi wie Urlaub :)

Das heisst ebenfalls, es wird jetzt im Bikemarkt erstmal alles so bleiben wie es ist. Sobald die Grundfunkionalität steht wird der neue Bikemarkt zum testen freigegeben.

Statistik, Teil 122

Wir verschicken hier bei MTB-News.de und Rennrad-News.de täglich eine Menge E-Mails. Immerhin so viel, dass es sich lohnt über die Logfiles der versendeten Mails mal eine statistische Auswertung über die Verteilung der Mailprovider zu machen. Die meisten Mailadressen sind bei den großen deutschen Providern GMX und web.de hinterlegt – ich habe das mal als Grafik gemacht:

mail.png

(Daten der letzten sieben Tage; absolute Werte)

Eurobike 2007 Videos und die Server, Teil 2

Nachdem wir am Freitag ja erst mal drei Videos veröffentlicht hatten, kamen am Samstag noch mal eine Menge dazu. Dementsprechend sah es auch auf der technischen Seite aus. Die Uplinks der Server (100 MBit/s) waren zeitweise komplett mit den Videodownloads ausgelastet. Am gestrigen Sonntag dann noch mal das gleiche Bild (siehe Grafik).

In den letzen zweieinhalb Tagen ist übrigens nur durch die Videos ein Datenvolumen von ca. einem Terabyte übertragen worden.

video-downloads1.png

Störungen bei MTB-News.de und Rennrad-News.de

Achtung: Momentan ist ein Netzsegment bei einem unserer Hoster ausgefallen, so dass sich die Seiten bei MTB-News.de und Rennrad-News.de nur sehr langsam aufbauen (Stand 28. August 2007, 17:15 Uhr).

Wir können da momentan nichts machen, außer warten. Ihr müsst es uns wohl oder über gleich tun …

Update: Seit ca. 17:45 Uhr ist alles wieder ok :)
Update 2: So sah gestern die Ueberwachung eines Netzwerkinterfaces auf einem der betroffenen Server aus: Man sieht sehr schoen, wie gegen 17 Uhr (ca. Bildmitte) jeglicher Traffic wegbricht und erst gegen 17:45 wieder beginnt.

netzwerk.png

Nochmal Performanceverbesserungen

Zuletzt haben wir die Geschwindigkeit der Volltextsuche im Forum bei MTB-News.de nicht unbeträchtlich schneller gemacht. Parallel dazu haben wir an der allgemeinen Performance des Forums gearbeitet.

In diesem Frühjahr ist auf MTB-News.de soviel los, wie noch nie zuvor. Die Zahl der Besucher und auch der Seitenabrufe ist anderthalbmal so hoch verglichen zum letzten Frühjahr. An diesem Montag abend waren zeitweise fast 1900 User gleichzeitig im Forum auf MTB-News.de unterwegs – ingesamt (also plus der anderen Bereiche auf MTB-News.de) dürften es über 2000 gleichzeitige Sessions gewesen sein. Im letzten Jahr waren wir so bei 1200, maximal 1300 gleichzeitigen Sessions.

Das alles hat natürlich einen direkten Einfluss auf die Anforderungen, die unsere Server erfüllen müssen – was man auch in letzter Zeit an der Geschwindigkeit des Forums gemerkt hat. Diese war merklich gesunken.

Die Geschwindigkeitsprobleme wurden jetzt größtenteils behoben, die Seiten sollten in den allermeisten Fällen wieder ordentlich schnell geladen werden. Für die Technikinteressierten hier eine kurze Auflistung der Dinge, die wir getan haben:

  • Optimierungen im Load-Balancing: Wir haben ein paar Gigabyte Serverlogfiles statistisch (für die Kenner: awk, grep, sort, wc …) ausgewertet danach die Verteilungsverhältnisse im Load-Balancer angepasst
  • Teilweise Umgehung der langen Paketlaufzeiten nach Amerika: Die Server von MTB-News.de stehen zum großen Teil in Texas, USA. Bis dorthin und zurück braucht ein IP-Paket aus Deutschland etwa 120-200 Millisekunden. Zum Vergleich: Innerhalb Deutschlands hat man meist Laufzeiten von 20-60 Millisekunden. Dieser Unterschied macht sich bei den Seiten an sich nicht wirklich bemerkbar, wohl aber bei den ganzen Icons (Smilies, Beitragsicons), die nachgeladen werden. Diese werden jetzt größtenteils von einem Server in Deutschland ausgeliefert. Der Geschwindigkeitsvorteil dadurch ist nicht zu verachten.
  • Einsatz von memcached: Wir setzen nun an einigen Stellen memcached ein. Damit können wir die Datenbank entlasten, in dem wir die Ergebnisse oft benötigter und komplexer Abfragen im RAM zwischenspeichern.
  • Zusätzlich haben wir viele der 0,5%-Optimierungen gemacht, die für sich genommen irrelevant sind aber in der Summe eben doch etwas ausmachen.

Neuer Rekord – 1.512 Benutzer gleichzeitig online auf MTB-News.de

Der alte Rekord stammte noch aus 2005 – jetzt wurde gleich an zwei Tagen hintereinander (am 11. und 12. März) jeweils ein neuer Bestwert aufgestellt!
„Gleichzeitig“ bedeutet auf MTB-News, dass der User innerhalb der letzten 15 Minuten im Forum oder Fotoalbum auf MTB-News unterwegs war, danach wird er wieder als offline angezeigt.

Mal sehen, was die nächsten Wochen und Monate bringen,
Thomas

Statistik 2006, Teil 2

Hier liefere ich euch noch ein paar interessante Zahlen aus 2006 rund um MTB-News.de.

Wir haben in 2006 die Grenze von 3 Millionen Beiträgen im Forum überschritten. Aktuell sind 3,282 Millionen Posts in unserer Datenbank gespeichert. Diese verteilen sich auf 249.900 Themen und wurden von immerhin 81.130 registrierten Benutzern geschrieben.

Vor einem Jahr sahen diese Werte folgendermaßen aus: 2,342 Millionen Beiträge (in 2006 also 940.237 neue Beiträge), 192.196 Themen (+57.704) und 56.580 Benutzer (+24.550).

Der Wert von 1 Million Beiträge/Jahr wurde also nur knapp verfehlt. Rechnet man die Werte von 2006 auf einen Tag herunter, so erhält man: 2576 neue Beiträge/Tag, 158 neu begonnene Themen/Tag und 67 neue Benutzerregistrierungen/Tag.

Im Vorjahr (2005) sah es so aus: 708.495 neue Beiträge (1941 pro Tag), 51.187 neu begonnene Themen (140 pro Tag) und 20.305 neue Benutzerregistrierungen (56 pro Tag).

Erkennbar ist ein gesundes Wachstum des Forums an allen wichtigen Eckdaten. Nachfolgend ist noch einmal die Anzahl der pro Tag neu geschriebenen Beiträge über dem Datum aufgetragen:

2006_posts_per_day.png

Sehr deutlich sieht man den Einfluss der Fußball-Weltmeisterschaft im Juni/Juli und natürlich die Weihnachtsferien, zu denen immer etwas Ruhe einkehrt.

Ich möchte euch auch noch ein paar Zahlen aus der technischen Ecke liefern: Unsere Datenbankserver haben im Jahr 2006 über 6,2 Milliarden Anfragen bearbeitet, da heißt im Mittel etwa 200 Datenbankabfragen pro Sekunde! Wenn man bedenkt, dass zu den Nachtzeiten kaum Datenbankabfragen erzeugt werden (weil ihr ja alle im Bett liegt und schlaft ;-)), dann kann man sagen, dass zu einer normalen Tageszeit etwa 300-350 Datenbankabfragen pro Sekunde durch unsere Server beantwortet werden. Die Peaks sind dabei immer gegen 12 Uhr und zwischen 18 und 21 Uhr. Zu diesen Zeiten werden auch gerne schon mal 500 Datenbankabfragen pro Sekunde generiert.

Netzwerktraffic wurde in 2006 natürlich auch eine Menge erzeugt, insgesamt rund 30 Terabyte (interner Traffic freilich nicht mitgezählt). Wenn man bedenkt, dass wir kaum Downloads (abgesehen von den Eurobikevideos und STUND, die auch einen guten Anteil an den 30 TiB haben) anbieten, ist das ein ganz beachtlicher Wert.

Mails. Über unseren Mailserver liefen im Jahr 2006 etwa 3,5 Millionen Mails. Dies sind hauptsächlich Benachrichtigungen über neue PNs oder Antworten auf abonnierte Themen. Pro Tag haben wir im Schnitt etwa 9.600 Mails verschickt, alle 10 Sekunden eine. Wenn Newsletter versendet wurden, waren es auch schon mal 25-40 Mails, die pro Sekunde unseren Server verließen. Insgesamt haben wir in 2006 ca. 10 Gigabyte Mails versendet.

So, und zum Abschluss noch eine Prognose von mir, ohne jeden Anspruch auf Richtigkeit: in 2007 werden mehr als 1 Million neue Beiträge geschrieben, zum Ende des Jahres haben wir dann also 4,3 Millionen Beiträge in der Datenbank. Auch wird sich der 100.000. Benutzer bei MTB-News.de registrieren.

Man sollte sich an dieser Stelle noch mal klarmachen, dass wir mit einem Mountainbikeforum ein absolutes Special-Interest-Forum bieten, nicht vergleichbar mit irgendwelchen Computerspiel- oder Autoforen. So gesehen sind die Zahlen alle sehr beeindruckend (aktuell haben wir auch einen festen Platz in den Top 20 der deutschen Foren – inmitten all dieser General-Interest-Boards).

Ich wünsche euch auch 2007 viel Spaß auf MTB-News.de. Wir planen die eine oder andere Neuerung – Details wird es dann zu gegebener Zeit geben. (rikman)