Archiv der Kategorie: Rennrad-News.de

Neu: Hilfe bei der Preisfindung im Bikemarkt

Wir haben heute eine praktische Neuerung im Bikemarkt freigeschaltet: Verkäufer bekommen zur Unterstützung bei der Preisgestaltung ein Diagramm mit den in der Vergangenheit erzielten Verkaufspreisen für das jeweilige Produkt.

Preis-Historie

Oft weiß ich als Verkäufer nicht, wie hoch ein realistischer Preis eines Artikels sein könnte. Der Bikemarkt zeigt jetzt zur Unterstützung ein Diagramm mit historisch erzielten Verkaufspreisen für den eingegebenen Artikel an.

Am besten zeige ich das an einem Beispiel: Ich möchte eine gebrauchte Fox 32 verkaufen; ich gebe also die entsprechenden Werte in die Formular-Felder ein. Sobald Hersteller und Artikel-Name eingegeben wurden, wird versucht ein Diagramm mit der Preisverteilung aus in der Vergangenheit erzielten Verkaufspreisen zu erstellen.

Preis-Historie

Folgende Werte gehen in die Zusammenstellung der Preis-Historie ein:

  • Kategorie (in diesem Beispiel „Federgabel“)
  • Hersteller („Fox“)
  • Artikel-Name („32“)
  • Zustand („gebraucht“)

Das Diagramm zeigt die Verteilung der erzielten Verkaufspreise. Dabei zeigt die x-Achse die Verkaufspreise und die y-Achse den Anteil zur Gesamtzahl der verkauften Artikel aus der Suchanfrage.

Das Ganze funktioniert natürlich nur, wenn schon Verkäufe dieses Artikels existieren. Diese Funktion ist noch sehr neu und wird von uns explizit als Beta ausgewiesen. Die Ergebnisse können also Fehler haben oder sonst wenig sinnvolle Daten enthalten – man sollte sich im Zweifelsfalle nicht auf die Korrektheit verlassen. Der gesunde Menschenverstand ist also bei der Preisfindung weiterhin notwendig ;-)

Neuer Uploader im Videobereich

Wir haben heute in den Videobereichen bei MTB-News.de und Rennrad-News.de einen neuen Uploader aktiviert. Es ist jetzt nicht mehr notwendig, das Flash-Plugin im Browser installiert zu haben – ein moderner, HTML5-fähiger Browser reicht aus, um Video hochladen zu können. Für ältere Browser gibt es Fallbacks auf Flash oder Silverlight.

Ein weiterer Vorteil ist, dass der Uploader jetzt auch mit Mobiltelefonen (z. B. iPhone) funktioniert! Das spart den Umweg über den Desktop-Rechner oder die Dropbox.

Neuer Uploader im Videobereich

Phishing-Versuche im Bikemarkt

In den letzten Tagen wurden einige Leute über das Nachrichtensystem in unserem Bikemarkt angeschrieben, mit der Bitte sich per E-Mail beim vermeintlichen Kaufinteressenten zu melden.

Leute, die dieser Aufforderung nachgekommen sind, bekamen kurz darauf eine E-Mail mit dem Betreff „Review-Prozess für September 2015“ und der Aufforderung, einen Link in dieser E-Mail zu klicken. Auf der aufgerufenen Seite wurde nach den Login-Daten (Name, Passwort) von MTB-News.de oder Rennrad-News.de gefragt.

Diese Seite stammte nicht von uns und diente dem Zweck, an Login-Daten unserer Benutzer zu kommen, um danach mit den Benutzerkonten Schaden anzurichten oder die Accounts der betreffenden Leute bei anderen Webseiten anzugreifen. Da viele Leute auch heutzutage überall die selben Passwörter benutzen, dürfte die Chance auf Erfolg gar nicht mal so niedrig sein. Einige Benutzer berichteten über Hacking-Versuche gegen ihre E-Mail-Accounts, nachdem sie eine E-Mail an die angegebene Adresse geschickt hatten.

Wir haben die erwähnte Seite sofort über den Abuse-Prozess des Webhosters sperren lassen als wir von aufmerksamen Benutzern über die Aktion informiert wurden.

Wir haben den Verursacher bei uns sofort gesperrt und bereits alle Betroffenen per E-Mail informiert.

Jeder Bikemarkt-Benutzer sollte nicht auf Aufforderungen eingehen, Bikemarkt-Kommunikation außerhalb des Nachrichtensystems im Bikemarkt abzuwickeln. Die Gefahr von betrügerischen Aktionen ist dabei deutlich höher als bei der Kommunikation innerhalb des Bikemarkts. Das aktuelle Beispiel belegt dies sehr gut.

So sah die verschickte Email aus:
phishing

23. Juli 2012: Erreichbarkeitsprobleme MTB-News.de und Rennrad-News.de

Am Montag, 23. Juli 2012, kam es tagsüber bei mtb-news.de und rennrad-news.de zu Erreichbarkeitsproblemen bei ca. ein Drittel unserer Benutzer. Der Grund war ein DDoS-Angriff auf die Nameserver unseren DNS-Providers.

Wir hatten das gleiche Problem schon einmal – am 5. Dezember 2006 (damals noch bei einem anderen Anbieter). Damals hatte ich einen Artikel zu den Hintergründen des DNS-Systems geschrieben. Vielleicht ist das ja für den einen oder anderen interessant.

Das Szenario vom 23. Juli glich dem aus dem Jahre 2006 ziemlich, wieder waren fast alle Nameserver und damit auch unsere Websites für viele User nicht erreichbar.

Wir haben gestern Abend die DNS-Auflösung für mtb-news.de und rennrad-news.de in die Hände eines anderen Anbieters gelegt, der hoffentlich gegen diese Art von Angriffen besser geschützt ist.

2011, technisch betrachtet

2011 ist auch – wie in den vergangenen Jahren – wieder eine Menge unter der Haube von MTB-News.de und Rennrad-News.de passiert, auch wenn man viele Dinge optisch nicht oder noch nicht bemerkt.

Ich habe mir für das vergangene Jahr mal ein paar einzelne Projekte herausgesucht, an denen wir gearbeitet haben und werde etwas aus dem Nähkästchen plaudern. Die Liste ist nicht annähernd komplett, sie sollte aber (ohne Gewähr) die wichtigsten Dinge abdecken. 2012 werde ich mir Stichpunkte machen, so dass ich euch dann auch eine komplette Liste geben kann.

Fotoalbum

Eine der auffälligsten Änderungen betrifft die Startseite des Fotoalbums. Dort sind nun an prominenter Stelle immer das „Foto des Tages“ und das „Foto der Woche“ zu sehen. Dabei ist das „Foto des Tages“ erst im Laufe dieses Jahres hinzugekommen. Es werden jeden Tag so viele qualitativ hochwertige Fotos hochgeladen, so dass wir uns entschlossen haben, die Frequenz der „Ehrung“ von guten Fotos etwas gegenüber dem bisherigen Wochentakt zu erhöhen. Zum Foto des Tages wird automatisch dasjenige gewählt, welches am meisten „Likes“ auf sich vereinen kann. Ihr bestimmt also welches das „Foto des Tages“ – und das gleich in zweierlei Hinsicht: Ihr ladet die Fotos hoch und ihr bewertet die Fotos. Das „Foto der Woche“ wird übrigens seitdem immer durch unsere Redaktion ausgewählt.

Die größte sichtbare Änderung betrifft die Foto-Einzelansicht. Wir haben uns vom vorherigen, zweispaltigen Layout verabschiedet und zeigen das Foto nun über die komplette Breite der Seite. Somit kommen die Bilder deutlich besser zu Geltung.

Die visuellen Änderungen sind die, die ihr in eurem Webbrowser direkt mitbekommt. Was „unter der Haube“ passiert, erschließt sich dem Benutzer ja nicht direkt (und es interessiert ja die meisten auch zu recht nicht…). Ich wollte an dieser Stelle noch erwähnen, dass wir im Laufe des Jahres fast die gesamte Codebasis des Fotoalbums nach und nach im laufenden Betrieb ausgetauscht haben. Es kam dabei zu erstaunlich wenig Fehlern, in den meisten Fällen dürftet ihr das nicht mal bemerkt haben. Wir sind mit dem Rewrite des Codes jetzt fast fertig, es fehlen nur noch wenige Teile (z. B. Benutzerliste und Upload-Formular).

Die Seiten des Fotoalbums sind durch den kompletten Rewrite deutlich schneller geworden, was man zum Beispiel sehr gut an der Foto-Einzelansicht sehen kann. Die alte Version benötigte auf auf dem Server knapp 200 Millisekunden zum Erstellen der Seite, nun sind es nur noch rund 50 Millisekunden – das ist immerhin viermal so schnell!

Videobereich

Der Videobereich hat einige Anpassungen im Detail erhalten. Ihr habt ja sicher mitbekommen, dass die Anzahl der Videos – und vor allem der qualitativ hochwertigen Videos – stetig zunimmt. Auch werden mittlerweile fast alle Videos auch als HD-Version angeboten. Das führte dazu, dass wir die Bandbreite für die Videoauslieferung mehrmals erhöhen mussten. Anfangs reichte uns ein Server mit 100 MBit/s zum Ausliefern aus, lediglich zu Spitzenzeiten gab es vereinzelt Probleme mit zu langsamen Streaming. Wir stellten uns dann einen zweiten Server dazu, mit welchem wir die Bandbreite verdoppeln konnten. Seit der Eurobike haben wir dann die Geschwindigkeit von 200 MBit/s auf 1,1 Gbit/s erhöht.

Winterpokal

Die größte Änderung im Winterpokal ist die 2011 neu hinzugekomme Möglichkeit, auf viele Funktionen über ein sogenanntes API zuzugreifen.

Damit ist es möglich, den Winterpokal in andere Websites zu integrieren oder auch Apps für iPhone und Co. zu bauen. Es sind einige Projekte dazu in Arbeit – ich denke zur Saison 2012/2013 wird da einiges in den AppStores zu finden sein.

Wer sich für die Details interessiert, kann sich die API-Dokumentation auf GitHub anschauen. Dort gibt es eine Referenz aller Funktionen und ausführliche Beispiele.

Wir arbeiten daran, die APIs auch für die anderen Anwendungen einzubauen.

MTB-News.de – News

Am 19. Januar ist der neue News-Bereich gestartet. Vorher haben wir eine Art Plugin für die Forensoftware „vBulletin“ genutzt, welche die Themen eines bestimmten Forums etwas anders als sonst angezeigt hat. Die News-Artikel waren Anreißertexte, welche meist ein Bild enthielten und verwiesen auf jeweils ein Thema im Forum, welches dort auch ganz normal diskutiert werden konnte.

Mit dem Ausbau des News-Bereiches war schon seit längerer Zeit klar, dass die bisherige Lösung unseren Ansprüchen nicht gerecht wird, in vielerlei Hinsicht nicht skaliert und keinerlei Anpassungsmöglichkeiten bot. Wir haben uns 2010 lange Gedanken gemacht, wie ein Relaunch der News technisch und optisch aussehen könnte. Die erste Idee war, die Software einfach selbst zu schreiben. Die Integration ins Forum wäre damit sehr einfach gewesen, die nötigen Schnittstellen zur Benutzerauthentifizierung usw. haben wir über die Jahre schon gebaut. Der Aufwand, das Content Management System (CMS) zu bauen ist aber kein trivialer und so kam Thomas irgendwann auf die Idee, einfach ein bekanntes (das bekannteste?) CMS zu nutzen und um Schnittstellen zu erweitern.

Also begannen wir, den Newsbereich mit WordPress umzusetzen.

Im Großen und Ganzen gab es drei Probleme zu lösen:

  1. Importieren aller alten News-Artikel
  2. Übernahme neuer Artikel ins Forum – die Diskussionen sollten wie gehabt dort stattfinden
  3. Kommentarfunktion im WordPress, mit der man direkt auf das Thema im Forum antworten kann

Import vorhandener Artikel

Die Forumsoftware und WordPress speichern Beiträge auf komplett verschiedene Art und Weise. Wir mussten also einen Konverter bauen, der die News-Beiträge aus dem Forum ausliest und diese im WordPress speichert, denn die Artikel sollten ja komplett über den neuen Newsbereich abrufbar sein.

Ich habe dazu einfach eine kleine Applikation in PHP geschrieben, die alle Themen aus dem Newsforum einliest und von jedem ersten Beitrag eines Themas (das ist ja der News-Artikel) einen Eintrag in der WordPress-Datenbank erzeugt. An sich kein großes Problem, würden die Beiträge im Forum bereits als HTML vorliegen. Tun sie leider nicht.

Im Forum werden Formatierungen am Text mit BBCode vorgenommen. WordPress speichert aber alles als HTML. Die Versuche, den BBCode-Parser von vBulletin in unserem Konverter zu benutzen, schlugen allesamt fehl, es tauchten an allen Ecken und Enden Probleme auf. Die Art und Weise, wie vBulletin aufgebaut ist, macht das Weiterverwenden einzelner Teile extrem schwer bis unmöglich.

Ich habe dann einfach „Trick 17“ angewendet: Ich habe mir die Seite der Themenansicht per HTTP geladen, einen DOM-Baum daraus erzeugt und das fertig gerenderte HTML des News-Artikels direkt aus dem DOM extrahiert.

Das Mappen der Benutzer-IDs und das Erstellen eines Datenbankeintrags im WordPress war dann trivial.

Übernahme neuer Artikel ins Forum

Wenn ein neuer Artikel in den News veröffentlicht wird, soll dieser automatisch ein neues Thema im Forum starten und der Artikelinhalt soll wie bisher auch im ersten Beitrag des Themas stehen.

Ich habe die selbe Applikation mit der wir die Forenbeiträge ins WordPress übernommen haben um die umgekehrte Funktionalität erweitert.

Auch hier passiert kein Voodoo, die Schwierigkeiten waren aber ziemlich ähnlich: Aus dem HTML, mit dem die Texte in WordPress strukturiert sind, galt es BBCode zu machen, so dass das Forum die Artikel halbwegs korrekt anzeigen kann.

Das Wort „halbwegs“ habe ich deshalb geschrieben, da mit BBCode nur eine Teilmenge der Möglichkeiten zur Textstrukturierung zur Verfügung steht. Bestimmte Dinge können also nicht vom WordPress ins Forum übernommen werden.

Wie konvertiert man nun HTML nach BBCode? Ich habe eine Weile überlegt, bis mir XML und XSL einfielen. Wenn man die Artikel in XHTML schreibt hat man ein syntaktisch korrektes XML-Dokument vorliegen. Und mit XSL kann man aus einem XML-Dokument so ziemlich alles bauen, was sich mit Bits darstellen lässt. Also auch BBCode.

Ich habe mir also ein simples XSL-Stylesheet gebaut, welches bestimmte Auszeichnungen des XHTML-Dokumentes in die BBCode-Entsprechungen konvertiert:

Einfacher geht’s kaum!

Das Mappen der Benutzer-IDs von WordPress nach vBulletin und das Erstellen von Beitrag und Thema im Forum war danach ähnlich trivial wie der umgekehrte Weg.

Jedes Mal wenn ein Artikel im WordPress veröffentlicht wird (oder ein bereits veröffentlichter Artikel verändert wird), erzeugen oder aktualisieren wir das entsprechende Thema im Forum.

Kommentarfunktion

WordPress bietet eine eigene Kommentarfunktion, die aber entweder anonym ist oder aber einen Account im WordPress erfordert. Beides war nicht zufriedenstellend – wir wollten, dass unsere Benutzer Beiträge direkt mit ihrem Foren-Account kommentieren können.

Wir haben dann einfach das Kommentarfeld umgebaut, so dass es direkt ans Forum abgesendet wird und nicht ans WordPress.

Hier passiert also keine Magie.

Die Anzeige der Kommentare lassen wir direkt vom vBulletin rendern und binden sie nur noch an die entsprechende Stelle im WordPress ein. Das hat den Vorteil, dass sich vBulletin schon um Behandlung von gelöschten oder nicht freigeschalteten Beiträgen kümmert.

Rennrad-News.de – Forum

Die Änderung mit dem größten Impact auf Benutzerseite ist wohl der Wechsel der Forensoftware bei Rennrad-News.de gewesen. Vergleichbar sicher mit einer Herztransplantation.

Die bisher bei Rennrad-News.de verwendete Forensoftware vBulletin ist im Kern über zehn Jahre alt und das spürt man auch an allen Ecken und Enden. Moderne Software wird einfach anders gebaut und bringt auch nicht mehr die Nachteile von Brocken wie vBulletin mit, was Übersichtlichkeit, Wartbarkeit und auch Performance angeht.

Wir haben uns nach längeren Tests dazu entschieden, ab sofort XenForo als Herzstück von Rennrad-News.de einzusetzen. Die Übernahme der Daten von vBulletin klappte fast ausnahmslos (die Interessengemeinschaften werden wir nachliefern, sobald XenForo Unterstützung dafür bietet), wir mussten das Forum am Tage des Software-Wechsels nur knapp acht Stunden offline nehmen. Es wäre sogar noch schneller gegangen, wenn nicht noch ein Fehler in einem selbst geschriebenen Modul aufgetreten wäre.

Ein für uns sehr wichtiger Punkt ist das Thema Single Sign-On – mit dem Einloggen ins Forum stehen alle Dienste von Rennrad-News.de (oder MTB-News.de) zur Verfügung, ohne dass man sich noch mal gesondert einloggen müsste. Da wir unsere Dienste auf verschiedene Server an verschiedenen Standorten hosten, brauchten wir eine robuste Möglichkeit, Benutzer von jedem beliebigen Server gegen die Benutzerdatenbank des Forums zu authentifizieren. Wir haben uns für die vBulletin-Installationen eine eigene Web-Applikation gebaut, welche ein HTTPS-API zur Authentifizierung von Benutzern zur Verfügung stellt.

Mit XenForo ist das alles einfacher geworden – wir brauchen die gesonderte Web-Applikation nicht mehr, da es sehr einfach ist, solche Funktionalitäten direkt als XenForo-Modul zu implementieren.

Technisch gesehen war der Umstieg ein riesiger Fortschritt und auch auf Benutzerseite gibt es viele neue Funktionen und Vereinfachungen. Wir planen, MTB-News.de auch auf XenForo zu migrieren, hierfür müssen aber noch viele Abhängigkeiten aufgelöst werden, so dass ihr sicher noch ein klein bisschen mit der aktuellen Forensoftware vorlieb nehmen müsst.

Rennrad-News.de – einheitlicher Seitenkopf

Zeitgleich mit der Umstellung der Forensoftware haben wir auf Rennrad-News.de einen einheitlichen Header eingebaut. Dieser wird jetzt auf allen Seiten benutzt und ermöglicht eine einfach Navigation durch die verschiedenen Bereiche.

Um nicht jede Anwendung einzeln anfassen zu müssen wenn sich mal ein Link im Header ändert oder ein neuer Link hinzukommt, habe ich mir ein System überlegt, mit dem ich den Header gleichzeitig in allen Anwendungen aktualisieren kann. Die technische Umsetzung erkläre ich mal in einem anderen Artikel – es lässt sich wohl am besten mit „die simplen Ideen sind meist die besten“ zusammenfassen.

Keine Frage, dass ein einheitlicher Seitenkopf auch bei MTB-News.de eingeführt wird. Wir arbeiten bereits daran!

Fazit

Es ist wieder eine Menge passiert – vieles sichtbar, vieles aber auch „unter der Haube“. Und 2012 wird noch mehr passieren, die ToDo-Listen und das Ticketsystem sind voll bis Anschlag :)

Ich freue mich auf 2012!

Rennrad-News.de – Serverumzug, mal wieder…

Es ist mal wieder an der Zeit – Teile von Rennrad-News.de ziehen heute Abend (25. November 2011) auf neue Hardware um.

Wir versuchen die Downtime so kurz wie möglich zu halten und werden die wichtigsten Dienste (Forum und wichtige interne APIs) als Erstes umziehen. Wir schätzen, dass das Forum nach ca. einer Stunde wieder online gehen kann.

An dieser Stelle bekommt ihr laufend Updates zum aktuellen Stand des Serverumzugs. Ihr könnt auch unserem Twitter-Account @rennradnews folgen, dort wollen wir auch Updates zum Fortschritt posten.

19:45 Uhr T-15 Minuten, Vorbereitungen laufen.
19:59 Uhr T-1 Minute, wir deaktivieren gleich das Forum.
20:00 Uhr T+0 Minute, das Forum ist deaktiviert. Wir beginnen jetzt mit dem Transfer der Datenbank (dem Herzstück des Forums)
20:22 Uhr T+22 Minuten, der Datenbank-Dump ist auf dem neuen Server angekommen und wird gerade importiert. Es handelt sich um etliche Gigabytes Daten.
20:33 Uhr T+33 Minuten, die Datenbank ist importiert und alle Dateien wurden übertragen – wir testen noch ein wenig und sind gleich wieder online!
20:40 Uhr T+40 Minuten, wir haben die DNS-Records auf den neuen Server umgebogen und sind mit jetzt schon wieder über 40 Leuten online!

Rennrad-News.de wegen Systemupdates kurz offline

Wir spielen momentan (24. Januar 2010, seit ~10:30 Uhr) einige Systemupdates in die Server von Rennrad-News.de ein. Daher ist Rennrad-News.de momentan nicht erreichbar.

Wir hoffen, gegen 13 Uhr wieder da zu sein.

Entschuldigt bitte die Umstände.

BTW, wir haben auch einen Twitter-Account: @rennradnews

Update, 12:55 Uhr: Wir werden es nicht schaffen, um 13 Uhr wieder online zu sein. Der letzte Server hängt noch im Filesystemcheck und ist der Meinung, dass er gern noch etwas Zeit dafür hätte :-(

Update 13:55 Uhr: Alles wieder ok :-)

Der Winter ist zu warm …

… das kann man eindeutig an der Action erkennen, die zur Zeit auf unseren Servern los ist. Gestern abend gab es einen neuen Rekord: 2.317 User waren kurz nach 20 Uhr gleichzeitig im Forum von MTB-News.de unterwegs.

Der vorige Rekord lag bei 2.256 gleichzeitigen Usern – das war im Mai letzten Jahres (und damit zur Hochsaison im Fruehling).

Ich selbst war gestern bei 20 Grad in der Sonne mit dem Bike unterwegs. Und ich kann mit nicht erinnern vorher schon mal Leute draußen in Eiscafés habe sitzen sehen. Im Februar!

(Auch bei Rennrad-News.de ging es gestern mit über 750 gleichzeitigen Benutzern ziemlich heiß zur Sache. Den Rekord von 819 gleichzeitigen Usern haben wir noch nicht erreicht, das sollte aber nur eine Frage der Zeit sein …)