Skip to content
< Vorheriger Eintrag | Nächster Eintrag >

Mittwoch, 3. Juni 2009, 16:42

Rootserver XXLx4 für die Blacklist

Die Blacklist hat einen neuen Master-Server, einen unserer Rootserver XXLx4.

Nachdem die Anforderungen primär an den MySQL-Dienst auf der Maschine massiv angestiegen sind, wurde es Zeit, und die Maschine rennt dank der neuen Hardware wie eine Eins. :biggrin:

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

nighthawk

Wieviele Datensätze enthält die Datenbank mittlerweile? Nur die, die auch in der Blacklist sind oder noch mehr?

Manuel Schmitt (manitu)

Da da eine Art von Historie mitgespeichert wird, derzeit rund 7 Mio. Pro Sekunde kommen etwa 10 Datensätze dazu, dafür fliegen auch welche raus.

nighthawk

Bei 7 Millionen schwächelt ein Rootserver - egal welcher Größe?! Soweit ich weiß, wird die Datenbank doch nur zur Verwaltung des Inhalts der Blacklist genutzt, während die eigentlichen Anfragen an selbige in BIND Zonen stehen. Die Last sollte also im überschaubaren Rahmen bleiben..
Habt Ihr mal in Erwägung gezogen zu prüfen, ob ein anderes DBMS evtl. mit dieser Daten"menge" besser zurecht kommt?

Christian

Selbst bei MySQL gibt es ja einige Unterschiede zwischen den verfügbaren Storage-Engines. Ich vermute mal, dass sie die vorhandene Last relativ leicht simulieren lässt und die Leute auch schon den einen oder anderen Benchmark gefahren haben. Aus reiner Neugierde würde mich da schon interessieren, wie welche Engine abgeschnitten hat.

Danny

Vielleicht ist es auch einfach an der Zeit, über eine MySQL-Enterprise-Subskription nachzudenken. Der Enterprise Monitor ist toll ;-)

Mein häufigstes MySQL-Performance-Problem ist übrigens, dass mein Chef immer so gern langwierige SELECTs auf eine meiner Datenbanken ausführt (mit MyISAM heißt das read lock auf die beteiligten Tabellen...).

Manuel Schmitt (manitu)

Der BIND war komplett nicht der Engpass, und wenn Du meinen Artikel in der iX gelesen hättest :-P, wüsstest Du, dass kein anderer DNS-Dienst mit den so häufigen Änderungen klarkommt.

Engpass war MySQL. Wir haben zwischenzeitlich auf InnoDB umgestellt, das hatte den Engpass nicht gelöst. Hauptproblem war die Gratwanderung zwischen vernünftigen Indizes, die bei häufigen INSERTs zu Last führen, weil sie ja erweitert werden müssen, wobei gleichzeitig eine Verbesserung eines SELECTs, das ebenfalls bei jeder Neueintragung stattfindet, daraus resultierte.

Ich denke, wir haben jetzt einen guten Kompromiss gefunden.

nighthawk

Wenn das tatsächlich das Problem ist, würde ich empfehlen - vielleicht nur aus eigener Neugierde - mal PG auszuprobieren. Gerade bei sinnvoller Nutzung von Indizes ist PG MySQL um Längen voraus.
Ich weiß, daß Ihr es wegen der Replikation, die Ihr ja mutmaßlich noch immer benutzt, vorerst nicht einsetzen können werdet, aber man kann ja ruhig schonmal einen Plan B prüfen, bevor er wirklich akut notwendig wird. Vielleicht kann der PG Core ja Replikation, wenn MySQL die Blacklist Verwaltung endgültig nicht mehr (mit bezahlbarer Hardware) bewerkstelligen kann.

qwertz

kurze Rückfrage: PG kann keine Replikation? Wie erfolgt dann der Einsatz in großen Umgebungen? Cluster oder ähnliches im Angebot?

nighthawk

In der Postgres Core Distribution ist keine Replikation enthalten. Es gibt Replikationslösungen von Drittanbietern, wovon Slony glaube ich eine der populärsten ist.
Ich meine gelesen zu haben, daß es in Kürze (8.4? 8.5?) außer Warm Standby auch Hot Standby geben wird, genauer habe ich mich damit aber nicht befasst. Nach meinem bisherigen Verständnis würde Hot Standby in etwa der Replikation von MySQL entsprechen.

qwertz

Danke für die Info!

Marki

Es heisst doch für "professionelle" Zwecke sollte man eh PGSQL benutzen ^^ :P

LeereDose

Das bei Euch ist doch keine Hardware.

DAS hier ist Hardware: http://www.hetzner.de/de/hosting/produkte_rootserver/eq9/

asdf

die wollen es aber wissen ;)

nighthawk

Naja.. Es ist das, was man für 100 Euro im Monat halt so erwarten kann. RAID 5, Onboard NIC.. Ich würde das Ding nicht mieten. Wenn schon Power, dann wenigstens ordentlich.

Tom

naja, Onboard-NICs würde ich jetzt nicht als DAS Qualitäts-Merkmal nehmen - die bekommst Du in vergleichbarer Ausstattung auch bei den teuren Serverboards.

Hardware-RAID ist halt so eine Sache. Bei fetten Prozessoren bringt Dir das performancemäßig auch nicht mehr soo viel. - Ggf. bleibt halt die Handhabung im Plattendefekt fall ein wenig einfacher, wobei Du andernfalls auch nicht vergessen darfst, dass Du eine zusätzliche Fehlerebene generierst (ich kenne bislang schon einige RAIDs wo es den Controller gesemmelt hat und er beim Sterben die RAIDs noch schön mitgezogen hat).

nighthawk

Intel Serverboards haben auch Intel NICs Onboard. Ansonsten kenne ich Onboard NICs eigentlich überwiegend als "günstige Ausführung", ergo nutzlos. Und ein Software RAID wird im direkten Vergleich spätestens unter Hochlastsituationen deutlich das nachsehen haben - wenn nicht, dann ist Dein Controller Schrott. Zudem ersetzt ein RAID kein Backup, ebenso wie es sich nicht zur Steigerung der garantierten Verfügbarkeit im Fehlerfalle einsetzen lässt. Ein RAID ist einzig aus Performance- und/oder Platzgründen sinnvoll.
Mehr Datensicherheit und Verfügbarkeit erreicht man durch andere Maßnahmen.

Kinderkram

Wenn das Hetzerangebot für dich schon DIE Hardware ist, was ist dann sowas für dich? @ http://h10010.www1.hp.com/wwpc/us/en/en/WF06a/3709945-3709945-3328410-241641-3722793-3896111.html

Ich glaube, Manuel würde sich freuen, solch ein Gerät für dich zu hosten. Für so 'nen schönes BladeCenter musst du allerdings schon für 6HE bezahlen. Wenn du noch nen schöne Storage Lösung möchtest, entsprechend mehr...
naja, das gibt es dann aber auch nicht mehr für 100€ ;)

FaaB

Das ist doch keine Hardware xD

http://software.intel.com/en-us/blogs/2009/01/05/what-does-256-cores-look-like/

DAS ist Hardware :D

LeereDose

Ich sprach von "handelsüblicher" Hardware, die Du bei gängigen Hosting-Anbietern derzeit angeboten bekommst. Im anderen Fall ist Dein Proliant noch lange nicht das Maß der Dinge

Kommentar schreiben

Umschließende Sterne heben ein Wort hervor (*wort*), per _wort_ kann ein Wort unterstrichen werden.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.

Um maschinelle und automatische Übertragung von Spamkommentaren zu verhindern, bitte die Zeichenfolge im dargestellten Bild in der Eingabemaske eintragen. Nur wenn die Zeichenfolge richtig eingegeben wurde, kann der Kommentar angenommen werden. Bitte beachten Sie, dass Ihr Browser Cookies unterstützen muss, um dieses Verfahren anzuwenden.
CAPTCHA

BBCode-Formatierung erlaubt
Formular-Optionen