Mittwoch, 3. Juni 2009
Rootserver XXLx4 für die Blacklist
Die Blacklist hat einen neuen Master-Server, einen unserer Rootserver XXLx4.
Nachdem die Anforderungen primär an den MySQL-Dienst auf der Maschine massiv angestiegen sind, wurde es Zeit, und die Maschine rennt dank der neuen Hardware wie eine Eins.
Nachdem die Anforderungen primär an den MySQL-Dienst auf der Maschine massiv angestiegen sind, wurde es Zeit, und die Maschine rennt dank der neuen Hardware wie eine Eins.
Trackbacks
Trackback-URL für diesen Eintrag
Keine Trackbacks
Kommentare
Ansicht der Kommentare:
(Linear | Verschachtelt)
Wieviele Datensätze enthält die Datenbank mittlerweile? Nur die, die auch in der Blacklist sind oder noch mehr?
Da da eine Art von Historie mitgespeichert wird, derzeit rund 7 Mio. Pro Sekunde kommen etwa 10 Datensätze dazu, dafür fliegen auch welche raus.
Bei 7 Millionen schwächelt ein Rootserver - egal welcher Größe?! Soweit ich weiß, wird die Datenbank doch nur zur Verwaltung des Inhalts der Blacklist genutzt, während die eigentlichen Anfragen an selbige in BIND Zonen stehen. Die Last sollte also im überschaubaren Rahmen bleiben..
Habt Ihr mal in Erwägung gezogen zu prüfen, ob ein anderes DBMS evtl. mit dieser Daten"menge" besser zurecht kommt?
Habt Ihr mal in Erwägung gezogen zu prüfen, ob ein anderes DBMS evtl. mit dieser Daten"menge" besser zurecht kommt?
Selbst bei MySQL gibt es ja einige Unterschiede zwischen den verfügbaren Storage-Engines. Ich vermute mal, dass sie die vorhandene Last relativ leicht simulieren lässt und die Leute auch schon den einen oder anderen Benchmark gefahren haben. Aus reiner Neugierde würde mich da schon interessieren, wie welche Engine abgeschnitten hat.
Vielleicht ist es auch einfach an der Zeit, über eine MySQL-Enterprise-Subskription nachzudenken. Der Enterprise Monitor ist toll 
Mein häufigstes MySQL-Performance-Problem ist übrigens, dass mein Chef immer so gern langwierige SELECTs auf eine meiner Datenbanken ausführt (mit MyISAM heißt das read lock auf die beteiligten Tabellen...).
Mein häufigstes MySQL-Performance-Problem ist übrigens, dass mein Chef immer so gern langwierige SELECTs auf eine meiner Datenbanken ausführt (mit MyISAM heißt das read lock auf die beteiligten Tabellen...).
Der BIND war komplett nicht der Engpass, und wenn Du meinen Artikel in der iX gelesen hättest :-P, wüsstest Du, dass kein anderer DNS-Dienst mit den so häufigen Änderungen klarkommt.
Engpass war MySQL. Wir haben zwischenzeitlich auf InnoDB umgestellt, das hatte den Engpass nicht gelöst. Hauptproblem war die Gratwanderung zwischen vernünftigen Indizes, die bei häufigen INSERTs zu Last führen, weil sie ja erweitert werden müssen, wobei gleichzeitig eine Verbesserung eines SELECTs, das ebenfalls bei jeder Neueintragung stattfindet, daraus resultierte.
Ich denke, wir haben jetzt einen guten Kompromiss gefunden.
Engpass war MySQL. Wir haben zwischenzeitlich auf InnoDB umgestellt, das hatte den Engpass nicht gelöst. Hauptproblem war die Gratwanderung zwischen vernünftigen Indizes, die bei häufigen INSERTs zu Last führen, weil sie ja erweitert werden müssen, wobei gleichzeitig eine Verbesserung eines SELECTs, das ebenfalls bei jeder Neueintragung stattfindet, daraus resultierte.
Ich denke, wir haben jetzt einen guten Kompromiss gefunden.
Wenn das tatsächlich das Problem ist, würde ich empfehlen - vielleicht nur aus eigener Neugierde - mal PG auszuprobieren. Gerade bei sinnvoller Nutzung von Indizes ist PG MySQL um Längen voraus.
Ich weiß, daß Ihr es wegen der Replikation, die Ihr ja mutmaßlich noch immer benutzt, vorerst nicht einsetzen können werdet, aber man kann ja ruhig schonmal einen Plan B prüfen, bevor er wirklich akut notwendig wird. Vielleicht kann der PG Core ja Replikation, wenn MySQL die Blacklist Verwaltung endgültig nicht mehr (mit bezahlbarer Hardware) bewerkstelligen kann.
Ich weiß, daß Ihr es wegen der Replikation, die Ihr ja mutmaßlich noch immer benutzt, vorerst nicht einsetzen können werdet, aber man kann ja ruhig schonmal einen Plan B prüfen, bevor er wirklich akut notwendig wird. Vielleicht kann der PG Core ja Replikation, wenn MySQL die Blacklist Verwaltung endgültig nicht mehr (mit bezahlbarer Hardware) bewerkstelligen kann.
kurze Rückfrage: PG kann keine Replikation? Wie erfolgt dann der Einsatz in großen Umgebungen? Cluster oder ähnliches im Angebot?
In der Postgres Core Distribution ist keine Replikation enthalten. Es gibt Replikationslösungen von Drittanbietern, wovon Slony glaube ich eine der populärsten ist.
Ich meine gelesen zu haben, daß es in Kürze (8.4? 8.5?) außer Warm Standby auch Hot Standby geben wird, genauer habe ich mich damit aber nicht befasst. Nach meinem bisherigen Verständnis würde Hot Standby in etwa der Replikation von MySQL entsprechen.
Ich meine gelesen zu haben, daß es in Kürze (8.4? 8.5?) außer Warm Standby auch Hot Standby geben wird, genauer habe ich mich damit aber nicht befasst. Nach meinem bisherigen Verständnis würde Hot Standby in etwa der Replikation von MySQL entsprechen.
Danke für die Info!
Es heisst doch für "professionelle" Zwecke sollte man eh PGSQL benutzen ^^ 
Das bei Euch ist doch keine Hardware.
DAS hier ist Hardware: http://www.hetzner.de/de/hosting/produkte_rootserver/eq9/
DAS hier ist Hardware: http://www.hetzner.de/de/hosting/produkte_rootserver/eq9/
Naja.. Es ist das, was man für 100 Euro im Monat halt so erwarten kann. RAID 5, Onboard NIC.. Ich würde das Ding nicht mieten. Wenn schon Power, dann wenigstens ordentlich.
naja, Onboard-NICs würde ich jetzt nicht als DAS Qualitäts-Merkmal nehmen - die bekommst Du in vergleichbarer Ausstattung auch bei den teuren Serverboards.
Hardware-RAID ist halt so eine Sache. Bei fetten Prozessoren bringt Dir das performancemäßig auch nicht mehr soo viel. - Ggf. bleibt halt die Handhabung im Plattendefekt fall ein wenig einfacher, wobei Du andernfalls auch nicht vergessen darfst, dass Du eine zusätzliche Fehlerebene generierst (ich kenne bislang schon einige RAIDs wo es den Controller gesemmelt hat und er beim Sterben die RAIDs noch schön mitgezogen hat).
Hardware-RAID ist halt so eine Sache. Bei fetten Prozessoren bringt Dir das performancemäßig auch nicht mehr soo viel. - Ggf. bleibt halt die Handhabung im Plattendefekt fall ein wenig einfacher, wobei Du andernfalls auch nicht vergessen darfst, dass Du eine zusätzliche Fehlerebene generierst (ich kenne bislang schon einige RAIDs wo es den Controller gesemmelt hat und er beim Sterben die RAIDs noch schön mitgezogen hat).
Intel Serverboards haben auch Intel NICs Onboard. Ansonsten kenne ich Onboard NICs eigentlich überwiegend als "günstige Ausführung", ergo nutzlos. Und ein Software RAID wird im direkten Vergleich spätestens unter Hochlastsituationen deutlich das nachsehen haben - wenn nicht, dann ist Dein Controller Schrott. Zudem ersetzt ein RAID kein Backup, ebenso wie es sich nicht zur Steigerung der garantierten Verfügbarkeit im Fehlerfalle einsetzen lässt. Ein RAID ist einzig aus Performance- und/oder Platzgründen sinnvoll.
Mehr Datensicherheit und Verfügbarkeit erreicht man durch andere Maßnahmen.
Mehr Datensicherheit und Verfügbarkeit erreicht man durch andere Maßnahmen.
Wenn das Hetzerangebot für dich schon DIE Hardware ist, was ist dann sowas für dich? @ http://h10010.www1.hp.com/wwpc/us/en/en/WF06a/3709945-3709945-3328410-241641-3722793-3896111.html
Ich glaube, Manuel würde sich freuen, solch ein Gerät für dich zu hosten. Für so 'nen schönes BladeCenter musst du allerdings schon für 6HE bezahlen. Wenn du noch nen schöne Storage Lösung möchtest, entsprechend mehr...
naja, das gibt es dann aber auch nicht mehr für 100€
Ich glaube, Manuel würde sich freuen, solch ein Gerät für dich zu hosten. Für so 'nen schönes BladeCenter musst du allerdings schon für 6HE bezahlen. Wenn du noch nen schöne Storage Lösung möchtest, entsprechend mehr...
naja, das gibt es dann aber auch nicht mehr für 100€
Das ist doch keine Hardware xD
http://software.intel.com/en-us/blogs/2009/01/05/what-does-256-cores-look-like/
DAS ist Hardware
http://software.intel.com/en-us/blogs/2009/01/05/what-does-256-cores-look-like/
DAS ist Hardware
Ich sprach von "handelsüblicher" Hardware, die Du bei gängigen Hosting-Anbietern derzeit angeboten bekommst. Im anderen Fall ist Dein Proliant noch lange nicht das Maß der Dinge
IPv4 vs. IPv6
Du bist hier via
Suche
Ökostrom
Kalender
Kommentare
Mo, 13.02.2012 09:09
Und auf deutsch heißt das was?
"Ich hab meine Rechnung nicht
gezahlt?"
Mo, 13.02.2012 07:51
Ich halte Wikis auch für besse
r, allerdings sollte etwas an
Arbeit in die Strukturierung g
esteckt werden, sonst we [...]
zu Daxig
So, 12.02.2012 00:53
Wie hast du denn die Bestellun
g erwartet? Würde mich wirklic
h mal interessieren - ich find
e das jetzt nicht ungewö [...]
zu Daxig
Sa, 11.02.2012 22:05
das ist gängige Praxis... Wenn
ich etwas haben will, was (au
ch) per Webformular zu haben i
st muss ich die Bestellu [...]
Sa, 11.02.2012 17:42
das glaubst du doch selber nic
ht
zu .my.cnf
Sa, 11.02.2012 11:48
Chuck Norris gibt den Daten ei
nen Roundhouse-Kick, dann komp
rimieren die sich selber.
Sa, 11.02.2012 10:54
Gibts da schon einen Verhandlu
ngstermin? Wenn ich in der Näh
e bin, würd ich mir das glatt
noch ansehen kommen.
Fr, 10.02.2012 23:05
... ja wieso eigentlich nicht?
Bei Kunden mit Neuanschluss w
ird in der Regel eher selten e
in DSL-Modem daheim ruml [...]
Fr, 10.02.2012 20:54
Ist schon klar^^ nur ich hab s
chon lustige Erfahrungen mit Ö
sterreichern gemacht, grade mi
t Technik (wobei man das [...]
Fr, 10.02.2012 20:46
Finde ich auch.
Der Anwalt hä
tte auf das Angebot eingehen s
ollen, aber wer nicht hören wi
ll....
