Die Blacklist

Ein oft bemängeltes Problem der alten RFCI-Blacklist war und ist (zugegeben) ihre schlechte Trefferquote.

Ich bin derzeit sehr stark im Projekt RFCI "neu" drin, und habe mir bereits meine Meinung gebildet. Ich bin fest davon überzeugt, dass die mangelnde Automation, die viele händische Arbeit und damit verbunden das langsame (Daten-)Wachstum ein Haupt-Problem ist bzw. war.

Neue Domains kamen praktisch nur durch manuelle Submissions auf der Webseite zustande, sprich der Datenbestand wuchs nur, wenn sich jemand die Arbeit gemacht hat, auffällige Domains / Hosts zu melden. Ich glaube, dass hier ohne einen Automatismus kaum eine Besserung zu erwarten ist.

Wir haben uns daher entschlossen, neue Domains mit jeder Anfrage an den Master DNS-Server zu lernen und mit einem gewissen Zeitversatz in eine interne Datenbank aufzunehmen und zu prüfen. WICHTIG: Die damit verbundenen rechtlichen Fragen klären wir später, derzeit möchten wir erstmal das Technische auf die Beine stellen.

Eine kurze Info aus dem Maschinenraum (tm): Derzeit "lernen" wir etwa 12.000 neue Domains pro Stunde, ergo etwa eine viertel Million pro Tag. Das wird natürlich nicht ganz anhalten können, aber ich hoffe, dass wir in akzeptabler Zeit eine gute Übersicht (Ausschnitt) bekommen.

Zur Sicherheit: In den DNS-Abfragen sehen wir keine E-Mail-Adressen, sondern nur (sowieso öffentliche) Domains.

Ab sofort gibt es auch eine öffentliche Diskussions-Mailingliste für RFC-Ignorant.de, die wir vom Namen her so genannt haben wir bei .org: rfci-discuss.

Auch zu lesen bei Heise

Wer seine Spamassassin-Konfiguration anpassen möchte, kann z.B. diesen Eintrag in einer local.cf verwenden:

header __RFC_IGNORANT_ENVFROM eval:check_rbl_envfrom('rfci_envfrom', 'fulldom.bl.rfc-ignorant.de.')

Wer möchte, kann die vorläufigen (leeren und somit neutralen) DNS-Zonen in seinem Setup bereits ändern. Hier die Änderungs-Tabelle

Alt	Neu
dsn.rfc-ignorant.org	dsn.bl.rfc-ignorant.de
postmaster.rfc-ignorant.org	postmaster.bl.rfc-ignorant.de
abuse.rfc-ignorant.org	abuse.bl.rfc-ignorant.de
whois.rfc-ignorant.org	whois.bl.rfc-ignorant.de
bogusmx.rfc-ignorant.org	bogusmx.bl.rfc-ignorant.de
fulldom.rfc-ignorant.org	fulldom.bl.rfc-ignorant.de

Update 10:30 Uhr
Ergänzt um fulldom.

Update 19:31 Uhr
Typo korrigiert, danke an Henning!

RFC-Ignorant.org stellt(e) seinen Betrieb ja bereits teilweise ein.

Wir haben uns dazu entschlossen, das Projekt von Derek Balling als Betreiber und Sponsor zu übernehmen, auf seinen Wunsch hin wird dieses Projekt allerdings eine andere DNS-Zone bekommen, u.a. damit Administratoren bewusst Hand an legen müssen.

Das neue Projekt wird daher RFC-Ignorant.de heißen, eine vorläufige Seite ist bereits erreichbar. Diese Seite ist allerdings noch so minimal, dass ich sie lieber gar niemandem zeigen möchte Es ging nur darum, dass wenigstens irgendetwas da steht. Alles Weitere, z.B. Mailinglisten, Forum und wirklicher nützlicher Inhalt kommt in den nächsten Tagen und Wochen.

Das Projekt ist nicht ganz trivial zu übernehmen, so auch die initiale Aussage von Derek selbst Wir möchten es von Anfang an auf ein solides Fundament stellen, daher erstmal ein 0-Setup. Wer mag, kann die neuen DNS-Zonen bereits in seinem Spamfilter etc. integrieren, alle Abfragen auf IP-Adressen liefern erstmal ein NXDOMAIN, somit quasi neutral.

Seit heute hat der Master sowie ein Slave der ix.dnsbl.manitu.net auch IPv6.

Alle anderen Slaves folgen, sofern sich die Slave-Betreiber trauen

Seit heute sind übrigens wieder alle DNS-Slaves der Blacklist am Netz. Ich bin gespannt, wem von den DNS-Slave-Betreibern das überhaupt auffällt. Zumindest die Abschaltung wurde großflächig nicht bemerkt.

Man sollte es kaum für möglich halten, aber aufgrund der enormen Rate Ein-/Austragungen aus der Blacklist haben wir heute das "Timing" auf eine Genauigkeit von 1/1.000.000 Sekunde gestellt, u.a. um Race-Conditions zu vermeiden.

Ich hätte es nicht gedacht, aber

http://de.php.net/manual/de/function.fwrite.php#106209

konnten wir hier intern in Verbindung mit der Blacklist in der Tat wiederholt bemerken (leider aber nicht bewusst reproduzieren).

Unschön

Ich habe mir gestern einmal angeschaut, wie groß der Umfang der dDNS-Updates des Blacklist-Master-Servers aktuell ist: 2 GB pro Tag an Änderungen (Ein- und Austragungen).

Damit hätte ich - zugegeben - nicht gerechnet.

Folgende Beschwerde ging beim Heise Verlag ein, erreichte uns aber in identischer Form:



Schön, wenn derjenige anonym bleiben möchte. Das respektieren wir, die Antwort auf soetwas kann man sich eh sparen

Anstatt uns bzw. den Heise Verlag zu kontaktieren, wäre sein ISP der richtige Ansprechpartner. Das will aber einfach nicht in die Köpfe hinein. Obwohl es überall und mehrfach prominent steht.

Vergangene Woche hat der primäre DNS-Server für die Blacklist diverse Updates erfahren.

Danach ging die Performance in den Keller, die dynamischen Updates (durchaus auch mal bis zu 30 Stück pro Sekunde) waren quälend langsam. Eine stundenlange Suche endete vorläufig bei der neuen Version des BIND, der Fehler ließ sich aber dennoch nicht wirklich gut eingrenzen.

Letztendlich war es etwas, woran man nicht unbedingt als erstes denkt: Der Kernel (in dem Fall 2.6.38.x) war schuld

Es ist schön, zu sehen, dass die Reaktionszeit für das Entfernen eines (irrtümlichen) Falschlistings in einer internen Mail-Blacklist bei einem sehr großen Marktbegleiter sich auf 2 Stunden beschränkt hat, was vermutlich unserem Engagement für ix.dnsbl.manitu.net geschuldet ist

Die Blacklist hat nun einen Heartbeat in Form eines TXT-DNS-Records bekommen:

ix.dnsbl.manitu.net. 60 IN TXT "heartbeat=2010-10-25T10:18:01+02:00"

Interessant für alle Slave-Betreiber, aber grundsätzlich auch für diejenigen, die sichergehen wollen, dass die Informationen der Blacklist aktuell sind. Der Wert wird alle 60 Sekunden aktualisiert.

Darüber hinaus habe ich die Statistik um eine Jahres-Statistik erweitert.