Skip to content

Trefferquote der RFCI-Blacklist

Ein oft bemängeltes Problem der alten RFCI-Blacklist war und ist (zugegeben) ihre schlechte Trefferquote.

Ich bin derzeit sehr stark im Projekt RFCI "neu" drin, und habe mir bereits meine Meinung gebildet. Ich bin fest davon überzeugt, dass die mangelnde Automation, die viele händische Arbeit und damit verbunden das langsame (Daten-)Wachstum ein Haupt-Problem ist bzw. war.

Neue Domains kamen praktisch nur durch manuelle Submissions auf der Webseite zustande, sprich der Datenbestand wuchs nur, wenn sich jemand die Arbeit gemacht hat, auffällige Domains / Hosts zu melden. Ich glaube, dass hier ohne einen Automatismus kaum eine Besserung zu erwarten ist.

Wir haben uns daher entschlossen, neue Domains mit jeder Anfrage an den Master DNS-Server zu lernen und mit einem gewissen Zeitversatz in eine interne Datenbank aufzunehmen und zu prüfen. WICHTIG: Die damit verbundenen rechtlichen Fragen klären wir später, derzeit möchten wir erstmal das Technische auf die Beine stellen.

Eine kurze Info aus dem Maschinenraum (tm): Derzeit "lernen" wir etwa 12.000 neue Domains pro Stunde, ergo etwa eine viertel Million pro Tag. Das wird natürlich nicht ganz anhalten können, aber ich hoffe, dass wir in akzeptabler Zeit eine gute Übersicht (Ausschnitt) bekommen.

Zur Sicherheit: In den DNS-Abfragen sehen wir keine E-Mail-Adressen, sondern nur (sowieso öffentliche) Domains.

RFC-Ignorant.org lebt weiter (3)

Wer seine Spamassassin-Konfiguration anpassen möchte, kann z.B. diesen Eintrag in einer local.cf verwenden:
header __RFC_IGNORANT_ENVFROM eval:check_rbl_envfrom('rfci_envfrom', 'fulldom.bl.rfc-ignorant.de.')

RFC-Ignorant.org lebt weiter (2)

Wer möchte, kann die vorläufigen (leeren und somit neutralen) DNS-Zonen in seinem Setup bereits ändern. Hier die Änderungs-Tabelle :-)

AltNeu
dsn.rfc-ignorant.orgdsn.bl.rfc-ignorant.de
postmaster.rfc-ignorant.orgpostmaster.bl.rfc-ignorant.de
abuse.rfc-ignorant.orgabuse.bl.rfc-ignorant.de
whois.rfc-ignorant.orgwhois.bl.rfc-ignorant.de
bogusmx.rfc-ignorant.orgbogusmx.bl.rfc-ignorant.de
fulldom.rfc-ignorant.orgfulldom.bl.rfc-ignorant.de


Update 10:30 Uhr
Ergänzt um fulldom.

Update 19:31 Uhr
Typo korrigiert, danke an Henning!

RFC-Ignorant.org lebt weiter

RFC-Ignorant.org stellt(e) seinen Betrieb ja bereits teilweise ein.

Wir haben uns dazu entschlossen, das Projekt von Derek Balling als Betreiber und Sponsor zu übernehmen, auf seinen Wunsch hin wird dieses Projekt allerdings eine andere DNS-Zone bekommen, u.a. damit Administratoren bewusst Hand an legen müssen.

Das neue Projekt wird daher RFC-Ignorant.de heißen, eine vorläufige Seite ist bereits erreichbar. Diese Seite ist allerdings noch so minimal, dass ich sie lieber gar niemandem zeigen möchte ;-) Es ging nur darum, dass wenigstens irgendetwas da steht. Alles Weitere, z.B. Mailinglisten, Forum und wirklicher nützlicher Inhalt kommt in den nächsten Tagen und Wochen.

Das Projekt ist nicht ganz trivial zu übernehmen, so auch die initiale Aussage von Derek selbst ;-) Wir möchten es von Anfang an auf ein solides Fundament stellen, daher erstmal ein 0-Setup. Wer mag, kann die neuen DNS-Zonen bereits in seinem Spamfilter etc. integrieren, alle Abfragen auf IP-Adressen liefern erstmal ein NXDOMAIN, somit quasi neutral.

DNS-Slaves wieder aktiv

Seit heute sind übrigens wieder alle DNS-Slaves der Blacklist am Netz. Ich bin gespannt, wem von den DNS-Slave-Betreibern das überhaupt auffällt. Zumindest die Abschaltung wurde großflächig nicht bemerkt. :-O

Timing der DNS-Blacklist

Man sollte es kaum für möglich halten, aber aufgrund der enormen Rate Ein-/Austragungen aus der Blacklist haben wir heute das "Timing" auf eine Genauigkeit von 1/1.000.000 Sekunde gestellt, u.a. um Race-Conditions zu vermeiden.

:-O

2 GB Updates pro Tag

Ich habe mir gestern einmal angeschaut, wie groß der Umfang der dDNS-Updates des Blacklist-Master-Servers aktuell ist: 2 GB pro Tag an Änderungen (Ein- und Austragungen).

Damit hätte ich - zugegeben - nicht gerechnet.

Beschwerde gegen/zur Blacklist

Folgende Beschwerde ging beim Heise Verlag ein, erreichte uns aber in identischer Form:



Schön, wenn derjenige anonym bleiben möchte. Das respektieren wir, die Antwort auf soetwas kann man sich eh sparen :doh:

Anstatt uns bzw. den Heise Verlag zu kontaktieren, wäre sein ISP der richtige Ansprechpartner. Das will aber einfach nicht in die Köpfe hinein. Obwohl es überall und mehrfach prominent steht. :grrr:

Neuer Kernel für den Blacklist-Server und unerwünschte Nebenwirkungen

Vergangene Woche hat der primäre DNS-Server für die Blacklist diverse Updates erfahren.

Danach ging die Performance in den Keller, die dynamischen Updates (durchaus auch mal bis zu 30 Stück pro Sekunde) waren quälend langsam. Eine stundenlange Suche endete vorläufig bei der neuen Version des BIND, der Fehler ließ sich aber dennoch nicht wirklich gut eingrenzen.

Letztendlich war es etwas, woran man nicht unbedingt als erstes denkt: Der Kernel (in dem Fall 2.6.38.x) war schuld :grrr:

Heartbeat und weitere Statistiken für die Blacklist

Die Blacklist hat nun einen Heartbeat in Form eines TXT-DNS-Records bekommen:
ix.dnsbl.manitu.net. 60 IN TXT "heartbeat=2010-10-25T10:18:01+02:00"
Interessant für alle Slave-Betreiber, aber grundsätzlich auch für diejenigen, die sichergehen wollen, dass die Informationen der Blacklist aktuell sind. Der Wert wird alle 60 Sekunden aktualisiert.

Darüber hinaus habe ich die Statistik um eine Jahres-Statistik erweitert.