hostblogger.de - Die Blacklist

Trefferquote der RFCI-Blacklist

nospam@example.com (Manuel Schmitt) — Tue, 13 Nov 2012 09:23:59 +0100

Ein oft bemängeltes Problem der alten RFCI-Blacklist war und ist (zugegeben) ihre schlechte Trefferquote.

Ich bin derzeit sehr stark im Projekt RFCI "neu" drin, und habe mir bereits meine Meinung gebildet. Ich bin fest davon überzeugt, dass die mangelnde Automation, die viele händische Arbeit und damit verbunden das langsame (Daten-)Wachstum ein Haupt-Problem ist bzw. war.

Neue Domains kamen praktisch nur durch manuelle Submissions auf der Webseite zustande, sprich der Datenbestand wuchs nur, wenn sich jemand die Arbeit gemacht hat, auffällige Domains / Hosts zu melden. Ich glaube, dass hier ohne einen Automatismus kaum eine Besserung zu erwarten ist.

Wir haben uns daher entschlossen, neue Domains mit jeder Anfrage an den Master DNS-Server zu lernen und mit einem gewissen Zeitversatz in eine interne Datenbank aufzunehmen und zu prüfen. WICHTIG: Die damit verbundenen rechtlichen Fragen klären wir später, derzeit möchten wir erstmal das Technische auf die Beine stellen.

Eine kurze Info aus dem Maschinenraum (tm): Derzeit "lernen" wir etwa 12.000 neue Domains pro Stunde, ergo etwa eine viertel Million pro Tag. Das wird natürlich nicht ganz anhalten können, aber ich hoffe, dass wir in akzeptabler Zeit eine gute Übersicht (Ausschnitt) bekommen.

Zur Sicherheit: In den DNS-Abfragen sehen wir keine E-Mail-Adressen, sondern nur (sowieso öffentliche) Domains.

Mailingliste für RFC-Ignorant.de

nospam@example.com (Manuel Schmitt) — Tue, 06 Nov 2012 20:31:01 +0100

Ab sofort gibt es auch eine öffentliche Diskussions-Mailingliste für RFC-Ignorant.de, die wir vom Namen her so genannt haben wir bei .org: rfci-discuss.

RFC-Ignorant.org lebt weiter (4)

nospam@example.com (Manuel Schmitt) — Tue, 06 Nov 2012 19:37:48 +0100

Auch zu lesen bei Heise

RFC-Ignorant.org lebt weiter (3)

nospam@example.com (Manuel Schmitt) — Tue, 06 Nov 2012 12:08:17 +0100

Wer seine Spamassassin-Konfiguration anpassen möchte, kann z.B. diesen Eintrag in einer local.cf verwenden:

header __RFC_IGNORANT_ENVFROM eval:check_rbl_envfrom('rfci_envfrom', 'fulldom.bl.rfc-ignorant.de.')

RFC-Ignorant.org lebt weiter (2)

nospam@example.com (Manuel Schmitt) — Tue, 06 Nov 2012 09:31:52 +0100

Wer möchte, kann die vorläufigen (leeren und somit neutralen) DNS-Zonen in seinem Setup bereits ändern. Hier die Änderungs-Tabelle

Alt	Neu
dsn.rfc-ignorant.org	dsn.bl.rfc-ignorant.de
postmaster.rfc-ignorant.org	postmaster.bl.rfc-ignorant.de
abuse.rfc-ignorant.org	abuse.bl.rfc-ignorant.de
whois.rfc-ignorant.org	whois.bl.rfc-ignorant.de
bogusmx.rfc-ignorant.org	bogusmx.bl.rfc-ignorant.de
fulldom.rfc-ignorant.org	fulldom.bl.rfc-ignorant.de

Update 10:30 Uhr
Ergänzt um fulldom.

Update 19:31 Uhr
Typo korrigiert, danke an Henning!

RFC-Ignorant.org lebt weiter

nospam@example.com (Manuel Schmitt) — Mon, 05 Nov 2012 16:11:00 +0100

RFC-Ignorant.org stellt(e) seinen Betrieb ja bereits teilweise ein.

Wir haben uns dazu entschlossen, das Projekt von Derek Balling als Betreiber und Sponsor zu übernehmen, auf seinen Wunsch hin wird dieses Projekt allerdings eine andere DNS-Zone bekommen, u.a. damit Administratoren bewusst Hand an legen müssen.

Das neue Projekt wird daher RFC-Ignorant.de heißen, eine vorläufige Seite ist bereits erreichbar. Diese Seite ist allerdings noch so minimal, dass ich sie lieber gar niemandem zeigen möchte Es ging nur darum, dass wenigstens irgendetwas da steht. Alles Weitere, z.B. Mailinglisten, Forum und wirklicher nützlicher Inhalt kommt in den nächsten Tagen und Wochen.

Das Projekt ist nicht ganz trivial zu übernehmen, so auch die initiale Aussage von Derek selbst Wir möchten es von Anfang an auf ein solides Fundament stellen, daher erstmal ein 0-Setup. Wer mag, kann die neuen DNS-Zonen bereits in seinem Spamfilter etc. integrieren, alle Abfragen auf IP-Adressen liefern erstmal ein NXDOMAIN, somit quasi neutral.

DNSBL mit IPv6

nospam@example.com (Manuel Schmitt) — Wed, 06 Jun 2012 13:05:00 +0200

Seit heute hat der Master sowie ein Slave der ix.dnsbl.manitu.net auch IPv6.

Alle anderen Slaves folgen, sofern sich die Slave-Betreiber trauen

DNS-Slaves wieder aktiv

nospam@example.com (Manuel Schmitt) — Thu, 02 Feb 2012 15:55:00 +0100

Seit heute sind übrigens wieder alle DNS-Slaves der Blacklist am Netz. Ich bin gespannt, wem von den DNS-Slave-Betreibern das überhaupt auffällt. Zumindest die Abschaltung wurde großflächig nicht bemerkt.

Timing der DNS-Blacklist

nospam@example.com (Manuel Schmitt) — Mon, 30 Jan 2012 14:33:00 +0100

Man sollte es kaum für möglich halten, aber aufgrund der enormen Rate Ein-/Austragungen aus der Blacklist haben wir heute das "Timing" auf eine Genauigkeit von 1/1.000.000 Sekunde gestellt, u.a. um Race-Conditions zu vermeiden.

Probleme mit fwrite() in PHP

nospam@example.com (Manuel Schmitt) — Fri, 20 Jan 2012 10:26:00 +0100

Ich hätte es nicht gedacht, aber

http://de.php.net/manual/de/function.fwrite.php#106209

konnten wir hier intern in Verbindung mit der Blacklist in der Tat wiederholt bemerken (leider aber nicht bewusst reproduzieren).

Unschön

2 GB Updates pro Tag

nospam@example.com (Manuel Schmitt) — Wed, 16 Nov 2011 11:45:00 +0100

Ich habe mir gestern einmal angeschaut, wie groß der Umfang der dDNS-Updates des Blacklist-Master-Servers aktuell ist: 2 GB pro Tag an Änderungen (Ein- und Austragungen).

Damit hätte ich - zugegeben - nicht gerechnet.

Beschwerde gegen/zur Blacklist

nospam@example.com (Manuel Schmitt) — Thu, 18 Aug 2011 15:16:00 +0200

Folgende Beschwerde ging beim Heise Verlag ein, erreichte uns aber in identischer Form:

Schön, wenn derjenige anonym bleiben möchte. Das respektieren wir, die Antwort auf soetwas kann man sich eh sparen

Anstatt uns bzw. den Heise Verlag zu kontaktieren, wäre sein ISP der richtige Ansprechpartner. Das will aber einfach nicht in die Köpfe hinein. Obwohl es überall und mehrfach prominent steht.

Neuer Kernel für den Blacklist-Server und unerwünschte Nebenwirkungen

nospam@example.com (Manuel Schmitt) — Mon, 11 Jul 2011 12:55:00 +0200

Vergangene Woche hat der primäre DNS-Server für die Blacklist diverse Updates erfahren.

Danach ging die Performance in den Keller, die dynamischen Updates (durchaus auch mal bis zu 30 Stück pro Sekunde) waren quälend langsam. Eine stundenlange Suche endete vorläufig bei der neuen Version des BIND, der Fehler ließ sich aber dennoch nicht wirklich gut eingrenzen.

Letztendlich war es etwas, woran man nicht unbedingt als erstes denkt: Der Kernel (in dem Fall 2.6.38.x) war schuld

2 Stunden Reaktionszeit

nospam@example.com (Manuel Schmitt) — Mon, 20 Jun 2011 08:15:00 +0200

Es ist schön, zu sehen, dass die Reaktionszeit für das Entfernen eines (irrtümlichen) Falschlistings in einer internen Mail-Blacklist bei einem sehr großen Marktbegleiter sich auf 2 Stunden beschränkt hat, was vermutlich unserem Engagement für ix.dnsbl.manitu.net geschuldet ist

Heartbeat und weitere Statistiken für die Blacklist

nospam@example.com (Manuel Schmitt) — Mon, 25 Oct 2010 10:18:17 +0200

Die Blacklist hat nun einen Heartbeat in Form eines TXT-DNS-Records bekommen:

ix.dnsbl.manitu.net. 60 IN TXT "heartbeat=2010-10-25T10:18:01+02:00"

Interessant für alle Slave-Betreiber, aber grundsätzlich auch für diejenigen, die sichergehen wollen, dass die Informationen der Blacklist aktuell sind. Der Wert wird alle 60 Sekunden aktualisiert.

Darüber hinaus habe ich die Statistik um eine Jahres-Statistik erweitert.