HOSTBLOGGER.de

aber < 50% ist schon mies, oder?

Da bringt das ja gar nicht allzu viel, und ich kann alles vom Mailprogramm filtern lassen.

Es geht beim Einsatz solcher Listen auch weniger um den einzelnen Mail-Empfänger, der sich damit am Tag eine hand voll Spams erspart.

Wir sind nur ein recht kleiner Dienstleister und schon bei uns werden täglich problemlos 100.000 Mails abgewiesen, u.a. dank dieser Liste (via policyd-weight). Das sind 100.000 Mails die nicht durch Spam-Filter und Virenscanner laufen und entsprechend Ressourcen (CPU-Zeit, Speicher, Traffic) verbrauchen und somit auch 100.000 weniger Mails, die an unsere Kunden und uns selbst ausgeliefert werden. Damit sinkt auch die Anzahl von ärgerlichen False Negatives im Postfach und die Anzahl von als Spam markierten Mails, die man zur Sicherheit nochmal überfliegen muss. Es braucht nicht viel Phantasie um eine Vorstellung zu bekommen, was das in größerem Maßstab für die Wirtschaft bedeutet.

Wer will denn seine Mitarbeiter dafür bezahlen müssen den ganzen Tag ihre Mails zu checken? Und dann sind da noch die armen Schweine die alle Mails aus Blackberry bekommen...

Die Aussage der Quote ergibt sich aus der Funktionsweise einer DNSBL. Jede Anfrage, zu der in der Liste ein Eintrag gefunden wird ist ein Treffer.

Nun kann man natürlich das Fass aufmachen, ob denn auch ausnahmslos alle Einträge über jeden Zweifel erhaben sind, aber dafür gibts ja z.B. policyd-weight...

Wie ich bereits schrieb besagt sie, dass 50% der Anfragen in der Liste gefunden wurden. Mehr Aussage kann nicht getroffen werden, da der Manitu ja nicht wissen kann, was auf Basis seiner Antwort mit der Mail geschieht.

Muss ich verstehen, was Du gerade für einen Unsinn von Dir gibst?

Du hast folgende Dinge bei Deinen Ausführungen vergessen:

1. Die Blacklist liefert natürlich nicht willkürlich positive Antworten, sondern nur dann, wenn eine IP als Spam-Versender bekannt ist. Dem steht nun Dein "50:50-Würfel"-Prinzip gegenüber.

2. Du hast nicht beachtet, dass die Grundlage für die Trefferquote ist, dass die Abfragenden (Mailserver) grundsätzlich alle Ihre eingehenden E-Mails bei der Liste abfragen. Somit ist die Liste, um es mal als Korinthenk* zu sehen, eine Aussage darüber, wieviel Prozent der von abfragenden Mailservern abgefragten IP-Adresse in der Liste bereits bekannt sind. Landläufig finde ich "Trefferquote" eine "normale" und somit auch gelungene Bezeichnung, denn es ist klar, dass dies immer nur ein Ausschnitt des eingehenden (und auch des abgefragten Spam-Aufkommen) darstellt. Und es ist ja auch auf diese Liste bezogen.

Naja, leider ist das nicht ganz richtig.

Bei 50% Trefferquote ist die Blacklist nicht besser oder schlechter als mein Vorschlag einfach jede zweite Anfrage mit Ja/Nein zu beantworten, sondern beide Verfahren liefern eine gleiche Trefferquote. Eine bessere Trefferquote im Sinne der Aussage der Grafik wäre es sogar, wenn die Blacklist jede Anfrage behandelt (und beantwortet) als wenn die IP der Liste bekannt ist. Das gibt dann nämlich eine Trefferquote von 100%!
Das das keinen wirklichen Nutzen hat, ist mir klar, in der Grafik wird allerdings kein Nutzen bewertet sondern lediglich die Trefferquote dargestellt...

Ich habe auch nix gegen die Bezeichnung "Trefferquote". Aber gegen die Trefferquote selbst, also gegen die Aussage so-und-so viel Prozent der Anfragen werden mit [platzhalter] beantwortet. Denn das sagt nix über die Qualität aus.

Deswegen bin ich der Überzeugung, das die Zahlen eben nicht für sich sprechen, wie Du behauptet hast. [1]

Das richtige Kriterium zur Bewertung der Blacklist ist, wieviel Spam richtig als Spam erkannt wird und wieviel Nicht-Spam durchgelassen wird.
Interessant ist auch, wieviel weniger die nachfolgenden Anti-Spammaßnahmen belastet werden, wenn man die Blacklist davorschaltet.
Aber das sagen die "für sich selbst sprechenden" Daten leider nicht aus.

Arnold

[1]: Eine Aussage kann man aus den Daten tatsächlich ziehen: Es scheint als würde in der ersten Tageshälfte überdurchschnittlich viel Spam verschickt. Dafür sollte man aber die Fluktuationen über einen größeren Zeitraum betrachten, den es gilt eines der Grundgesetze der Statistik: Je größer die Datenmenge, desto kleiner der Fehler.
Achja, die Untersuchung der Fluktuationen fällt unter das Stichwort "Detrending Fluctuations" und kann sehr interessante Aussagen und Zusammenhänge offenbaren.

Nein, die Grafik sagt eben *nicht*, das 100% aller Nicht-Spammer auch als Nicht-Spammer behandelt werden.

Sie besagt nur, das 50% aller Anfragen (egal ob Spam oder nicht) als Spam markiert werden. Und das geht wie ich schon mehrfach sagte mit anderen (sinnfreien) Methoden auch bzw. sogar mit einer höheren "Trefferquote".

Kurz und knapp: Humbug!

Ich bin mir nicht ganz sicher, ob du in Unkenntnis schreibst (was okay wäre), oder ob du trollen möchtest.

Ist das jetzt schon Fisch?

Also nochmal langsam zum mitmeißeln:
- Auf einer Blacklist werden IPs von Hosts eingetragen die als Spamschleudern bekannt sind
- ein Mailserver prüft für jede eingehende Mail ob die Quelle der Nachricht in der Blacklist bekannt ist
-- wenn ja: Die Kommunikation mit der Gegenstelle wird abgebrochen und die Mail nict angenommen.
-- wenn nein: Die Mail wird an den Spamfilter zur weiteren Bearbeitung weitergeleitet. Ab jetzt besteht in der Regel sogar eine Pflicht zur Beförderung und Zustellung. Automatisiertes Löschen ohne Zustimmung des Users ist tabu.

Das ist die übliche Funktionsweise einer Blacklist. Ohne Blacklists muß der Spamfilter den gesamten auftretenden Verkehr filtern. Erst DORT wird festgestellt ob die Mail eigentlich Spam ist.

Rein statistisch ist da mal eben gar nichts zu machen, es sei denn du koordinierst die Botnetze der Spammer und alle Mailserver weltweit so daß sie immer abwechselnd oder in bestimmtem Rythmus Spam und echte Mails verschicken. Und wenn du das schon kannst, kannst du die Spambots auch ganz deaktivieren.

Die 50% der Grafik sagen lediglich aus, das 50% der Mails von Servern kommen, die auf der Blacklist stehen. Innerhalb dieser 50% besteht aber eine Trefferquote von 100%. Bei deinem 50/50-Zufallsalgorithmus würde die Trefferquote lediglich 50% betragen.

Ist der Film schon zu Ende?

Gib doch Bescheid wenn du weißt, was du uns sagen möchtest. Eine Formel zur Beantwortung der Frage nach dem Leben, dem Universum und allem wirst du nicht bekommen und niemals hat jemand behauptet (auch kein Manuel Schmitt) dass diese Grafik die Antwort liefern würde.

Belassen wir es doch dabei, dass man mit ein wenig Sachkenntnis und Nachdenken schnell darauf kommt, welche Aussage die Grafik macht und damit auch, welche sie nicht macht. Wenn du meinst, dass sich der Einsatz deiner Würfelmethode zur Bewertung von Mail / Abwehr von Spam in der Praxis als ebenso hilfreich erweisen könnte, spricht ja nichts dagegen, dass du eine solche entwickelst und der Allgemeinheit zur Verfügung stellst.

Ich wäre der letzte, der sie nicht auch einsetzen würde, so sie eben die Praxistauglichkeit beweisen kann. Ich würde mir in einer Testphase aber vorbehalten, Anrufe erboster Kunden an dich weiterzuleiten

man muss schon ein wenig den kontext dazu sehen. sogesehen spricht die grafik nur fuer sich, wenn man ebenfalls einen mailserver adminstriert und daher weiss, wie das verhältnis spam/nicht-spam ist. das ist naemlich noch weitaus schlechter als 50:50 sondern eher im bereich von 80:20 bis 95:5.
die trefferquote von manuels blacklist lag jahrelang bei 10 bis 15%. nach der kuerzlichen aufnahme weiterer spamfallen war sie auf ca. 30% gestiegen und nun liegt sie anscheinend bei durchschnittlich 50%. je naeher sich diese blacklist der tatsaechlichen quote annaehert, desto besser ist dessen wirksamkeit. dabei muss man wieder wissen, dass diese liste nahezu keine false positives liefert. und genau das ist das schlagende argument gegen dein zufallsprinzip.

Richtig. Genau das wollte ich mit den 100% oben auch zum Ausdruck bringen.

Mist :-|Ich hatte das /100 beim Rechnen vergessen. Sorry!

Ein paar weitere Zahlen können hoffentlich helfen, die Grafik einzuordnen. Leider kennt niemand die genauen Zahlen von erwünschten und unerwünschten E-Mails, wegen derer unsere DNSBL abgefragt wird. Was wir jedoch kennen, ist die Zahl der Abfragen und die Zahl der Beschwerden wegen der Eintragung von Mailservern, die nicht nur zum Spammen benutzt werden. Das Verhältnis liegt bei unter einer Beschwerde auf 10 Mio. Abfragen. Da viele Nachkommastellen unübersichtlich sind, sei die vereinfachende Aussage erlaubt, dass "praktisch alle" DNSBL-Treffer Spam richtig einzuordnen helfen. Bei einer (wie hier leicht provozierend unterstellten) einfachen Positiv-Antwort auf jede zweite Abfrage hätten wir nun natürlich nicht 5 Mio. Beschwerden auf 10 Mio. Abfragen, sondern einfach keine Abfrage, weil kein Mensch die Blacklist nutzen würde.

Außerdem ist es eine einigermaßen anerkannte Tatsache, dass derzeit etwa 90 % aller E-Mails Spam transportieren, also 10 % keinen Spam. Wer also unsere Blacklist zum Vorsortieren benutzt, steigert das Verhältnis erwünscht:unerwünscht von 1:9 (11 %) auf 1:4 (25%). Das wirkt im Vergleich zu Werten gut trainierter Bayes- oder aktueller Virenfilter nicht aufregend, kann aber dennoch die Mailsysteme deutlich entlasten.

Spamhaus ist die letzte Zeit ja öfte mal in der Kritik gelandet. Ich habe bei uns anfangs auch mit diversen Einstellungen in Postfix zzgl. Blacklists gefahren und habe eine Weile getüftelt, ehe ich raus hatte welchen Listen man mit relativ gutem Gewissen trauen kann.

Die Arbeit hätte ich mir sparen können, hätte ich schon früher policyd-weight angeschaut. Das Ding konnte ich nach dem Prinzip Fire&Forget einbinden und ohne händische Änderungen durchlaufen lassen. Die Grundeinstellungen sind extrem gut. Bei PW ist Sorge dafür getragen, dass der Eintrag in einer einzigen RBL allein nicht für den Reject sorgt. Damit minimiert man die Fehlqerquote nochmals und ich habe eine noch höhere Reject-Quote auf dem Server, als ich sie vorher mit allen händischen Parametern und RBLs hatte (obwohl ich monatelang haufenweise Tutorials und Dokus gewühlt hatte ).

Warum sollte es für diesen Host einen A-Eintrag geben? Was soll dahinter liegen?

- die Webseite liegt unter www.dnsbl.manitu.net
- die Einträge unter D.C.B.A.ix.dnsbl.manitu.net