Plugin-Idee: Bad-Recipient-Filter

[Quellcore]

Halo Allerseits,
vornehmlich natürlich an Chactory und Anbuva, die in ihrer Schreibwut in den letzten Monaten ja kaum zu bremsen waren.
Leider ist es in der jüngsten Vergangenheit ja recht ruhig in der Plugin-Szene geworden. Unsere Dauerbrenner Edy Hinzen, Bob, Sebastian etc... sind in den Weiten des WorldWideWeb untergetaucht.

Nichtsdestotrotz habe ich da noch mal eine Plugin-Idee:
Es geht um die Empfänger E-mail Adresse(n).
Folgende Plugins beschäftigen sich schon damit: Adresse-Filter, Air-Filter, Mandatory-String-Filter, im weitesten Sinne auch der X-Header-Filter.

Ich habe in den letzten Monaten alle(!) erhaltenen Spammails bzgl. der Empfängeradresse untersucht.

Dabei habe ich beobachten können, daß nachwievor sehr viele Mails nicht an mich adressiert sind und sich die Empfängeradressen der Spammails oft wiederholen.

Ich habe damals an der Diskussion zu Sebastians Mandatory-String-Filter teilgenommen, bin aber aufgrund der falsch-positiv Filterungen, die sich aus der Blindkopie-Problematik ergiben, nicht zufrieden. Gleiches dürfte dann auch für den Adressee-Filter gelten.

So habe ich mir wochenlang mal die Mühe gemacht, diese 'schlechten' Empfänger manuell in den Substringfilter einzutragen.
Vorher habe ich das gleiche mit dem X-Header-Filter gemacht, der stürzt nur leider so häufig täglich ab, daß er sich komplett disqualifiziert.
Mit dem Ergebnis bin ich sehr zufrieden, nur mit dem Aufwand natürlich nicht!

Ein lernender Filter im Stile des URL-Filters, der sich nur um den Header einer Mail kümmert und dort nur die Empfängeradressen betrachtet, wäre da wohl das perfekte Plugin für meinen Fall. Dabei müßte durch das Lernen eine Blacklist und eine Greylist gepflegt werden.

Hier noch mal einen Überblick zum möglichen Arbeitsablauf so eines Filters.



Eine Idee für den Namen des Filters hätte ich auch schon: Bad-Recipient-Filter

Anregungen, Aufregungen, Feedback, Programmierwut, etc. sind erwünscht. Da aber Anbuva und Chactory schon mal angedeutet haben, daß sie nicht programmieren können, hoffe ich natürlich auch noch auf weitere Wortmeldungen.

[Andreas_Z]

Hallo Quellcore!

Die Idee halte ich für gut. Und vor allem die sehr detailierten Vorarbeiten gefallen mir. Hoffentlich findet sich ein Programmierer.

Gruß
Andreas_Z

[Chactory]

Hallo Quellcore und Andreas_Z,

ie in ihrer Schreibwut in den letzten Monaten ja kaum zu bremsen waren

[Quellcore]

ist Du wieder zurück aus NYC? Welcome back!

[Chactory]

Hi Quellcore,

...] bin aber noch nicht weiter als bis zum berüchtigten Bahnhof gekommen.

[Quellcore]

n einer an mich selber gesendeten E-Mail per BCC finde ich die Empfängeradresse im Header. Im folgenden Zitatblock habe ich jeweils Absender und Empfänger blau markiert. Ob es möglich ist, daß der Addressee-Filter auch den Header ausliest? Habe ich etwas falsch verstanden? (Z.B.: wird der Empfänger nicht von allen Headern dargestellt?)

[Chactory]

So wird es wohl sein. Jetzt fällt mir dazu gerade nichts mehr ein, obwohl ich es nicht einsehen kann, daß man dieses wertvolle Instrument wegen des BCC-Fehlers nicht verwenden kann ... Ich verwende Outlook 2000.

[KanuUli]

Letzte Woche habe ich mir auch schon mal das angeschaut, bin aber noch nicht weiter als bis zum berüchtigten Bahnhof gekommen.

[Chactory]

Hallo KanuUli!

Das wäre einfach toll!

Gruß, Chactory

Hallo, Quellcore und Co!

Auch ich benutze seit längerer Zeit den Substring-Filter zum Aussortieren von Mails an mir fremde Adressen. Der Erfolg insbesondere bei Mails, die sonst kein anderer Filter erkennt, ermutigt, die ständige Arbeit hingegen ist lästig. Deshalb war auch mir schon die Idee nach einem selbständig lernenden Filter gekommen, allerdings mit einem etwas anderen Ansatz.

Folgende Mail-Grundtypen habe ich festgestellt:
a) Mails an eine meiner Adressen, die ich auch haben will. Diese Adressen beinhalten auch Mailinglists.
b) Spam an eine meiner Adressen, den ich nicht haben will.
c) Spam an fremde Adressen, den ich nicht haben will.
d) Mails an eine meiner alten Adressen, die weitergeleitet werden, über die in letzter Zeit jedoch gefühlt 100% Spam kommt, den ich nicht will.
e) Bei einer Catch-all-Mailbox Mails an eine fixe Domain mit variablem Benutzer. Ob Spam oder Gutmensch läßt sich schlecht sagen.
f) Massen-Mails von Freunden, die außer an mich noch an andere mir meist bekannte Adressen gehen und die ich haben will.
g) Massen-Mails von Freunden, die ich als BCC erhalten will. Meist steht unter "To:" der Absender selbst.
h) Kombinationen, insbesondere solche aus b), c) und d). In der Regel bedeutet das, daß ich die Mail nicht haben will.

Die (Massen-) Mails von Freunden lassen sich natürlich auch erkennen, indem ich deren Adressen in die globale Freundesliste eintrage. Wie in einem beschrieben, gefällt mir die aktuelle Implementation der Spami-Freundesliste jedoch nicht hundertprozentig, weshalb sich ein Ausbau des Plugins auf Senderadressen in meinen Augen anbietet.

Bleiben wir der Einfachheit halber jetzt aber erstmal bei den zu filternden Empfängeradressen. Entgegen Quellcores Vorschlag würde ich eine Whitelist einführen, die somit automatisch meine Adressen lernt; in jedem Fall spart man sich so die manuelle Eingabe à la Adressee. Andere "gute" Adressen (Fälle e, f, g) würden so natürlich ebenfalls gelernt. Ebenso einfach würden unerwünschte Adressen in der Blacklist landen. Schwierig wird es erst, wenn Kobinationen auftreten oder wenn eine Blacklist-Adresse plötzlich für gut bzw. eine Whitelist-Adresse für schlecht befunden wird.

Mails an meine Whitelist- sowie eine fremde Blacklist-Adresse (Kombination aus a/b und c) sind schwer zu sortieren, wir sind in einer Grauzone. Die Frage ist jetzt, ob man auf Sicherheit gehen will, d.h. die Mail mit unbekannter Einstufung durchläßt, oder ob man davon ausgeht, daß es sich um Spam handelt. Ich sage dazu aus über einem Jahr Erfahrung mit dem Substring-Filter, daß es bei einer fremden Adresse bisher immer Spam war. Von daher würde ich in diesem Fall der Blacklist Priorität über die Whitelist geben. Dies übrigens im Unterschied zu Quellcore, wo die Greylist Priorität hat.

Es kommt also vor, daß Spam sowohl an eine fremde als auch an eine eigene Adresse geschickt wird. Beim Lernprozeß ergibt sich also die Situation, daß eine (meine) Whitelist-Adresse plötzlich als Spam-Adresse gelernt wird. Meine Idee diesbezüglich war es, neben der reinen Adresse auch den Zeitpunkt des letzten Vorfindens sowie die Anzahl der Fünde sowohl in der Black- als auch in der Whitelist zu vermerken. Über eine noch nicht näher bestimmte Rechnung hätte ich dann eine Einschätzung als gute, böse oder nicht zuzuordnende Adresse ermittelt. Hierzu muß ich sagen, daß Quellcores Greylist für all jene Adressen, die mindestens einmal in jeweils einer Spam- und einer Non-Spam-Mail aufgetaucht sind, durch ihre Einfachheit brilliert.

Nun haben ja "gute" Adressen erst einmal nichts in der Greylist zu suchen. Wenn dann kommt eine Whitelist infrage. Für die Implementierung macht Quellcores Vorschlag hingegen wieder Sinn - denn wenn die Adresse mangels Whitelist gar nicht gespeichert würde, würde sie ja beim ersten Fund in einer Spam-Mail fälschlicherweise in die Blacklist eingetragen werden.

Nun aber nochmal zurück zu dem Fall, daß eine Blacklist-Adresse in einer Non-Spam-Mail auftaucht. Erst einmal ist mir das wie gesagt in über einem Jahr noch nicht untergekommen. Sollte das aber tatsächlich mal vorkommen, wird es kompliziert. Die Adresse - wie von Quellcore vorgeschlagen - von der Black- in die Greylist zu übernehmen, würde dem Filter ein stückweit seine Effizienz rauben. Andererseits wäre es natürlich sehr ärgerlich, wenn eine früher in die Blacklist geratene Adresse plötzlich Verwendung findet, sie enthaltende Mails vom Filter jedoch weiterhin als Spam zurückgehalten würden. Über meine Idee der errechneten Einstufung aufgrund von Spam- und Non-Spam-Funden ließe sich dieses Problem ohne Mehraufwand umgehen, bei dem Greylist-Modell will mir hierzu keine einfache Lösung einfallen. Daher würde ich hier dafür plädieren, die Adressen im (bestimmt sehr seltenen) Fall des Falles in die Greylist zu übernehmen.

Alles in Allem würde ich somit Quellcores Vorschlag mit leichten Abänderungen zustimmen.

Scan-Process
************
scan Header data for recipient

Hallo Burkart,
Vielen Dank für Deine Anmerkungen und Konkretisierungen.

leiben wir der Einfachheit halber jetzt aber erstmal bei den zu filternden Empfängeradressen. Entgegen Quellcores Vorschlag würde ich eine Whitelist einführen, die somit automatisch meine Adressen lernt; in jedem Fall spart man sich so die manuelle Eingabe à la Adressee. Andere "gute" Adressen (Fälle e, f, g) würden so natürlich ebenfalls gelernt. Ebenso einfach würden unerwünschte Adressen in der Blacklist landen. Schwierig wird es erst, wenn Kobinationen auftreten oder wenn eine Blacklist-Adresse plötzlich für gut bzw. eine Whitelist-Adresse für schlecht befunden wird.

Hallo, Quellcore!

ine Whitelist ist natürlich eine sehr gute Idee, erweitert es doch die Funktion des Filters.
Ich denke aber dann eher an Black-, Grey-,White- und Excludelist.

ch hätte da einen anderen Vorschlag, der mit nur einer einzigen Liste auskommt, genauer mit einer einzigen Tabelle. Jede Zeile steht für eine Adresse, in den Spalten steht neben der Adresse selbst die Häufigkeit und das letzte Auftreten in einer Spam-Mail sowie die Häufigkeit und das letzte Auftreten in einer Non-Spam-Mail. Darüber, welche Häufigkeiten (und vielleicht auch welches letzte Auftreten) eine Adresse vorzuweisen hat, wird sie als "schwarze, weiße oder graue" Adresse eingestuft. ...

[Burkart]

Hallo, Quellcore!

enn es dann konzeptbedingt keine Excludelist gibt, stimme ich auf jeden Fall auch mit Deiner Meinung überein, daß die Blacklist dominant über die imaginäre Greylist/Whitelist herrscht. Ansonsten würden ja jede Spammail, die mehrere Adressaten hat aber auch an meine eigene Adresse gerichtet ist, nicht erkannt werden.

ieso wäre es denn Deiner Meinung nach eine andere Situation, wenn es eine Excludelist gäbe? Diese ist doch nichts anderes als eine fest einprogrammierte (im Sinne von: Vom Menschen vorgegebene) White/Greylist.