Plugin-Idee: Bad-Recipient-Filter

Haben Sie eine tolle Idee für eine neue Plugin-Funktion oder ein neues Plugin?

Moderator: Forum-Team

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Burkart » 11. Okt 2006, 18:57

Moinsen!

Ich habe mir jetzt mal die gesamte Diskussion inclusive der neusten Beiträge durchgelesen. Wirklich wichtige Punkte aus der alten Diskussion, die noch nicht umgesetzt sind, sind mir nicht aufgefallen. Hinsichtlich der False-positive-Problematik gab es zum Schluß einige gute Ideen. Jetzt dröhnen Kopf und Magen jedoch zu sehr - Antworten und Lösungen also bei Gelegenheit.

Nur nochmal eine Klarstellung, da ja neben anbuva inzwischen auch Quellcore etwas angesprochen hat, das meiner Meinung nach gar nicht erwähnt werden braucht. Ich bin durchaus selbstwebußt genug, daß ich nicht sofort bei Kritik zu weinen beginne ;-). Vielmehr ist es sogar so, daß ich Kritik sehr schätze, denn daß Euch etwas auffällt, was ich womöglich nie gesehen hätte, ist mir sehr wohl bewußt. Bisher lief das ja auch alles in einer sehr freundlich-kollegial-konstruktiven Atmosphäre ab. Entschuldigungsansätze sind also nicht notwendig, ein weiterhin netter Umgangston reicht da vollkommen. Ihr könnt also auch ruhig anspruchsvolle Verbesserungsvorschläge machen, gell Chactory. Ob ich das am Ende umsetze, steht auf einem anderen Blatt, aber gesagt werden darf und soll erstmal alles. Wäre doch schade um eine gute Idee, die nicht ausgesprochen wird. Und sollte wider Erwarten doch mal jemand im Forum aufkreuzen, der rumpöbelt oder meint, das Plugin wär scheiße und er könne alles besser, wird er eben ignoriert. Schließlich haben wir doch alle ein bißchen Erfahrung im Umgang mit Menschen und Internetforen.

Also dann mal her mit den Verbesserungsvorschlägen :-)

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Burkart » 11. Okt 2006, 21:56

Hallo!

Wie's aussieht, muß ich den Plänen für eine automatisch angelegte Ausschlußliste eine Absage erteilen. Ich wüßte nicht, wie ein Plugin die eigene(n) Adresse(n) ermitteln sollte. Der POP3-Notifier tut dies auch nicht sondern besorgt sich bei Spami lediglich die Kontodaten, während der Nutzer die E-Mail-Adresse (oder einen beliebigen anderen Text) eingeben muß. Auch wenn's schön gewesen wäre, läßt sich das wohl nicht realisieren.

Eine weitere Begründung, weshalb eine automatische Lösung allein nicht funktionieren kann: Hat man eine oder mehrere Weiterleitungen eingerichtet, haben Mail-Client, Spami und POP3-/IMAP-Server hiervon keine Ahnung. Einzig der Weiterleitungs-Server weiß von der Alias-Adresse. Somit könnte diese Art von Adressen so oder so nicht erfaßt werden.

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Burkart » 12. Okt 2006, 00:30

Chactory hat geschrieben:Gruß
anbuva


Äh....?!?
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Quellcore » 12. Okt 2006, 00:51

Burkart hat geschrieben:Wie's aussieht, muß ich den Plänen für eine automatisch angelegte Ausschlußliste eine Absage erteilen. Ich wüßte nicht, wie ein Plugin die eigene(n) Adresse(n) ermitteln sollte. Der POP3-Notifier tut dies auch nicht sondern besorgt sich bei Spami lediglich die Kontodaten, während der Nutzer die E-Mail-Adresse (oder einen beliebigen anderen Text) eingeben muß. Auch wenn's schön gewesen wäre, läßt sich das wohl nicht realisieren.

Ich habe im Spami-Installationsordner eine Datei Namens hostlist.xml!
In dieser Datei finde ich meine Email-Adressen wieder. Es kann aber sein, daß diese Datei erst durch den POP3-Notifier erstellt worden ist.
EDIT: http://www.spamihilator.com/forum/viewtopic.php?p=14425#14425
Burkart hat geschrieben:Eine weitere Begründung, weshalb eine automatische Lösung allein nicht funktionieren kann: Hat man eine oder mehrere Weiterleitungen eingerichtet, haben Mail-Client, Spami und POP3-/IMAP-Server hiervon keine Ahnung. Einzig der Weiterleitungs-Server weiß von der Alias-Adresse. Somit könnte diese Art von Adressen so oder so nicht erfaßt werden.

Die Problematik mit den Alias-Adressen und der Weiterleitung lassen sich wohl wirklich so nicht lösen.
Das Herauslesen der eigentlichen Mailadressen aus der hostlist.xml sollte doch aber schon ein ganzes Stück weit helfen, mit dem Filter von Anfang an produktiv zu arbeiten, ohne manuell Adressen eingeben zu müssen :?:
Evtl. ließe sich dieser Vorgang ja durch einen Button in den Einstellungen des Filters auslösen, so könnte man auch noch nachträglich hinzugekommene Adressen mit aufnehmen. Um dann aber auch noch die Alias/Weiterleitungs-Problematik in den Griff zu bekommen, käme man wahrscheinlich nicht um eine weitere Liste herum. :shock:
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Burkart » 12. Okt 2006, 01:08

Einen wunderschönen guten Abend

...und viel Spaß mit der neuen Filter-Version 0.2.0.251, die unter der bekannten Adresse runtergeladen werden kann.

Die wohl wesentlichste Änderung betrifft die Ausschlußliste als Bugfix für die Problematik der fälschlich als Spam eingeordneten ersten Non-Spam-Mail mit einer Adresse, die vorher als Spam gelernt worden war. Da ein Automatismus leider nicht möglich war, kommt die von Quellcore vorgeschlagene Lösung einer Textdatei zur Anwendung. Zuerst einmal ist natürlich die neue Filter-DLL ins Spami-Plugin-Verzeichnis zu kopieren. Wenn bereits die alte Version installiert war, muß vorher Spami beendet werden. Jetzt wird einfach eine Textdatei mit Namen badrcpt_ignore.txt im Plugin-Verzeichnis angelegt. Diese Datei enthält pro Zeile eine eigene Adresse. Groß-/Kleinschreibung wird hier nicht beachtet. Leerzeilen sind erlaubt, ansonsten hat außer den eigenen Adressen in der Datei nix anderes was verloren. Trifft jetzt eine Mail ein, die eine der ignorierten Adressen beinhaltet, wird diese zur Bewertung nicht herangezogen. Jedenfalls gilt das für die Standardeinstellung; wer "prioritize good over bad addresses" aktiviert hat, wird Mails mit Adressen von der Ausschlußliste weitergereicht bekommen, mögen auch noch so viele "schwarze" Adressen enthalten sein.

Hinsichtlich dieser Einstellung habe ich noch einen bisher unbemerkten Fehler behoben. Und zwar wurden (bei aktiviertem "prioritize...") nur solche Mails durchgelassen, die eine weiße Adresse enthielten, wobei weiß meint, daß die Adresse nicht ein einziges Mal in einer Spam-Mail gelernt werden durfte. Eigentlich sollen schwarze Adressen aber auch dann ignoriert werden, wenn die Mail zusätzlich eine oder mehrere graue Adressen enthält. Grau meint hier analog, daß diese Adresse schonmal als Spam wie auch als Non-Spam gelernt wurde. Inzwischen ist das behoben, bei gesetztem Häkchen werden also nur noch Mails durchgelassen, die ausschließlich schwarze oder unbekannte Adressen in den Empfängerfeldern enthalten.

Außerdem habe ich eine Quick'n'dirty-Lösung für ein bekanntes Problem eingebaut. Und zwar wurden bekannte Adressen in der Version 0.1.0 ja als Substring gesucht. Wenn bad@example.com bekannt war, wurde not-bad@example.com also auch - fälschlicherweise - gefunden. Bei der neuen Version wird nachgeschaut, ob vor dem bad oder nach dem example.com noch ein für eine E-Mail-Adresse gültiges Zeichen kommt. Auf das obige Beispiel bezogen wird not-bad@example.com mit der neuen Version also nicht mehr gefunden. Genausowenig würde der Filter auf bad@example.communication.org anschlagen.

Was übrigens die hostlist.xml betrifft, hier werden nur die Verbindungsparameter gespeichert. Strings und somit Kandidaten für eigene Mail-Adressen sind hier der Benutzername (user) und die Adresse des POP3-Servers (server). Wenn jetzt der Benutzername gleichzeitig die E-Mail-Adresse ist, steht in der Datei also auch eine gültige Adresse. Genausogut kann es aber auch eine Zahl sein, bei gmx z.B., der Teil vor dem @, bei web.de z.B., oder aber auch etwas, das mit der E-Mail-Adresse gar nichts zu tun hat. Was sich hier maximal erreichen ließe wäre, zu gucken, ob der Benutzername aussieht wie eine E-Mail-Adresse. Falls ja, hat man Glück, falls nicht, muß der Benutzer die badrcpt_ignore.txt manuell füllen.

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Quellcore » 12. Okt 2006, 01:44

Hallo Burkart!
Vielen Dank für die prompten Modifikationen, die neue Version habe ich soeben installiert.
Um die Funktionstüchtigkeit des Filters bzgl. der badrcpt_ignore.txt zu testen, habe ich noch einmal alle vom Bad-Recipient-Filter erstellten Dateien gelöscht und wage nun einen Neuanfang.

Sollte Dich der :twisted: Fehlerteufel :twisted: verschont haben, wird der Filter, am Anfang eher unauffällig, später dann ziemlich dominant, ohne Fehl und Tadel seine Arbeit verrichten.

Ich bin bereits sehr gespannt auf die ersten Ergebnisse, lege mich jetzt trotzdem aber erst einmal hin.

Gute Nacht,
Quellcore
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Chactory » 12. Okt 2006, 01:50

Burkart hat geschrieben:
Chactory hat geschrieben:Gruß
anbuva
Äh....?!?
Ich glaube, da hatte Anbuva in der Eile meinen Beitrag überschrieben ...
C.
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Chactory » 12. Okt 2006, 02:16

Hi!

Vielen Dank für die neue dll!
Muß man die badrcpt_ignore-Datei selber anlegen?
(Habe ich jetzt so gemacht.)

Gute Nacht,
C.
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Burkart » 12. Okt 2006, 16:25

Hallo!

Quellcore hat geschrieben:Um die Funktionstüchtigkeit des Filters bzgl. der badrcpt_ignore.txt zu testen, habe ich noch einmal alle vom Bad-Recipient-Filter erstellten Dateien gelöscht und wage nun einen Neuanfang.


Richtig, das vergaß ich zu erwähnen. Wenn die eigenen Adressen inzwischen sowieso "grau" sind, ändert sich durch den Eintrag in der Ausschlußliste natürlich nichts. Man könnte jetzt die Datenbank z.B. mit einem Hex-Editor modifizieren, am Einfachsten ist es aber natürlich, die Datenbank einfach zu löschen. Allzuviele Einträge dürften bei der bisher überschaubaren Testphase ja nicht verlorengehen.

Übrigens, für die Zukunft habe ich die Idee, einen Datenbank-Editor zu programmieren - auch als Übung in Windows-Programmierung. Mal sehen, ob's dazu noch kommt. Falls jetzt schon wer per Hand in der Datenbank rumfummeln will, kann er gern die Formatbeschreibung kriegen. Naja, und sonst eben einfach löschen.

Chactory hat geschrieben:Muß man die badrcpt_ignore-Datei selber anlegen?


Ja. Das heißt, man muß sie nur dann anlegen, wenn man sie auch nutzen will. Existiert die Datei nicht, geht auch nichts kaputt. In einer der nächsten Versionen sollte dann auch eine komfortablere Eingabe im Konfigurationsdialog möglich sein.

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Chactory » 12. Okt 2006, 16:50

Hallo Burkart,

der Filter akzeptiert die Exclude-List. Mit Ausschluß meiner eigenen Adressen als "böse" Empfänger taucht er jetzt (sinnvollerweise) wesentlich seltener als Filterursache im Trainingsbereich auf.

Vielen Dank für diesen schonmal gut filternden und fehlerfrei arbeitenden neuen Filter!

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon anbuva » 12. Okt 2006, 19:06

Hallo Chactory!

Chactory hat geschrieben:Ich glaube, da hatte Anbuva in der Eile meinen Beitrag überschrieben ...
C.


Oh je; das stimmt! Das war meine Dummheit :oops: Ich gehe dafür auch jetzt in die Ecke..... :cry:

Gruß
anbuva (dem es ehrlich leid tut; darf und soll nicht wieder vorkommen :!: )
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon anbuva » 12. Okt 2006, 19:14

Burkart hat geschrieben:...und viel Spaß mit der neuen Filter-Version 0.2.0.251...


Vielen Dank für Deine PN :D ; habe mich sehr darüber gefreut! Ich freue mich ebenso schon auf das Testen bzw. auf meine nächsten EMails.

Schönen Abend
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Chactory » 12. Okt 2006, 20:41

Hallo Anbuva,

anbuva hat geschrieben:Ich gehe dafür auch jetzt in die Ecke.....
komm wieder raus, halb so schlimm! :wink:

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon anbuva » 12. Okt 2006, 20:55

Hallo Chactory!

:wink: :)

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Plugin-Idee: Bad-Recipient-Filter

Beitragvon Quellcore » 17. Okt 2006, 14:28

Hallo Burkart!

Dein Filter funktioniert weiterhin reibungslos.
Somit möchte ich die Gelegenheit nutzen, weitere Verbesserungs-/Erweiterungsvorschläge zu unterbereiten.

Verbesserungsvorschläge:
  • Im Plugin-Unterordner herrscht bereits ein heilloses Durcheinander.
    Erfreuliche Ausnahmen sind hier z.B. der URL-Filter, der DCC-Filter und der Newsletter-Filter, die durch die Benutzung eines Unterordners ein bischen Ordnung ins Chaos bringen.
    Das würde doch auch dem Bad-Recipient-Filter, der mittlerweile auch mit mehreren Dateien arbeitet, ganz gut zu Gesicht stehen!
  • Adressen in der Bad-Recipient-Liste, die noch nie in Non-Spam gefunden worden sind, haben trotzdem ein Datum bei 'last good'.
    Wahrscheinlich wird es dann analog auch so sein, daß bei Adressen in der Bad-Recipient-Liste, die noch nie in Spam gefunden worden sind, trotzdem ein Datum bei 'last bad' existiert. Es scheint sich jeweils um das Datum des erstmaligen Auftretens der Adresse zu handeln.
Erweiterungsvorschläge:
  • Analog zur Implementierung der badrcpt_ignore.txt (Danke nochmal!) die Einführung einer badrcpt_force.txt, die eine genau entgegengesetzte Funktion besitzt. Dort manuell hinterlegte Adressen werden, unabhängig von den Einträgen in der dat-Datei, als schlecht gewertet.
    Aktuell könnte ich dort alle schlechten Adressen eintragen, die ich bis vor kurzem mit dem Substring-Filter aussortiert habe.
    Ich kann mir aber auch sonst Situationen zusmmenreimen, in denen es schon Sinn machen würde, Adressen auf diese Liste zu setzen. Es wären allerdings wohl eher Ausnahmesituationen.
  • Z.Zt. gibt es in den Einstellungen nur die Option 'prioritize good over bad ...', die aber gleichzeitig für die normle dat-Liste sowie für die ignore-Liste gilt.
    Es macht u.U. Sinn, für die verschiedenen Listen die Priorisierung separat einstellen zu können.
    [x] prioritize good adresses over bad adresses from learned entries
    [x] prioritize good adresses from ignore-list over bad adresses from learned entries
    [x] prioritize good adresses from ignore-list over bad adresses from force-list

Es kann gut sein, daß die jetztige Implementierung der 'badrcpt_ignore.txt' und der Option 'prioritize good over bad ...' solchen Erweiterungen den Todesstoß versetzt, da große Teile des Programm-Codes umgeschrieben werden müßten. Das möchte ich Dir n atürlich auch nicht zumuten. Wie bereits erwähnt handelt es sich nur um Ideen, bin ich doch eigentlich schon zufrieden mit dem Filter.

Gruß
Quellcore
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

VorherigeNächste

Zurück zu Plugins: Feature Requests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron

 industrious-southeast