Filter-Tester

Haben Sie eine tolle Idee für eine neue Funktion?

Moderator: Forum-Team

Filter-Tester

Beitragvon Burkart » 21. Aug 2006, 19:28

Hallo!

Um neue Filtereinstellungen zu messen und nicht einfach nach Bauchgefühl über die Güte zu entscheiden, wäre ein Filter-Tester sehr hilfreich. Außerdem könnte eine neue Einstellung so schnell überprüft werden und es muß nicht erst auf neue Mails gewartet werden. Der Filter-Tester würde aus drei Teilen bestehen:

* Einem Archiv, das über die Zeit alle Mails zusammen mit der vom Menschen überprüften Einteilung in Spam und Non-Spam speichert.
* Der Testumgebung, welche die Mails durch die installierten Filter laufen läßt und deren Einschätzung in Spam, Non-Spam oder Unbekannt festhält.
* Einer Auswertung, die die Erkennungsquote, false-positives etc. der einzelnen Filter übersichtlich darstellt. Außerdem wäre es für den Praxiseinsatz natürlich sehr interessant, wie die gesamte Erkennung bei verschiedenen Filterreihenfolgen aussieht.

Gehe ich recht in der Annahme, daß nicht nur ich ein solches Tool überaus hilfreich fände?

Außerdem natürlich die Frage an Michel, wie realistisch die Vorstellung ist. Gibt es eine Möglichkeit, den Tester in Spami einzubauen oder andersherum Teile von Spami für einen Tester wiederzuverwerten? Gibt es womöglich sogar schon Ansätze und Möglichkeiten in die Richtung?

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Filter-Tester

Beitragvon Quellcore » 21. Aug 2006, 20:20

Hallo Burkart!
Zur Zeit würde ich da folgendermaßen vorgehen:
Den Virtual POP3-Server von Boris Kugelmeier installieren und diesen dann mit Deinem Mailclienten über den Spami abzufragen. Dann noch Bob's Filter-Statistic Plugin für den Spami installiert und schon hast Du eine halbwegs gute Testumgebung, leider natürlich nicht mt allen Funktionen, die du Dir so gewünscht hast.

Gruß
Quellcore

P.S.
VirtualPop3-Server
Filter Statistics v1.0.4
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Filter-Tester

Beitragvon anbuva » 21. Aug 2006, 21:27

Hallo Burkart!

Interessanter Gedankengang. Aber wie Quellcore schon klugerweise schrieb, ist das im Moment nur mit dem Virtual POP-Server möglich.

Aber generell hatte ich mir natürlich auch schon so meine Gedanken um eine optimale Reihenfolge für die Filter gemacht. Zwar habe ich für mich eine finden können, aber wird sie nicht unbedingt für alle genauso effektiv sein. Als kleinen Ansatz und Idee könnte man oder jemand aber vielleicht ein Plug-In produzieren, was die Filter entsprechend einer Hitliste platziert. Das würde dann ungefähr so aussehen (sehr stark vereinfacht): Filter A 3 mal richtige Erkennung = 1 Stufe hoch. Filter B 3 mal falsche Erkennung = 1 Stufe runter. So habe ich damit u. a. übrigens auch meine eigene Reihenfolge erstellt.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Filter-Tester

Beitragvon Andreas_Z » 22. Aug 2006, 07:34

Hallo Burkart!

Ja, das wäre ungemein praktisch. Spami müßte dann aber den Testlauf seine aktuelle Laufzeitumgebung wegsichern und nach dem Test wieder herstellen. Ich meine damit insbesondere die bereits gelernten Mails. Die würden bei derzeit machbaren Test vermutlich wieder TB auftauchen und müßten dann erst von Hand von dort gelöscht werden.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Filter-Tester

Beitragvon Burkart » 22. Aug 2006, 16:34

Hallo, allerseits!

Den Virtual POP3-Server werde ich mir auf jeden Fall mal ansehen. Noch habe ich ihn nicht installiert und in den Beschreibungen leider nichts darüber gefunden, wie man ihn mit Mails füttert. Naja, das klärt sich sicher dann. In jedem Fall ließe sich damit sowie mit der Log-Datei aus dem mir bereits bekannten Statistik-Plugin ja schonmal die Filterqualität beurteilen - leider dann nur für das aktuelle Spami-Setup, für den Anfang aber schonmal ganz OK. Wenn vorher bekannt ist, welche (durch die UID identifizierbaren) Mails Spam und welche Non-Spam sind, kriegt man mit einem gar nicht so komplizierten Script die Treffsicherheit der Filter heraus. Deren Konfiguration müßte man dann eben lästigerweise per Hand machen. Sofern der Virtual POP3-Server das nicht von Haus aus kann, bliebe noch die Frage, wie man ein Archiv alter Mails aufbaut. Zur Not müßte da ein Spami-Plugin geschrieben werden, das nichts filtert und einfach alle Mails nach dem Lernen zusammen mit der Einschätzung Spam oder Non-Spam abspeichert.

Mensch, das klingt doch machbar!

anbuva hat geschrieben:Als kleinen Ansatz und Idee könnte man oder jemand aber vielleicht ein Plug-In produzieren, was die Filter entsprechend einer Hitliste platziert. Das würde dann ungefähr so aussehen (sehr stark vereinfacht): Filter A 3 mal richtige Erkennung = 1 Stufe hoch. Filter B 3 mal falsche Erkennung = 1 Stufe runter.


Genau das wäre letztlich das Ziel. Nach meinen ursprünglichen Vorstellungen mit komfortabler Auswertungs-Software könnte man dann automatisch oder manuell verschiedene Filterreihenfolgen und -Konfigurationen zusammenstellen und direkt miteinander vergleichen. Mit der oben angedeuteten Interimslösung ließe sich immerhin die Qualität eines Setups quantifizieren - die verschiedenen Einstellungen müßte man dann eben per Hand durchspielen.

Eine manuelle Anpassung der Reihenfolge im laufenden Betrieb hat ja den Nachteil, daß die unterschiedlichen, durchgespielten Setups jeweils andere Voraussetzungen (Mails) vorgesetzt kriegen.

Andreas_Z hat geschrieben:Spami müßte dann aber den Testlauf seine aktuelle Laufzeitumgebung wegsichern und nach dem Test wieder herstellen. Ich meine damit insbesondere die bereits gelernten Mails. Die würden bei derzeit machbaren Test vermutlich wieder TB auftauchen und müßten dann erst von Hand von dort gelöscht werden.


Meinst Du das in Bezug auf die Lösung per Virtual POP3-Server oder hinsichtlich des ursprünglichen Vorschlags? Für den ursprünglich angedachten Filter-Tester als separates Programm oder einen großen Ausbau des Spamihilators wären sicher etliche Anpassungen notwendig. Was die Überlegungen bezüglich Virtual POP3-Server angeht, würde es sich anbieten, vorher Trainingsbereich und Papierkorb zu leeren sowie während des Tests ausschließlich Mails vom virtuellen POP3-Server abzufragen. Danach kann man dann einfach den kompletten Trainingsbereich und Papierkorb löschen, da die Auswertung über das Logbuch des Statistics-Plugins liefe. Gelernt wird dann natürlich nicht.

Bye, Burkart
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Filter-Tester

Beitragvon Burkart » 22. Aug 2006, 16:41

Nachtrag zu anbuva bzw. der optimalen Reihenfolge: Meiner Meinung nach sollten die Filter vor Allem danach sortiert werden, daß diejenigen zuerst abgearbeitet werden, die am wenigsten Fehleinschätzungen produzieren. Selbst wenn ein Filter nur jede hundertste Mail korrekt zuordnet, sich bei den anderen 99% aber nie irrt (d.h. sie mit unbekannter Einschätzung weiterreicht), gehört er vor einen Filter, der vielleicht mehr Mails korrekt zuordnet, der aber auch hin und wieder mal einen Fehler macht.

Außerdem fiel mir gerade noch ein: Was ist eigentlich mit dem DCC-Filter? Angenommen ich mache jetzt zig Testläufe mit immer den gleichen Mails - müßte dann nicht früher oder später ständig der DCC-Filter anschlagen?
Benutzeravatar
Burkart
Spam-Killer
Spam-Killer
 
Beiträge: 39
Registriert: 20. Aug 2006, 12:50
Wohnort: Aalen

Re: Filter-Tester

Beitragvon Quellcore » 22. Aug 2006, 20:48

Burkart hat geschrieben:Den Virtual POP3-Server werde ich mir auf jeden Fall mal ansehen. Noch habe ich ihn nicht installiert und in den Beschreibungen leider nichts darüber gefunden, wie man ihn mit Mails füttert. Naja, das klärt sich sicher dann.

Es gibt in dem Installationsordner des POP3-Server einen Ordner mit dem Namen "emails", dort einafach eml Dateien ablegen und los gehts.
Um Dir ein Archiv aufzubauen, könntest Du einfach alle *.Recycle Dateien aus dem dem Spami/recycle Verzeichnis rüberkopieren und die Erweiterung von *.recycle auf *.eml abändern.
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Filter-Tester

Beitragvon anbuva » 22. Aug 2006, 22:02

Hallo Burkart!

Volle Zustimmung. Das ist ein Punkt, der natürlich unbedingt beachtet werden sollte! Das war insofern natürlich auch ein weiteres Kriterium bei meiner Reihenfolge :wink:

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Filter-Tester

Beitragvon Andreas_Z » 23. Aug 2006, 07:49

Hallo Burkart!

Meinst Du das in Bezug auf die Lösung per Virtual POP3-Server oder hinsichtlich des ursprünglichen Vorschlags?
Ja. So war das gemeint. Und sollte aber auch gleichzeitig auf die gleiche Problematik und der Übergangslösung hinweisen.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany


Zurück zu Feature Requests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron

 industrious-southeast