[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4692: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4694: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4695: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4696: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
Spamihilator » Thema anzeigen - Plugin-Effektivitäts-Analyse -> automatische Sortierung

Plugin-Effektivitäts-Analyse -> automatische Sortierung

Haben Sie eine tolle Idee für eine neue Funktion?

Moderator: Forum-Team

Plugin-Effektivitäts-Analyse -> automatische Sortierung

Beitragvon Mugros » 6. Mai 2008, 19:08

Plugins sind eine wunderbare Sache, aber die Suche nach der richtigen Filter-Reihenfolge gestaltet sich sehr schwierig, wie man u.a. hier im Forum sehen kann. Es gibt zwar genug Tipps zur Reihenfolge, aber die Reihenfolge alleine macht es nicht, die Einstellungen jedes Filters sind ebenso wichtig und im Endeffekt hängt es noch von den Mails ab, die jeder individuell erhält.
Derzeit mache ich es so, dass ich bei jeder falsch eingestuften Mail mir den verantwortlichen Filter anschaue, ggf. anders einstelle und ggf. verschiebe. Imgrunde genommen fehlt diesem Vorgehen aber die Systematik. Man optimiert herum, ohne das große Bild zu sehen.

Aus diesem Grund wünsche ich mir eine "Plugin-Effektivitäts-Analyse".
Klingt kompliziert, ist es aber nicht. Im Prinzip ist es nur eine Erweiterung des Trainingsbereiches. Es muss über den Trainingsbreich gehen, weil zuerst festgelegt werden muss, ob eine Mail Spam oder Ham ist. Danach wird die Mail durch jeden Filter geschickt und das Ergebnis protokolliert.
Für jeden Filter lässt sich dann einer Testphase errechnen und ausgeben:
- % positives
- % negatives
- % false positives
- % false negatives

(Ergebnis und Grund sollten in eine Datei geloggt werden, damit man die Filter tunen kann.)
Mit diesen Daten lässt sich leicht eine optimierte Plugin-Reihenfolge einstellen und unwirksame Plugins erkennen, weil man die korrekten Relationen der Plugins zueinander erhält. Wenn ein Plugin die Filterung beendet, dann sagt es eben nichts über die kommenden Plugins aus.
In einer zweiten Ausbaustufe könnte man die Funktion so ausbauen, dass die Reihenfolge automatisch optimiert wird. So gehören MMN alle Filter nach vorne, die möglichst wenig Fehler machen. Aber über die Kriterien kann man sich nachher noch Gedanken machen (lies: streiten). Wichtig ist, dass man zuerst diese Analyse bekommt.
Die Testphase kann man variabel gestalten, z.B. x Mails, x Tage oder nachher nur jede xte Mail, damit der Aufwand nicht zu groß wird, aber man trotzdem eine aktualisierte Statistik bekommt.
Mugros
Spam-Jäger
Spam-Jäger
 
Beiträge: 16
Registriert: 28. Apr 2008, 19:38

Re: Plugin-Effektivitäts-Analyse -> automatische Sortierung

Beitragvon Chactory » 6. Mai 2008, 21:31

Hallo Mugros!

Deine anregenden Überlegungen sind wahrscheinlich für ein userfreundliches Programm tatsächlich sehr lohnenswert, und für solche Dinge plädiere ich als schlichter Computernutzer auch immer wieder. Einen Zwischenschritt zu diesem schlaraffenlandartigen :wink: Spamfilter gibt es bereits, falls Du das Plugin noch nicht kennst: Bob Loefflers brilliantes Statistik-Plugin hilft, die Filtereffektivität zu erkennen.

Gruß, Chactory

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9612
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Effektivitäts-Analyse -> automatische Sortierung

Beitragvon Mugros » 6. Mai 2008, 22:00

Ja, das Plugin habe ich drin. Ist auch ganz nett, vor allem da die interne Statistik minimalistisch ist. Aber das Plugin hilft in keiner Weise, die Effektivität der Filter zu überprüfen... es sei denn, man baut sich ein Testszenario und lässt immer dieselben Testsatz an Emails über verschiedene Kombination der Plugins laufen. Das ist allerdings extrem aufwändig.

Beispiel aus meiner Statistik:
Spam-Erkennung
1. DNSBL 40%
2. DCC 27%
...
Es könnte aber sein, dass DCC prozentual mehr erkennt, wenn er höher in der Reihenfolge steht (bei mir steht er hinter dem DNSBL). Das ist aus der Statistik nicht ersichtlich. Zum Optimieren ist es aber sinnvoll, da evtl. ein DCC an Stelle 1 mit 55% Erkennungsrate schneller filtert, da 15% der Mails nicht erst durch den DNSBL müssen.
Ebenso erkennt man nicht, welche Filter die false positives erzeugen.
Mugros
Spam-Jäger
Spam-Jäger
 
Beiträge: 16
Registriert: 28. Apr 2008, 19:38

Re: Plugin-Effektivitäts-Analyse -> automatische Sortierung

Beitragvon Chactory » 6. Mai 2008, 23:36

Hallo Mugros!

Na klar, das stimmt schon. Deine Idee ist deshalb sehr gut. :)

Gruß, Chactory

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9612
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Plugin-Effektivitäts-Analyse -> automatische Sortierung

Beitragvon reichemi » 8. Mai 2008, 20:35

Hallo,

ich find auch: TOP idee!! das sollte man unbedingt im auge behalten, zumal schon eine so gute beschreibung des ablaufs vorliegt ;-)
Bild
reichemi
Spam-Terminator
Spam-Terminator
 
Beiträge: 74
Registriert: 27. Feb 2008, 11:24


Zurück zu Feature Requests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron

 industrious-southeast