zentrales mini-sammelzentrum

Alles, was mit Plugins für Spamihilator zu tun hat. (Keine Plugin-Hilfe, Plugin-Bugs oder Plugin Feature Requests, siehe jeweils dort.)

Moderator: Forum-Team

Re: zentrales mini-sammelzentrum

Beitragvon Andreas_Z » 24. Aug 2010, 07:27

Hallo Matador!

Ich bin der Sache auch nicht abgeneigt. Dieses Verfahren (Plugins liefern Prozente) ist in gewisser Weise auch intuitiver. Ich glaube jedoch, dass hier nicht nur alle Plugins sondern auch Spami selbst komplett umgebaut werden müßten. Das lonht den Aufwand nicht. Dann kommt ausserdem noch ein weiterer Aspekt dazu. Spammassassin aus der OpenSource-Entwicklung arbeitet genau nach diesem Prinzip. Die Entwickler müssen mittlerweile mehr Aufwand in die Ermitllung der nötigen Prozentzahlen stecken als in die Programmierung. Nach meinem letzten Kenntnissstand, verwenden die einen genetischen Algorithmus, der regelmäßig aufs neue durchlaufen werden muß, um die für die aktuelle Situation optimalen Prozentzahlen zu ermitteln. Diesen Aufwand kann hier keiner betreiben. Demnach müßte jeder selbst seine Prozentzahlen ermitteln, was dann im Zweifel eher supoptimal ist und die ganze Idee ad Absurdum führt. Damit kann man dann auch bei der derzeitigen Lösung bleiben.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: zentrales mini-sammelzentrum

Beitragvon Matador » 24. Aug 2010, 13:12

Hi Andreas_Z,

theoretisch müsste doch ein zentraler Algorithmus reichen, der für alle plugins gültig wäre..
wie diese den Algorithmus füttern, bleibt deren Sache.. aktuell erhält spämi von den plugins sozusagen nur 1=Spam oder 0=Nonspam und reagiert im Trainingsbereich darauf.. eigentlich wäre also dieses sammelplugin ein teil des Trainingsbereiches an dem außer dem sammelplugin noch der lernende Filter hängt. die einzelnen plugins müssten also statt 1en und 0en Prozente liefern..
Beispiele aus meiner Laiensicht wären ;-) :
  1. DCC: der dcc müsste mit dem newsletterplugin zusammengeschlossen werden.. das newsletterplugin fungiert hier dann als ausnahme-/ oder vetoplugin oder besser als lernender filter innerhalb des dcc..
    wenn mehr als
    1. 5 empfänger:51%
    2. 10 empfänger:71%
    3. etc.
  2. Air: ähnlich dcc: wenn mehr als
    1. 5 ähnliche empfänger:71%
    2. 10 ähnliche empfänger:81%
    3. etc.
  3. Attachment: liefert in den Algorithmus des sammelplugin 1=Spam oder 0=Nonspam-dieses wertet aus nach gewichtung aller plugins: aktive plugins:10 und eines meldet spam=100% also mein prozentergebnis +10% = spamprozente (attachment liefe also neben der eigentlichen prozentrechnung) hinzu käme hier die user gewichtung der einzelnen plugins.. (ich würde z.B. DNSBL höher als ServerTester gewichten)
  4. DNSBL: liefert prozente in die prozentrechnung.. gewichtung: 1 von 10 und user wie oben, dann auswertung
  5. Link Filter: liefert prozente in die prozentrechnung.. gewichtung: 1 von 10 und user wie oben, dann auswertung
  6. Script Filter: liefert in den Algorithmus des sammelplugin 1=Spam oder 0=Nonspam wie oben, dann auswertung
  7. Server Tester: liefert in den Algorithmus des sammelplugin 1=Spam oder 0=Nonspam wie oben, dann auswertung
  8. Spam Wort Filter: liefert prozente in die prozentrechnung.. gewichtung: 1 von 10 und user wie oben, dann auswertung

bei dieser vorgehensweise würde ich allerdings die reihenfolge der plugins (aktuell) durch gewichtung der plugins ersetzen... entweder vorgegeben von spämi oder durch user konfigurierbar..

Den Aufwand kann ich nicht einschätzen-ich habe davon kaum ne ahnung.. aber wäre nicht jeder aufwand berechtigt keinen spam mehr zu bekommen!?

lg

Matador
dcc
dcc1.dcc-servers.net, dcc2.dcc-servers.net, dcc3.dcc-servers.net, dcc4.dcc-servers.net, dcc5.dcc-servers.net, generic.ixhash.net, nospam.login-solutions.de
dnsbl
ix.dnsbl.manitu.net, zen.spamhaus.org, bl.spamcop.net, virus.rbl.msrbl.net, dul.ru, dnsbl.inps.de, bogons.cymru.com, ips.backscatterer.org, korea.services.net
Benutzeravatar
Matador
Spam-Jäger
Spam-Jäger
 
Beiträge: 21
Registriert: 13. Aug 2010, 17:51

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 24. Aug 2010, 13:57

Hallo zusammen!

ich hätte nichts dagegen, wenn man die Prozente selber bestimmen würde oder generell alle Filter gleichwertig setzen würde. Eine 100%ige Lösung bekommt man nie hin. Für meine Zwecke könnte ich mir aber schon eine Verbesserung vorstellen. Im Moment gibt es bei den Filtern ja auch schon die Möglichkeit zu sagen, Spam oder nicht. Warum nicht einen 3. und 4. Punkt, ähnlicher Art. Also Spam ja = S , Non-Spam = N und ganz am Ende ein neues PlugIn der die Anzahl der Punkte zählt und dann die Gewichtung nach Spam oder Non-Spam vornimmt und entsprechend filtert.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: zentrales mini-sammelzentrum

Beitragvon Matador » 25. Aug 2010, 23:46

Hi anbuva.

Leider führt das dazu, dass die spam erkennung ad absurdum geführt wird wenn der user die output-prozente selbst angeben kann.. Hier geht's nur um die gewichtung der einzelnen plugins und die auswertung der gelieferten prozentwerte..


Lg

Matador
dcc
dcc1.dcc-servers.net, dcc2.dcc-servers.net, dcc3.dcc-servers.net, dcc4.dcc-servers.net, dcc5.dcc-servers.net, generic.ixhash.net, nospam.login-solutions.de
dnsbl
ix.dnsbl.manitu.net, zen.spamhaus.org, bl.spamcop.net, virus.rbl.msrbl.net, dul.ru, dnsbl.inps.de, bogons.cymru.com, ips.backscatterer.org, korea.services.net
Benutzeravatar
Matador
Spam-Jäger
Spam-Jäger
 
Beiträge: 21
Registriert: 13. Aug 2010, 17:51

Re: zentrales mini-sammelzentrum

Beitragvon Andreas_Z » 26. Aug 2010, 07:07

Hallo Matador!

filter innerhalb des dcc..
wenn mehr als
  1. 5 empfänger:51%
  2. 10 empfänger:71%
  3. etc.
[*]Air: ähnlich dcc: wenn mehr als

Aber genau das ist doch das Problem. Woher nimmst Du die günstigsten Werte für die Prozentangaben? Oder anders, woher hast Du die 51% und die 71%?

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 26. Aug 2010, 09:05

Hallo Matador!

würde ich nicht so sehen wollen. Wenn ich die Prozente selbst vergeben könnte, müsste ich mich natürlich schon an die 100 halten. Aber soweit bräuchte man ja nicht gehen, wenn man die Gewichtung nach Spam bzw. NSpam punktuell vornehmen würde. Wenn z. B. 8 Filter meinen sollen "Spam ja" und 4 Filter "Spam nein" und 1 Filter "weiß nicht", dann ist die Mail klar Spam und der letzte Filter (hier das neue PlugIn z. B.) würde die Mail dann aussortieren. Das noch einmal als Ergänzung zu meinem Beitrag oben.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: zentrales mini-sammelzentrum

Beitragvon Matador » 27. Aug 2010, 17:24

Hallo Jungs!

@Andreas_Z:
Die Prozente hab ich mir aus den Fingern gesogen..
Das sind die Prozente, die die jeweiligen plugins dem "sammel-plugin" liefern, welches Sie nach plugin gewichtet und in eine finale prozentzahl umrechnet. Die wiederum führt zur aussage "spam" oder "nonspam"

@anbuva:
prozentzahlen werden von den einzelnen plugins generiert und ans sammelplugin weitergegeben.. (siehe oben)


Der User kann nur die Gewichtung der einzelnen Plugins variieren..
Es gibt keine Reihenfolge mehr, die plugins stehen sozusagen in einer Reihe und nicht mehr untereinander.
Hier würde ich unterescheiden zwischen plugins, die von natur aus prozente liefern könnten und jenen die nur "spam" und "nonspam" liefern können:

prozente könnten liefern z.b.:
dnsbl,
dcc,
air,
spamwortfilter,
AlphabetSoup,
Strange-Country-Filter,
URL-Filter,

"spam" und "nonspam" liefern könnten z.b.:
attachment,
newsletter filter,
Addressee Filter,
Attachment Extensions Filter,
Server-Tester 0.5.1

Ausnahme wäre der lernende filter, der ein veto besitzt..

lg

matador
dcc
dcc1.dcc-servers.net, dcc2.dcc-servers.net, dcc3.dcc-servers.net, dcc4.dcc-servers.net, dcc5.dcc-servers.net, generic.ixhash.net, nospam.login-solutions.de
dnsbl
ix.dnsbl.manitu.net, zen.spamhaus.org, bl.spamcop.net, virus.rbl.msrbl.net, dul.ru, dnsbl.inps.de, bogons.cymru.com, ips.backscatterer.org, korea.services.net
Benutzeravatar
Matador
Spam-Jäger
Spam-Jäger
 
Beiträge: 21
Registriert: 13. Aug 2010, 17:51

Re: zentrales mini-sammelzentrum

Beitragvon michel » 27. Aug 2010, 17:42

Hallo Leute,

vielen Dank für die ganzen tollen Anregungen!!! Ich denke jedoch, dass sich eine solche Vorgehensweise nach aktuellem Stand nicht lohnen würde. Nehmen wir nur einmal die Standard-Plugins, die mit Spamihilator geliefert werden:
  1. Attachment Filter - liefert keine Prozente, macht auch keinen Sinn
  2. DCC-Filter - keine Prozente, könnte man aber ansatzweise umsetzen, obwohl das extrem grobe Schätzungen wären, also eigentlich unbrauchbar
  3. Image Filter - keine Prozente
  4. Lernender Filter - Prozente (aber in den meisten Fällen im Bereich zwischen 95% und 98%)
  5. Link-Filter - Kann unter Umständen Prozente liefern. In der Regel enthält eine Mail aber nur einen Link und deshalb liegt der Wert fast immer bei 100%
  6. Newsletter-Plugin - keine Prozente
  7. Regelfilter - Keine Prozente, wäre auch absolut kontraproduktiv, da die Regeln immer greifen sollten und nicht nur in z.B. 75% aller Fälle :)
  8. Spam-Wort-Filter - Pseudo-Prozente (auch über 100%!)

Ich sehe bei diesen Plugins kein einziges, dass sinnvolle Werte für ein solches Filterverfahren liefert bzw. liefern könnte. Da die meisten Leute sowieso nur die mitgelieferten Plugins einsetzen (die zusammen schon eine sehr hohe Filterleistung haben), würde ich eine Bewertung nach Prozentpunkten sogar als kontra-produktiv bezeichnen.

Außerdem: Siehe meine Signatur! :D :D :D

Versteht mich nicht falsch. Ich möchte die Idee ja nicht schlecht machen oder so, aber ich sehe im Moment einfach keinen großen Nutzen, der den doch sehr hohen Programmieraufwand rechtfertigen würde. Trotzdem bin ich natürlich immer dankbar für jegliche Ideen und Anregungen.

Gruß
Michel
Chuck Norris doesn't kill Spam. He uses Spamihilator! ;-)
Benutzeravatar
michel
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
Plugin-Programmierer
 
Beiträge: 4335
Registriert: 22. Mär 2003, 01:16
Wohnort: Buseck

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 27. Aug 2010, 18:26

Hallo michel!

ich stehe schon auf Deiner Linie, doch finde ich die Idee grundsätzlich super. Ich möchte mich daher noch einmal von den "Prozenten" wegbewegen, da ich mich noch ein wenig unverstanden fühle und ich auch nicht unbedingt die Lösung nur in den Prozenten sehe (wir sollten uns also vielleicht nicht nur darauf allein versteifen). Also Prozente einmal raus und dafür die
Punktebewertung (für jeden Filter) für A ( =Spam), B ( =NonSpam) und C ( =neutral) rein.
Die von Dir angesprochen Filter würden dann hier mit bewertet werden.
Am Ende würde sich dann entscheiden, ob A, B oder C die meisten Punkte bekommen hätte. Hätte A die meisten Punkte bekommen würde die Mail als Spam eingestuft werden und letztendlich in den Papierkorb (nach dem Lernen :wink: ) vom Spami wandern.

Nun könnte man aber argumentieren, dass es bei einigen Filter wenig Sinn machen würde, die Mail noch weiter zu betrachten. In diesem Fall hätten wir aber dann ja noch die derzeitige Einstellung: Betrachte keine weiteren Filter mehr, sondern sortiere raus, was der aktuelle Filter nun meint. Also "beende den Filter-Prozess".

Meiner Überlegung nach müsste sich das vielleicht doch irgendwie realisieren lassen. Wir haben im Moment bei den Filtern ja auch schon die Möglichkeit zu sagen, was der Filter zu tun hat, wenn er eine Spam oder Non-Spam findet. Hier müsste man dann weiter ansetzen und zusätzlich sagen können, wenn der Filter eine Spam findet, werte die Mail mit einem Punkt bei A usw. Es müssten also 3 zusätzliche Kriterien auswählbar sein.

Leider kann ich den Aufwand nicht abschätzen.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: zentrales mini-sammelzentrum

Beitragvon Chactory » 28. Aug 2010, 19:52

Hallo zusammen!

Wäre die Idee nicht vielleicht zu retten, wenn man das "Master-Plugin" viel einfacher funktionieren lassen würde? Man könnte das Verhalten aller Filter auf "Fortsetzen" schalten. Am Schluß könnte ein Entscheider-Plugin die Bewertungen aller Filter sammeln. Der User könnte das so einstellen, wie er möchte. Z.B.: "Spam ist, wenn mehr Filter die Mail als Spam bewerten, denn als Non-Spam". Oder: "Spam ist, wenn zwei Filter Spam bewerten, es sei denn, daß der X-Filter Non-Spam bewertet".
Chactory hat geschrieben:Bloß, wer programmiert uns das? Momentan haben wir keine Anwender im Boot, die auch programmieren können ...

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 28. Aug 2010, 21:52

Hallo Chactory!

das was Du schilderst ist im Grunde schon (so sehe ich das im Moment) das von mir angedachte, weil im Hintergrund Deiner Schilderung ja trotzdem noch ein Zähler laufen müsste. :wink: Ich habe es nur ein wenig detailierter geschildert und auch Filter mit betrachten wollen, bei denen eine weitere Entscheidung (wg. Eindeutigkeit) nicht notwendig wäre. Das müsste im jetzigen Stand ja schon machbar sein und höchstens ein paar wenige Code-Zeilen zusätzlich beinhalten (ich sag das mal einfach so :roll: ).
Auf jeden Fall, da sind wir uns wohl einig, müsste am Schluß ein Entscheider PlugIn zum Zuge kommen. Das PlugIn braucht ja keine große Funktion, müsste also nur noch nach Spam oder Non-Spam einorden können.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: zentrales mini-sammelzentrum

Beitragvon Chactory » 29. Aug 2010, 10:56

Hallo Anbuva!

Ja! :)

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 29. Aug 2010, 16:19

Hallo Chactory!

für eine mögliche Lösung müsste sich hier Michel die Arbeit machen oder ein Programmierer finden. Eine Zusammenarbeit wäre dann aber sicherlich noch erforderlich, da im Spamihilator selbst jede Mail bewertet bzw. jeder Filter eine erweiterte Bewertung abgeben müsste.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: zentrales mini-sammelzentrum

Beitragvon Chactory » 29. Aug 2010, 19:03

Hallo Anbuva!

Erinnerst Du Dich noch an Bob's Unclassified Filter? Der konnte ja auch mit einem Algorithmus ganz am Schluß entscheiden.

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: zentrales mini-sammelzentrum

Beitragvon anbuva » 29. Aug 2010, 19:19

Hallo Chactory!

da brauche ich micht daran erinnern, den habe ich doch noch im Einsatz :) . Jede Mail, die bei mir von anderen nicht eindeutig klassifiziert wurde, wird am Ende als Spam deklariert. Hier steckt aber kein großer Algo hinter, da er ja nur je nach Einstellung sagt, entweder Spam oder Non-Spam. Er betrachtet ja nicht direkt die Ergebnisse der anderen Filter. Es stimmt aber, dass er leicht abgewandelt unseren Zweck erfüllen könnte. Trotzdem würde das allein hier aber ja nicht ausreichen, was ich oben ja schon erklärt hatte. :wink:

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

VorherigeNächste

Zurück zu Plugins: Allgemein

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron

 industrious-southeast