Re: Language file, Filterungsgrund, Etikette
Verfasst: 20. Jan 2009, 02:20Hallo,
ich merke, dass ich das Konzept des IMP-Filter nochmals deutlicher machen muss: die Verwendung dieses Filters macht soweit ich das bis jetzt sehe kaum einen Sinn, wenn man sich nicht einen individuellen Mail Parser baut, der genau auf die eigenen Themengebiete und speziellen Feinde zugeschnitten ist. Im Unterschied zu dem statistischen Wortfilter des Spamihilators kann man ein TextTransformer-Projekt so einrichten, dass es Mails absolut klassifiziert. Wenn durch den Parser sicher gestellt ist, dass wichtige Mails nicht verlorengehen, können andere Kriterien, z.B. das Vorhandensein von Links strikter zum Ausschluss von Spam eingesetzt werden. Nur die einzelne Person kann aber genau wissen, wie die Mails beschaffen sind, die er auf jeden Fall erhalten möchte. Solche Mail-Parser kann man nur schwer für jemand anderen machen und schon gar nicht für die Allgemeinheit.
Nur wer wirklich unter großen Mengen an Spam leidet, wird sich die Mühe machen seinen eigenen Spamfilter zu programmieren. Für jemanden, der gerade mal ein dutzend Spam-Mails am Tag erhält lohnt sich das nicht, bei 120 aber schon eher. Das ist die Größenordnung die bei mir täglich ankommt. 95% davon konnte ich mit den vorhandenen Filtern abfangen. Das ist eigentlich schon eine gute Quote. Aber damit blieben immer noch ca. ein halbes Dutzend übrig, die ich von Hand in den Papierkorb befördern musste. Das hat mich genervt und geärgert. Die meisten nicht erkannten Spam-Mails bestanden aus Zufallstexten, die zudem den lernenden Filter aus dem Konzept brachten, so dass er sogar bereits Gelerntes wieder zu vergessen schien. Oft war es mir nicht klar, warum die Mails nicht abgefangen wurden, obwohl ich mir mit entsprechenden regulären Ausdrücken große Mühe gegeben hatte. Mit dem TextTransformer kann man dagegen die Analyse einer Mail ganz exakt Schritt für Schritt nachvollziehen. Seit ich den IMP-Filter so von Hand trainiert habe, fängt er allein 95% der Spam ab und den Rest erledigen fast vollständig die anderen nachgeschalteten Filter.
Zum händischen Trainieren des Filters muss aber das TextTransformer-Programm installiert sein. Solange es keine TextTransformer-Projekte gibt, die allgemeinen Charakter haben, seh ich deshalb keinen Vorteil darin die benötigten dll's nicht in das Systemverzeichnis zur gemeinsamen Nutzung zu kopieren. Dazu hat man die dll's und das Systemverzeichnis schließlich erfunden und deshalb baut man ja Installationsprogramme. Auch der Spamihilator selbst nutzt dieses Verzeichnis.
Ich verstehe Euren Widerwillen gegen diese voluminöse Filterinstallation, und erst recht gegen ein so großes Programmpaket wie den TextTransformer. Der IMP-Filter ist eben weniger an Euch adressiert als an Kleinunternehmer und Programmierfreaks wie mich. Trotzdem würde ich mich sehr freuen, wenn Ihr ihn wenigstens einmal testen würdet. Bald gibt es ein TextTransformer-Update, in das die hier gemachten Erfahrungen einfließen. Vielleicht kommt der eine oder andere dann doch auf den Geschmack.
Gruß
Detlef
ich merke, dass ich das Konzept des IMP-Filter nochmals deutlicher machen muss: die Verwendung dieses Filters macht soweit ich das bis jetzt sehe kaum einen Sinn, wenn man sich nicht einen individuellen Mail Parser baut, der genau auf die eigenen Themengebiete und speziellen Feinde zugeschnitten ist. Im Unterschied zu dem statistischen Wortfilter des Spamihilators kann man ein TextTransformer-Projekt so einrichten, dass es Mails absolut klassifiziert. Wenn durch den Parser sicher gestellt ist, dass wichtige Mails nicht verlorengehen, können andere Kriterien, z.B. das Vorhandensein von Links strikter zum Ausschluss von Spam eingesetzt werden. Nur die einzelne Person kann aber genau wissen, wie die Mails beschaffen sind, die er auf jeden Fall erhalten möchte. Solche Mail-Parser kann man nur schwer für jemand anderen machen und schon gar nicht für die Allgemeinheit.
Nur wer wirklich unter großen Mengen an Spam leidet, wird sich die Mühe machen seinen eigenen Spamfilter zu programmieren. Für jemanden, der gerade mal ein dutzend Spam-Mails am Tag erhält lohnt sich das nicht, bei 120 aber schon eher. Das ist die Größenordnung die bei mir täglich ankommt. 95% davon konnte ich mit den vorhandenen Filtern abfangen. Das ist eigentlich schon eine gute Quote. Aber damit blieben immer noch ca. ein halbes Dutzend übrig, die ich von Hand in den Papierkorb befördern musste. Das hat mich genervt und geärgert. Die meisten nicht erkannten Spam-Mails bestanden aus Zufallstexten, die zudem den lernenden Filter aus dem Konzept brachten, so dass er sogar bereits Gelerntes wieder zu vergessen schien. Oft war es mir nicht klar, warum die Mails nicht abgefangen wurden, obwohl ich mir mit entsprechenden regulären Ausdrücken große Mühe gegeben hatte. Mit dem TextTransformer kann man dagegen die Analyse einer Mail ganz exakt Schritt für Schritt nachvollziehen. Seit ich den IMP-Filter so von Hand trainiert habe, fängt er allein 95% der Spam ab und den Rest erledigen fast vollständig die anderen nachgeschalteten Filter.
Zum händischen Trainieren des Filters muss aber das TextTransformer-Programm installiert sein. Solange es keine TextTransformer-Projekte gibt, die allgemeinen Charakter haben, seh ich deshalb keinen Vorteil darin die benötigten dll's nicht in das Systemverzeichnis zur gemeinsamen Nutzung zu kopieren. Dazu hat man die dll's und das Systemverzeichnis schließlich erfunden und deshalb baut man ja Installationsprogramme. Auch der Spamihilator selbst nutzt dieses Verzeichnis.
Ich verstehe Euren Widerwillen gegen diese voluminöse Filterinstallation, und erst recht gegen ein so großes Programmpaket wie den TextTransformer. Der IMP-Filter ist eben weniger an Euch adressiert als an Kleinunternehmer und Programmierfreaks wie mich. Trotzdem würde ich mich sehr freuen, wenn Ihr ihn wenigstens einmal testen würdet. Bald gibt es ein TextTransformer-Update, in das die hier gemachten Erfahrungen einfließen. Vielleicht kommt der eine oder andere dann doch auf den Geschmack.
Gruß
Detlef
