[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 483: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 112: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 112: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/bbcode.php on line 112: preg_replace(): The /e modifier is no longer supported, use preg_replace_callback instead
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4692: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4694: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4695: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
[phpBB Debug] PHP Warning: in file [ROOT]/includes/functions.php on line 4696: Cannot modify header information - headers already sent by (output started at [ROOT]/includes/functions.php:3823)
Spamihilator » Thema anzeigen - Neuer Sprachfilter

Neuer Sprachfilter

Alles, was mit Plugins für Spamihilator zu tun hat. (Keine Plugin-Hilfe, Plugin-Bugs oder Plugin Feature Requests, siehe jeweils dort.)

Moderator: Forum-Team

Re: Neuer Sprachfilter

Beitragvon Quellcore » 21. Jul 2010, 03:39

CPU: (@ 45*100 = 4500 MHz)
Board:
Ram: 16GB (Timings 10-10-10-28 2T @ 1866 MHz)
SSD:
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Neuer Sprachfilter

Beitragvon anbuva » 21. Jul 2010, 06:32


Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon Andreas_Z » 21. Jul 2010, 07:33

Hallo Quellcore und Chactory!

jetzt habe ich erst verstanden, wo Ihr hin wollt. Euer Gedankengang ist äußerst interessant. Ziel ist es, die Sprachen zu definieren, die auf jeden Fall durch kommen sollen. Da hier anscheinend die sichere Erkennung nicht funktioniert und daher viele False-Positives entstehen (@chactory: Sind alle FPs mit "Sprache unbekannt" aussortiert worden?), sollte man die Erkennung unsicherer machen. Ich glaube aber, dass das nur ein behandeln der Symtome ist. Ich habe keinerlei Probleme mit dem Filter. Ich habe Deutsch und Englisch installiert. Alle Sprachen werden ignoriert und unbekannte Sprachen als Spam behandelt. Die Werte stehen alle auf Default. Der Filter steht bei mir an zweiter Stelle. Bisher hat er nur sehr wenig angeschlagen. Aber wenn, dann hat er die Mails sauber als Spam aussortiert. Genau nach Plan. Ich fürchte, die Ursache sind hier Wörterbücher, die nicht sauber sind. Ich habe die von OpenOffice verwendet und hier die möglichst allgemeinen genommen. Normalerweise müßte in Chactory's Situation ein recht hoher Schwellwert die False-Positives verringern. Ein niedriger Schwellwert würde ja dafür sorgen (Wenn ich Michel richtig verstanden habe), dass die Zielsprache ungenauer und damit häufiger erkannt würde. Aber leider werden dann auch vermehrt Mails anderer Sprachen (oder mit unsinnigen Wörtern) als richtig erkannt. Das sind dann die ebenfalls unerwünschten False-Negatives. Denn genau wie die Zielsprachen (Deutsch und Englisch) würden auch die unbekannten überdurchschnittlich häufig erkannt werden, was deutlich am zu erreichenden Ziel vorbei geht.

Ich überlege aber gerade noch was anderes. Unser Problem ist, dass bei der von uns verwendeten Methode (die installierten Zielsprachen sollen ignoriert werden, unbekannte Sprachen sollen als Spam raus), die FPs doch die Filterbank weiter durchlaufen müßten. Warum sind die bei Chactory denn trotzdem bis zum Mailclient durchgekommen? Der Filterungsgrund dürfte demnach ja nicht der Sprachfilter gewesen sein. Es sei denn, es waren False-Negatives. Das heißt, die Sprache wurde nicht erkannt und daher als unbekannt eingestuft -> Spam. Hab ich da was falsch verstanden?

@Quellcore: Freut mich, dass doch auf einer Welle surfen. Lange Mails finde ich super. Die Zeugen immer von tiefen Gedanken und dem bestreben, sein Wissen zu teilen. Eben dass, was diesem Forum so viel gibt. Das soll jedoch nicht missverstanden werden. Auch kurz und knapp hat seinen Reiz, wenn alles wichtige gesagt wird. Manchmal hätte ich mir in anderen Foren eine solche Kultur gewünscht. Da werden einem oft nur noch kurze Bemerkungen an den Kopf geworfen, aber geholfen ist einem dann trotzdem nicht.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
, ,
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Neuer Sprachfilter

Beitragvon Andreas_Z » 21. Jul 2010, 07:39

Hallo anbuva!

Ja, dem stimme ich zu. Da steckt viel Potential drin. Deshalb find ich diese Diskusion auch so wichtig. Nur auf diese Weise, schöpfen wir es aus. Ich bin mal gespannt, ob wir chactory's Problem noch gelöst bekommen.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
, ,
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Neuer Sprachfilter

Beitragvon anbuva » 21. Jul 2010, 11:31

Hallo Andreas_Z!

Chactory hat bestimmt nur wieder einiges verstellt. Das kommt davon, wenn er im Weinkeller an dem Filter rumspielt. :lol:

Ne, aber das Problem sollte wirklich zu lösen sein. Ich tendiere ja auch mehr zu den Wörterbüchern. Bei mir waren die Sprach-Dateien vor dem Import über 20 MB groß.

Gruß
anbuva

Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon Chactory » 21. Jul 2010, 16:34

Hallo Anbuva, Quellcore und Andreas_Z!

Vielen Dank für Eure Vorschläge und Überlegungen. Jetzt versuche ich es also erstmal so. (Wenn es zu selten vorkommt, daß der Sprachfilter nun überhaupt noch etwas erkennt, werde ich langsam wieder höher stellen. )

Gruß, Chactory

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9612
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Neuer Sprachfilter

Beitragvon anbuva » 21. Jul 2010, 18:05

Hallo Chactory!

:wink:

Gruß
anbuva

Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon Andreas_Z » 22. Jul 2010, 06:06

Hallo Chactory!

Ich bin schon gespannt.....

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
, ,
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Neuer Sprachfilter

Beitragvon anbuva » 24. Jul 2010, 14:11

Hallo Chactory!

ich experimentiere jetzt mal auch. Mal schauen, was sich dabei so ändert. :wink:

Gruß
anbuva

Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon michel » 25. Jul 2010, 06:39

Hallo Leute!

Vielen Dank für diese ausführliche Diskussion! Ich Schließ daraus, dass die Einstellungen des Filters noch sehr verwirrend sind und vereinfacht oder besser erklärt werden müssen (wobei ich zu ersterem tendiere).

Dass der Name der Wörterbücher unter XP nicht automatisch erkannt wird, hängt damit zusammen, dass eine bestimmte Windows-Funktion, die aus Sprachkürzeln wie DE einen richtigen Sprachnamen (also z.B. "Deutsch") macht, erst ab Vista verfügbar ist. @Andreas_Z: mehrere Dateien der gleichen Sprache zu installieren macht eigentlich keinen Sinn. Hast du ein gutes Beispiel dafür?

Gruß
Michel
Benutzeravatar
michel
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
Plugin-Programmierer
 
Beiträge: 4335
Registriert: 22. Mär 2003, 01:16
Wohnort: Buseck

Re: Neuer Sprachfilter

Beitragvon anbuva » 25. Jul 2010, 10:51


Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon michel » 25. Jul 2010, 11:31

Hi!

Aber eigentlich müsste er dann doch einmal "Deutsch (Deutschland)" und einmal "Deutsch (Schweiz)" importieren. Funktioniert das nicht?

Gruß
Michel

P.S.: Sorry für die Verwechslung. Der Thread war so lang, dass ich den Überblick verloren habe :-)
Chuck Norris doesn't kill Spam. He uses Spamihilator! ;-)
Benutzeravatar
michel
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
Plugin-Programmierer
 
Beiträge: 4335
Registriert: 22. Mär 2003, 01:16
Wohnort: Buseck

Re: Neuer Sprachfilter

Beitragvon anbuva » 25. Jul 2010, 12:15

Hallo michel!

ja, so zeigt er das auch an. Ich sehe da jetzt ja auch keine Probleme damit. Höchstens, dass die sich bei über 90% der beinhaltenden Wörter vielleicht überdecken; aber das ist ja auch kein Problem. Wie geschrieben, ich sehe hier nur marginale Unterschiede im Bezug zu landestypischen Wörtern.

Gruß
anbuva

Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Neuer Sprachfilter

Beitragvon Andreas_Z » 26. Jul 2010, 06:59

Hallo michel!

meine Beweggründ sind leicht andere als Anbuvas. Im deutschen wollte ich einfach die Unterschiede zw. der alten und der neue Rechtschreibung berücksichtigt haben. Im Englischen habe ich keine Ahnung. Hier wollte ich eigentlich erreichen, das US-Englisch und very Brititsch-Englisch erkannt werden können. Ob das aber gelingt, ist mir nicht so klar. Ich gebe aber zu, das ich dem Filter hier vielleicht eine zu hohe Genauigkeit unterstelle. Vielleicht kann der Bloom-Filter das nicht abbilden. Hier bin ich auf Deine geschätzte Meinung angewiesen. Wenn das sagst, dass das nicht viel Sinn hat, nehme ich sofort zwei Sprachen raus. Das spart Rechenzeit.

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
, ,
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Neuer Sprachfilter

Beitragvon anbuva » 26. Jul 2010, 11:35

Hallo Andreas_Z!

ich glaube nicht, dass hier viel Rechenzeit beansprucht wird. Das mit der neuen bzw. alten Rechtschreibung würde ich aber auch so sehen. Würde ja ähnlich wie Deutsch(Deutsch) und Deutsch(Österreich) sein. Da will ich ja auch Unterschiede oder Ergänzungen berücksichtigt haben.

Gruß
anbuva

Bild
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

VorherigeNächste

Zurück zu Plugins: Allgemein

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

 industrious-southeast