Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Haben Sie einen Fehler in einem Plugin entdeckt?

Moderator: Forum-Team

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Andreas_Z » 10. Mär 2010, 08:25

Hallo Quellcore!

Klasse! Es ist doch irgenwie beruhigend, das das Problem nicht auf einem Software-Bug basiert und daher lösbar war. Dein Hirn scheint langsam fahrt aufzunehmen :wink: :D

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Chactory » 10. Mär 2010, 13:01

Hallo zusammen!

@ Quellcore, beziehst Du Dich auf Dein Eingangsposting?
Demnach scheint Deine Regel jetzt zu filtern?
8)

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon anbuva » 10. Mär 2010, 18:41

Hallo Quellcore!

8)

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Quellcore » 11. Mär 2010, 03:11

Moin noch mal an alle,

Ja, ich bezog mich auf mein erstes Posting, die Regel scheint nun generell zu funktionieren.

Aber:
Im Eingangsposting hatte ich ja von dem Fall berichtet, dass eine Mail am Regelfilter vorbei lief, obwohl diese eine Regel aber hätte greifen müssen.
Bei der nachträglichen Überprüfung im RegEx Coach hat die Regel aber funktioniert, da bin ich mir doch recht sicher. Dabei habe ich den Text aus der durchgeschluepften Mail und die Regel aus dem Regelfilter in den RegEx Coach kopiert.

Das muss ich noch weiter beobachten.
Sollte ich dieses Problem reproduzieren können, handelt es sich höchstwahrscheinlich nur um einen Unterschied im RegEx-Dialekt zwischen RegEx Coach und der Boost-Bibliothek.

Gruss,
Quellcore
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Quellcore » 11. Mär 2010, 04:38

Hallo an alle!

Der Nervbrocken ist zurueck 8)
Also, den Fall noch einmal extrem vereinfacht:

Wie man schön sieht, reicht hier ein [\W\s_] aus um den Zeilenvorschub zu erkennen.
RegEx CRLF 01.png
Wie man schön sieht, reicht hier ein [\W\s_] aus um den Zeilenvorschub zu erkennen.
RegEx CRLF 01.png (11.78 KiB) 4557-mal betrachtet


Im Regelfilter funktioniert dies aber so nicht, hier sind zwei [\W\s_] nötig.
RegEx CRLF 02.png
Im Regelfilter funktioniert dies aber so nicht, hier sind zwei [\W\s_] nötig.
RegEx CRLF 02.png (8.76 KiB) 4557-mal betrachtet


Die RegEx Implementierungen sind also leicht verschieden wenn es um den Zeilenvorschub CRLF geht. Dis riecht sehr stark nach dem Thema Multiline/Singleline Modus.

Gruß
Quellcore
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Chactory » 11. Mär 2010, 08:50

Hallo Quellcore!

Könntest Du das für Banausen wie mich :wink: einmal genauer erklären?

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon anbuva » 11. Mär 2010, 18:16

Hallo Quellcore, hallo Chactory!

ich kann euch nur noch bewundern, was ihr mit der RegEx mittlerweile so alles zaubert. Im Ernst, ich finde das ganze hier hochinteressant :D

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Chactory » 11. Mär 2010, 23:56

Hallo Anbuva!

Vielen Dank für Dein freundliches Lob und Dein Interesse! :)

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Quellcore » 12. Mär 2010, 05:06

Hallo Chactory!

Hat mein Trick also funktioniert!
Einen Fachbegriff eingeworfen und schon bleibt Dir die Spucke weg. :lol:

Ich bin diesbezüglich auch kein Profi und werfe jedes mal frustriert das Handtuch, wenn ich mal wieder versuche, tiefer in die (Anti-) Materie der Regular Expressions einzutauchen.

Zu meinem Problem respektive Beispiel:
Ich wollte eine Regular Expression für eine bestimmte Spamphrase erstellen.
Code: Alles auswählen
Spam Zeile1
Spam Zeile2

Spammer arbeiten ja oft mit dem Trick, Spamwörter durch Einstreuen von Zusatzzeichen, Leerzeichen, Tabs und Zeilenvorschüben zu maskieren.
Genau das passiert in meinen o.g. Beispiel.
Zeile1 und Zeile2 sind eigentlich Teil einer Phrase, trotzdem wurde am Ende der Zeile1 eine neue Zeile forciert. ('ENTER' am Ende der Zeile drücken)
Es scheint hier ein großes Kuddelmuddel bzgl. Zeilenvorschub, Wagenrücklauf und Zeilenumbruch in der Computerwelt zu geben, speziell wenn es um die Implementierung in unterschiedlichen Betriebssystemen geht.

Im Programm The Regex Coach erkennt meine Regex
Code: Alles auswählen
Spam Zeile1[\W\s_]?Spam Zeile2

diese Spamphrase.

Im Regelfilter funktioniert diese Erkennung aber nicht.
Die RegEx muss erweitert werden auf
Code: Alles auswählen
Spam Zeile1[\W\s_]{0,2}Spam Zeile2

Die vom Regelfilter genutzte Boost Bibliothek sieht am Ende der Zeile anscheinend zwei Steuerzeichen, den CR (Carriage Return) und den LF (Linefeed), waehrend das Programm The Regex Coach das wohl eher also kombiniertes Steuerzeichen CRLF sieht.

Also, ein ziemliches Chaos!
Zum Glück ist dieses Problem nur beim Scannen von Multizeilen präsent, bei Headerfeldern sollte dies vollkommen irrelevant sein, da dort keine Zeilenumbrüche sein dürften.

Gruß
Quellcore
CPU:Intel Core i7-2700K Processor (@ 45*100 = 4500 MHz)
Board:ASRock P67 Extreme4 Gen3
Ram: 16GB G.SKILL Ripjaws X Series (4 x 4GB) DDR3 2133 (Timings 10-10-10-28 2T @ 1866 MHz)
SSD: Samsung 128GB 2.5-inch SSD 830 Series (Desktop)
HDD-1: WD Caviar® SE16 640 GB, SATA2, 16 MB Cache, 7200 RPM
HDD-2: SAMSUNG EcoGreen F4 ST2000DL004 2TB 32MB Cache
Graphic: ATI Radeon HD 5850 ASUS EAH5850/G/2DIS/1GD5

Win 7 Ultimate 64-Bit / ESET NOD32 Antivirus 8.0 / Firefox 34 / Thunderbird 31
Spamihilator 1.6.0
Benutzeravatar
Quellcore
Assistent
Assistent
 
Beta-Tester
 
Beiträge: 1706
Registriert: 8. Mai 2004, 13:03
Wohnort: Long Island / USA

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Andreas_Z » 12. Mär 2010, 08:30

Hallo Quellcore!

Hmmm... mit dem Kuddelmuddel hast Du auf jeden Fall recht. Dennoch hast Du das Problem doch gut gemeistert. Ich habe gerade mal kurz gegooglet, um die Beddeutung Deines Konstruktes zu verstehen. Dabei bin auf folgendes gestossen:

Code: Alles auswählen
\r
    Wagenrücklauf, &#D;
\f
    Seitenvorschub, &#C;
\n
    neue Zeile, &#A;

Wäre das vielleicht besser geeignet? Ich kann mir vorstellen, dass die Entwickler sich auch dieses Problems bewußt sind. Ich könnte mir vorstellen, dass ein Konstrukt wie:
Code: Alles auswählen
[\r|\f|\n]*
gut funktioniert oder?

Gruß
Andreas_Z
Core i7 3,4 GHz, 8 GB RAM, Win7 64bit SP1, GDATA Bussiness 11.0
Exchange-Server 2003, VM mit WinXP Pro SP3.
Spami-Online-Hilfe, Spami-FAQ, Anbuva's FAQ
Benutzeravatar
Andreas_Z
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 4380
Registriert: 6. Nov 2003, 08:10
Wohnort: Schwielowsee, Germany

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Chactory » 12. Mär 2010, 09:48

Hallo Quellcore und Andreas_Z!

Vielen dank für Eure interessanten Antworten! :)

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon anbuva » 12. Mär 2010, 19:14

Hallo Chactory!

ein spontaner Gedanke: wäre es nicht lohnenswert ein Extra-Forum zu starten, nur für Reg-Ex-Sachen? Ich würde das mittlerweile schon als sehr lohnenswert ansehen. Ich will das zwar jetzt nicht überschwenglich- oder überbewerten, doch ich finde das ehrlich sehr gut, da ihr mittlerweile sehr viel Know-How an den Mann bringt.

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon Chactory » 12. Mär 2010, 20:09

Hallo Anbuva!

Vielen Dank für Dein Lob und Deine Ermutigung! Das wäre natürlich denkbar, vielleicht auch im Beta-Bereich, wie die Ideen zum Regel-Filter?

Gruß, Chactory
HilfeHelp «en»TippsAnbuva's FAQBob's FAQ «en»SpamwortlisteRegelfilterScreenshotsSSL/TLSSpami 1.6.0
Vostro 3450, Intel Core i5 2410M 2,3 GHz, 4 GB DDR3 SDRAM 1333 MHz, Windows 7 Pro 64 Bit SP1

Bild
Benutzeravatar
Chactory
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 9593
Registriert: 9. Jan 2004, 23:19
Wohnort: Kiel (D)

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon anbuva » 12. Mär 2010, 22:48

Hallo Chactory!

von meiner Seite hättest Du bzw. hättet ihr mich als Fürsprecher :wink:

Gruß
anbuva
Benutzeravatar
anbuva
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
 
Beiträge: 8403
Registriert: 1. Sep 2004, 12:58
Wohnort: Zuhause

Re: Regelfilter: Bedingung mit zu langer RegEx wird übersprungen

Beitragvon michel » 13. Mär 2010, 09:51

Hi!

Könnte man evtl. einen kombinierten Bereich für Regelfilter und reguläre Ausdrücke erstellen? Ich habe Bedenken, dass sonst beide Bereiche relativ leer bleiben.

Gruß
Michel
Benutzeravatar
michel
Administrator
Administrator
 
Administration
Beta-Tester
Forum-Team
Plugin-Programmierer
 
Beiträge: 4335
Registriert: 22. Mär 2003, 01:16
Wohnort: Buseck

VorherigeNächste

Zurück zu Plugins: Bugs

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron

 industrious-southeast