Bayes Filter Plugin v2.0.1

Hallo,

ich hab mich kurzfristig entschlossen ein kleines Bugfix Release zu veröffentlichen, da ich ansonsten nicht weiss wann ich dazu kommen werde. An manchen Stellen kann es sein, dass ich noch etwas vergessen habe. Wenn das der Fall ist, dann bitte umgehend eine Mail an mich senden. Ansonsten möchte ich den beiden unermüdlichen Testern Piktor und Tommy danken, die mir sehr geholfen haben und es hoffentlich auch weiter tun werden. :thx:

Die neuen Features bzw. Bugfixes sind folgende:

- Added: edit button for the regular expression filter
- Added: loading of included regular expression filter lists (see B_INCLUDE_LIST feature)
- Improved: usage of new boost library (v1.31 to v1.32)
- Improved: usage of new PCRE library (v4.5 to v5.0)
- Improved: speed of the regular expression filter
- Bugfix: exception in RegExpFilter::ScoreMail function if the received mail has no body
- Bugfix: exception in TBPtest::TBP_GetSpamScore function if the received mail has no body
- Bugfix: DNS-Blacklist filter was not working
- Bugfix: memory leak within the regular expression filter
- Bugfix: many exceptions in different functions if you use more than one mailaccount

Der Download ist wie immer auf meiner Homepage (http://www.lkcc.org/achim)oder über die Update Funktion erreichbar.

Achim

wow, trotz privatem Stress, danke!

und nichts zu danken, wir haben für eine fehlerbereinigte Version zu danken!

-piktor-

So, hab die alte Version runtergeschmissen und die neue nochmal installiert - mit frischer Datenbank. Trainiere das Teil mit 3k Spammails und 51k Ham-Mails (die scanned er gerade).
Die Probleme die ich beim ersten mal mit dem Trainieren hatte (jedesmal nachdem er ein Verzeichnis durchgescanned hatte, wollte er ne bestätigung) treten nun nichtmehr auf - sieht zumindest nicht so aus.

Danke für die gute Arbeit - werd mal weiter testen wie sich das Spam-Plugin so verhält ... :D.

Zitat

Die Probleme die ich beim ersten mal mit dem Trainieren hatte (jedesmal nachdem er ein Verzeichnis durchgescanned hatte, wollte er ne bestätigung) treten nun nichtmehr auf - sieht zumindest nicht so aus.

Zu früh gefreut: Nach 17k hat er abgebrochen und berichtet, dass er nun mit den 17k fertig wäre - beim klick auf ok, hat er die restlichen auch noch gemacht - damit kann man leben :D.

Allerdings wurde heute eine Ham nachricht als Spam markiert:

Nachrichten-ID: 000101c4f40a$37b4c2a0$a3fcfea9@XXXX, Absender: XXXX, Betreff: XXXX, Score: 100, Ursache: dnsbl.sorbs.net combined.njabl.org list.dsbl.org

Wie kann den sowas passieren, dass die Nachricht geblacklisted wurde? Wie kann ich sowas vermeiden? (Whitelists will ich bewusst nicht einsetzen - will testen wie gut die Bayes-Engine ist). Ansonsten wurden auch noch 5 Mails vom BT (von RitLabs) als Spam markiert - obwohl gestern ca. 200 solcher Mails als Ham trainiert wurden (weiss aber nicht, obs am DNSBL oder Bayes lag).

Dann noch eine Frage: Wann wird denn eine DNSBL Abfrage gestartet? Und wird die gecached? und wenn ja, wie lange?

ich find die update funktion nirgends?
reicht es einfach drüber zu installieren?

Just to let you know:

Habe Update von 1.5.6 auf 2.0.1 vorgenommen, seither landeten etliche Mails von wirklich dauerhaften Mail-Partnern im Spam-Ordner. Nähere Diagnose steht noch aus, momentan fahre ich erhöhtes scan_spam_folder_level ...

TB 3.0.1.33 ... (früher gab's mal Xmas-editions)

Zitat

ich hab auch schon festgestellt, dass die beiden server dnsbl.sorbs.net combined.njabl.org fast immer zuschlagen. ich werde die beiden wahrscheinlich wieder entfernen.
dns-blacklist tests werden als letzter test durchgeführt, wenn kein anderer filter die mail als spam klassifiziert hat. die dns-requests werden auch gecached und zwar 5 oder 10 tage lang (weiss nicht mehr genau).

achim

Zitat

Wie ist die Abarbeitungsreihenfolge?
DNSBL - > RegEx -> Bayes

black/whitelist -> bayes -> regexp -> dnsbl

wenn eine nachricht ab dem bayes filter als spam markiert wird, so werden die folgenden tests nicht mehr durchgeführt.

achim

Zitat

Habe Update von 1.5.6 auf 2.0.1 vorgenommen, seither landeten etliche Mails von wirklich dauerhaften Mail-Partnern im Spam-Ordner. Nähere Diagnose steht noch aus, momentan fahre ich erhöhtes scan_spam_folder_level ...

ich bräuchte unbedingt die info weshalb das passiert. schau dazu bitte ins logfile!!!

achim

Das Log sagte gerade eben:

Zitat

[...] Score: 100, Ursache: blacklist.spambag.org dnsbl.sorbs.net

[...] Sa, Jän 08 2005, 19:04:39, auf DNS-BLACKLIST, [...], Score: 100, Ursache: gespeicherte DNS-Anfrage

Ich werde den lustigen dnsbl.sorbs.net mal rausnehmen.

Du sagtest:

Zitat

die dns-requests werden auch gecached und zwar 5 oder 10 tage lang (weiss nicht mehr genau).

Welchen Cache meinst Du denn da?

EDIT: Habe mal den Cache meines DNS geflushed, mal sehen ... auf openrbl.org ist die betreffende Domain aber wirklich gelistet, habe das dem betreffenden Herren gerade mitgeteilt ...

EDIT2: Dürfte alles OK sein, lag wohl einfach daran, daß er auf der Liste gelandet ist. Er meint, daß diese Domain gelistet würde, weil sein Provider als Dialup-Provider gehandelt wird ... Meine Lösung: Die zwei erwähnten Einträge raus aus der DNSBL und die betreffende Adresse (als ersten Eintrag ...) in die White-List.

Danke, Stefan.

Zitat

Also ich habe via RegEx nicht mehr die Moeglichkeit einen vorhandenen Spam-Status zu entfernen?

mit der regexp liste kann nur der spam status gesetzt werden. ist eine nachricht spam, so bleibt sie spam weil keine anderen filter emhr aufgerufen werden.

achim

hi,

das mit den dns listen macht mir auch ein wenig sorgen, weil es bei einigen listen normal zu sein scheint, dass dort auch nicht spammer gelistet sind. ich werde vielleicht einige der server rauswerfen müssen oder nicht alle listen dieser server in die dnsbl einbeziehen.

achim

Wie kamst Du überhaupt auf die originäre Liste? Bist Du da irgendwelchen Empfehlungen gefolgt, Eigenerfahrung, oder wie ging das?

ich vermute du meinst die regexp filter liste... ich wollte eigentlich spamassassin direkt unterstützen, mir war das aber ein wenig zu kompliziert, da bei dem programm die filter total zerstreut in verschiedene files abgelegt werden. deshalb bin ich auf den 1 file filter gestoßen...

achim

Nein. ich meinte die DNS-Blacklist. Ich selber halte mich auf z.B. einem Postfix-Server mit Spamassassin an die Empfehlungen der Postfix-user-liste, die sich wiederum an die Empfehlungen und Erfahrungen des Postfix-Gurus Jim Seymour halten. Damit fahre ich ganz gut bislang, ich werde wohl mal die dort verwendete Liste in den Bat-Bayesfilter übernehmen.