Spam: naučte se bránit - II

8. 8. 2003 | Ondřej Zloský | Návody | 17114×

Bayesův filtr. Používání integrovaného filtru v Mozilla Mail. Provozování programu SpamAssassin v systému s Postfix a Procmail.

Bayesův filtr

Ve stručnosti si pro začátek řekněme, co je to Bayesovský filtr, jak funguje a proč je pro nás tak zajímavý. Bayesovský filtr vypočítává pravděpodobnost toho, jestli je daný mail spam nebo ne. Hlavní podstatou je určování pravděpodobnosti klíčových slov, jejichž průměr určí výslednou hodnotu, tj. jaká je šance, že celý mail je spam. Výhodou oproti ostatním filtrům je především to, že se stále učí z nových došlých mailů, které jsou ručně nebo automaticky označovány jako spam a tím se neustále rozrůstá databáze, podle které je možné odhadovat pravděpodobnost nevyžádané pošty.

Ve skutečnosti existuje více variací Bayesovského filtru a pravděpodobně každá implementace má své výhody. Nicméně všechny stojí na výše popsaném základním principu. My se dnes podíváme na dva programy, kde je tento filtr využit. První je desktopové řešení a tím je emailový klient oblíbeného prohlížeče Mozilla, druhý je naopak serverové řešení SpamAssassin hodící se především pro spojení s mailserverem.

Mozilla Junk Mail

V Mozille funguje antispamová ochrana velmi jednoduše. Stačí každý nevyžádaný příchozí email označit jako "Junk" ("Nevyžádaná") a Mozilla si příště bude pamatovat, že takový a jemu podobné má rovnou zahazovat a to buď do složky "Junk", nebo jinam dle nastaveni. Pravidla pro označování mailů jako spamu si Mozilla vytváří právě na základě Bayesovského filtru, z čehož vyplývá, že čím více budeme mít jak vyžádané, tak nevyžádané (a řádně označené) pošty, tím přesnější filtr bude. Už při menším počtu začne filtr celkem slušně fungovat, ale pro správnou funkci je zapotřebí relativně velké množství vzorků, takže minimálně zpočátku není dobré slepě věřit, že vše, co skončí ve složce "Junk", je opravdu jen spam. Proto je lepší ji čas od času zkontrolovat.

Pro zprovoznění správné JunkMail funkce je třeba ji nějak nastavit. Provedeme to ve složce Tools/Junk Mail Controls (Nástroje/Nastavení nevyžádané pošty). Nastavují se zde účty, na které se bude filtr aplikovat, také "White Lists", které budou obsahovat buď adresy z osobního adresáře nebo z posbíraných adres. Je také samozřejmě možné celou kontrolu povolit nebo zakázat. Dále zde najdeme, jakým způsobem se má nakládat právě s poštou označenou jako "Junk". Pro každý účet je možné nechtěnou poštu přesunout do složky "Junk", nebo je možné spam ze všech účtů shromažďovat do jediné složky. Je také možné nastavit, za jak dlouho se mají "junkmaily" ze složek odstranit, eventuálně je možné je odstraňovat rovnou. Dále je možné zapnout/vypnout logování.

Ještě pro doplnění je třeba říci, že v Mozille-ThunderBird (samostatný email klient) je nastavení malinko odlišné. Celé nastavení je rozděleno do tří záložek - pravděpodobně pro budoucí rozšíření. Na první záložce je navíc položka pro "očištění" HTML spamu. Dále například na záložce "Adaptive Filters" je možné službu pouze zapnout/vypnout. Předpokládám, že v budoucnu bude možné nějaké další nastavení. Poslední záložkou je "Black Lists", kde asi bude možné nastavovat známé "černé listiny", ale tato možnost zatím nebyla v Mozille ThunderBird 0.1a aktivována.

SpamAssassin

Prerekvizity

SpamAssassin je perlový program, takže nutným předpokladem je mít nainstalován Perl. Jako další je potřeba mít následující perl moduly:

File::Spec, Pod::Usage, HTML::Parser, Sys::Syslog.

Pod "rootem" lze všechny nainstalovat pomocí příkazu:

perl -MCPAN -e 'Modul::Name'.

Bez práv "roota" je to o něco složitější, nicméně to taky jde.

Ale přidávat tyto moduly je nutné pouze pokud se SpamAssassin instaluje ze zdrojového kódu. U ostatních způsobů by se měly nainstalovat samy.

Instalace

Nainstalovat SpamAssasin je možné mnoha způsoby. Download oficiálních verzí je k dispozici na zde nebo mirror zde.

V nejnovějších distribucích RedHat, Mandrake a Debian je SpamAssassin už obsažen, takže je možné jej vybrat již při instalaci systému. Pokud tak neučiníme při instalaci, pak máme k dispozici následující možnosti:

Red Hat, Mandrake

rpm -ivh spamassassin-*.i386.rpm

Debian

apt-get install spamassassin

Zdrojový kód

tar -zxvf Mail-SpamAssassin-* cd Mail-SpamAssassin-* perl Makefile.PL make make install

pokud budeme instalovat bez superuživatelských práv pouze do svého domovského adresáře, tak můžeme nahradit třetí řádek následujícím:

perl Makefile.PL PREFIX=~/sausr SYSCONFDIR=~/saetc

CPAN

perl -MCPAN -e shell o conf prerequisites_policy ask install Mail::SpamAssassin quit

Jestli se podařilo SpamAssassin nainstalovat správně je možné vyzkoušet příkazem:

/usr/bin/spamassassin < /usr/share/doc/spamassassin-2.55/sample-spam.txt

Samozřejmě příkaz v téhle podobě bude fungovat pouze pokud je nainstalována verze 2.55 do standardních adresářů. Jeho výstupem by měl být mail, který ve svých hlavičkách obsahuje následující položky:

X-Spam-Status: X-Spam-Level: X-Spam-Checker-Version: X-Spam-Report: X-Spam-Flag:

V těchto hlavičkách se objeví, jestli je mail označen jako spam, jaké je jeho skóre, verze SpamAssassinu, zpráva a příznak, který by v tomto konkrétním případě měl být 'YES'.

Používání a zapojení do systému

Spustit SpamAssasin je možné z mnoha míst a záleží na našem nastavení systému, který zpracovává poštu. Protože nám ale jde především o nastavení filtrů, ukážu některé jednodušší varianty. Na oficiálních stránkách SpamAssassinu se můžeme dočíst, kde všude ho lze integrovat. Mezi ty zajímavější patří Amavisd-new, MailScanner, Sendmail a další. Všechny nástroje fungují na stejném principu a na některém místě zpracování mailu se SpamAssassin spustí a zapíše do hlaviček výsledek. My si tedy ukážeme zapojení do systému přes Procmail a Postfix.

Ještě je třeba říci, že SpamAssassin může běžet ve dvou módech. Jednak jako démon, který běží na pozadí a jeho klientem je program "spamc", a nebo se vždy spouští celý program "spamassassin". Démona může spouštět pouze uživatel root a to například příkazem /etc/init.d/spamassassin start. Používání démona by mělo mít výhodu hlavně v rychlosti zpracování.

Procmail

Toto je velmi jednoduchá záležitost. Pro celosystémové použití (Site-Wide use) do /etc/procmailrc nebo pouze pro uživatele do ~/.procmailrc zapíšeme následující:

MAILDIR=$HOME/mail :0fw | /usr/bin/spamc

Druhý řádek záleží na našem nastavení. Prostě je to cesta buď ke klientovi "spamc" nebo přímo k programu "spamassassin".

Pro automatickou filtraci můžeme použít další pravidlo, které zprávy označené jako spam uloží do speciální schránky. Pokud to budeme chtít udělat pro všechny uživatele, pak v /etc/procmailrc, pro jednotlivé uživatele opět do ~/.procmailrc, nastavíme:

:0 * ^X-Spam-Flag: YES spam

Postfix

SpamAssassin je možné integrovat přímo do Postfixu během několika málo kroků. Pěkný, funkční návod "krok za krokem" je možné nalézt zde. Integrace do Postfixu jsou kroky 3 - 9. Zbytek už je opět filtrace přes procmail, která je už výše zmíněná.

Nastavení

SpamAssassin nabízí velmi širokou škálu nastavení. Systémové nastavení se nalézá v souboru /etc/mail/spamassassin/local.cf, uživatelské nastavení pak v souboru ~/.spamassassin/user_prefs. Voleb je opravdu mnoho, jejich seznam je zde. Několik základních si ale představíme.

whitelist_from adresa@example.com

Seznam adres, ze kterých bude pošta vždy doručena, i když bude označena jako spam.

blacklist_from adresa@example.com

Seznam adres, ze kterých bude pošta vždy zamítnuta, i když nebude označena jako spam.

required_hits n.nn (default: 5)

Potřebné skóre pro označení mailu za spam.

rewrite_subject { 0 | 1 } (default: 1)

Jestli má být do hlavičky Subject přidán nějaký text, který zvýrazní, že se jedná o spam.

subject_tag řetězec (default: *****SPAM*****)

Text, který má být do hlavičky přidán.

report_safe { 0 | 1 | 2 } (default: 1)

0 - žádná zpráva o spamu nebude připojena
1 - do hlavičky se připojí zpráva, že se jedná o spam
2 - původní dopis bude přiložen jako příloha

ok_languages xx [ yy zz ... ] (default: all)

Seznam jazyků, které jsou povoleny. Pokud někdo nechce cizojazyčné maily, může si nastavit "ok_languages cz".

use_bayes ( 0 | 1 ) (default 1)

Jestli se má nebo nemá používat Bayesiánský filtr.

bayes_auto_learn ( 0 | 1 ) (default: 1)

Jestli se má Bayesovský filtr sám učit.

bayes_auto_learn_threshold_nonspam n.nn (default -2.0)

Pod jaké hodnoty má Bayesovský samouk zpracovat maily jako "nespam".

bayes_auto_learn_threshold_spam n.nn (default 15.0)

Nad jaké hodnoty má Bayesovský samouk zpracovat maily jako "spam".

always_add_headers { 0 | 1 } (default: 1)

Jestli se mají vždy přidávat hlavičky X-Spam-Status a X-Spam-Level.

always_add_report { 0 | 1 } (default: 0)

Jestli se má přidávat hlavička X-Spam-Report, ve které jsou rozepsány faktory, které vedly k označení mailu za spam.

spam_level_char { x (some character, unquoted) } (default: *)

Znak, který bude v hlavičce X-Spam-Level.

V témže souboru je možné měnit hodnotu jednotlivých pravidel pomocí direktivy

score SYMBOLIC_TEST_NAME n.nn

čímž můžeme výrazně ovlivnit, co se bude a nebude považovat za spam. Symbolická jména testů je možné nalézt v adresáři /usr/share/spamassassin/, kde jsou v různých souborech popsána všechna pravidla. Tato pravidla se nedoporučuje měnit, protože při upgradu na novější verzi budou přepsána. Jsou také popsána včetně výchozích hodnot zde.

Poslední věc, kterou ještě zmíním, je pomocná aplikace pro vytváření databáze pro Baeysovský filtr. Tato aplikace se nazývá sa-learn a najdeme ji v adresáři s nainstalovanými binárkami. Nejjednodušší použití je zhruba takovéto:

/usr/bin/sa-learn --spam --mbox ~/mail/spam

Přidá do uživatelské databáze spam ze složky, do které ukládáme spam.

/usr/bin/sa-learn --ham --mbox /var/spool/mail/user_name

Přidá do uživatelské databáze ham ("nespam") ze složky, ve které je došlá pošta s nižším než potřebným skóre.

Závěrem

Tak to byl takový zevrubný popis a průvodce instalací SpamAssassinu. Je to opravdu velmi rozsáhlé téma a i když se to třeba nezdá, tak SpamAssassin nabízí mnohem širší možnosti než co jsou výše popsány. Pro vyloženě zvídavé jsou připraveny následující odkazy, oficiální dokumentace, manuálové stránky a samozřejmě také "pan Google" je ochoten kdykoli pomoci.

Zajímavý projekt

Razor - uživatelská databáze spamu, založená na faktu, že jeden stejný mail se rozesílá na tisíce adres. V případě, že spam někdo dostane dříve než my, označí jej a odešle do sdílené databáze, máme pak možnost do této databáze nahlédnout a stejný mail případně zamítnout.

       

Komentáře

[Tom Hubalek]

Díky moc za článek. V poslední době mě množství spamů v mém mailboxu přerostlo rozumnou hranici a to co tu popisujete mě naplňuje nadšením... Tom

[Frank]

Taktéž chci moc pochválit autora, článek se mi velmi líbil.

[BoodOk]

Doporucuji program bogofilter, pracujici prave na vyse uvedenych principech.
Idealni je udrzovat si mailbox potvrzenych spamu a ten jako ucici mnozinu predkladat bogofilteru k uceni, pricemz mu tez predlozite k uceni stejne velkou mnozinu nespamovych zprav.
Sam toto testuji asi 4. den nad mnozinou 8000+8000 spam-nospam zprav a uspesnost prvni den 47 det. spamu, 2 nedetekovane, druhy den 45 det. spamu, 0 nedetekovanych, behem obou dnu nebyla spatne vyhodnocena zadna nespamova zprava (coz potvrzuje jeden z prispevku v prvnim dile serialu, mluvici o min. 99% uspesnosti).
Dulezite je probrat se obema ucicimi mnozinami aby neobsahovaly vadne "vzorky".
Osobne pouzivam jako MTA zmailer, ktery behem zpracovani vola programek 'bogowrap.sh -a' (skript prikladam) a na strane MDA Cyrus IMAP, zde vyuzivam vyhodnocovani hlavicky X-Bogosity v sieve skriptu.
Uceni je nastaveno pravidelne v crontabu (opet se vola 'bogowrap.sh -l -e').
Dulezite je, ze mam existujici adresare mbxs_spam a mbxs_nospam do kterych prilinkovavam adresare ucicich mnozin, v nichz se maily prochazi pres find ... -follow (muze byt pouzito pouze pro MDA u kterych 1 zprava = 1 soubor, s obmenou to lze ale pouzit i u unixovych mailboxu).

#!/bin/sh


#----------------------------------------
# FUNCTIONS
#----------------------------------------

function mylog()
{
    MYLOG_CURRENT=`date "+%Y-%m-%d %H:%M:%S"`
    echo "$MYLOG_ID $MYLOG_CURRENT $1" >> $MYLOG
}

#----------------------------------------
# PREPARE DIRECTORIES AND VARIABLES
#----------------------------------------

MYLOG=/var/log/bogofilter.log
MYDIR=/data/scripts/bogowrap
MBXS_SPAM=$MYDIR/mbxs_spam
MBXS_NOSPAM=$MYDIR/mbxs_nospam

export PATH="/bin:/usr/bin:/usr/local/bin:/sbin:/usr/sbin"
export WORDLIST_DIR=$MYDIR/wordlists

case "$1" in

"-l")

#--------------------------------------------
# LEARNING
#--------------------------------------------

    mkdir $WORDLIST_DIR 2> /dev/null
    mkdir $WORDLIST_DIR.tmp 2> /dev/null

    rm -f $WORDLIST_DIR.tmp/*.db 2> /dev/null
    [ "$2" = "-e" ] || cp -f $WORDLIST_DIR/* $WORDLIST_DIR.tmp/ 2> /dev/null

    mylog "Bogofilter learning started (prepare)."
    SPAM_COUNT=`find $MBXS_SPAM -follow | grep -c ""`

    mylog "Bogofilter learning of $SPAM_COUNT spam messages started."
    find $MBXS_SPAM -follow | egrep "\.$" | nice -n 10 awk '{system("cat \""$1"\" | \
    bogofilter -s -d "ENVIRON["WORDLIST_DIR"]".tmp")}'

    mylog "Bogofilter learning of $SPAM_COUNT nospam messages started."
    [ $? -eq 0 ] && find $MBXS_NOSPAM -follow -printf "%TY%Tm%Td %p\n" | egrep "\.$" | sort | \
    tail -$SPAM_COUNT | nice -n 10 awk '{system("cat \""$2"\" | \
    bogofilter -n -d "ENVIRON["WORDLIST_DIR"]".tmp")}'

    if [ $? -eq 0 ]
    then
        rm -f $WORDLIST_DIR/goodlist.db 2> /dev/null
        bogoutil -d $WORDLIST_DIR.tmp/goodlist.db | bogoutil -l $WORDLIST_DIR/goodlist.db
        rm -f $WORDLIST_DIR/spamlist.db 2> /dev/null
        bogoutil -d $WORDLIST_DIR.tmp/spamlist.db | bogoutil -l $WORDLIST_DIR/spamlist.db
    fi

    mylog "Bogofilter learning finished."
    exit $?

    ;;

"-a")

#--------------------------------------------
# ANALYZING
#--------------------------------------------

    SPAM=No
    MYFILE=$MYDIR`tempfile`

    mkdir $SPAM_TREZOR 2> /dev/null
    cp "$2" "$MYFILE"
    bogofilter -I "$MYFILE" -O "$2" -p -d $WORDLIST_DIR
    [ $? -eq 0 ] && SPAM=Yes
    mylog "Bogofilter analysis of $2 done (X-Bogosity: $SPAM)."
    rm -f "$MYFILE"

    ;;

*)

    echo "Syntax  : bogowrap [-l [-e]|-a ]"
    echo "Options : -l ... learn"
    echo "          -a  ... analyze message "
    echo "          -e ... learn and emty wordlists, used with -l"
    exit 0

    ;;

esac

A idea na zaver. Proc vyse uvedeny princip pouzivat pouze na spam? Proc jej nevyuzit i pro bezne zatridovani zprav metodou 'by example'?

[Zdeněk Burda]

skoda, ze jsi tak rohodil formatovani clanku, ted se neda poradne cist (Firebird 0.6)

[Zdeněk Burda]

tak nic, ted zas koukam, ze to je citelny... bud ti nekdo upravil prispevek nebo ma mozilla nejake mouchy

[Robert Krátký]

Ondra Krejcik to opravil (zalomenim radek).

[David Sedláček]

Neexistuje nejaka databaze odchycenych SPAMu?

[Agent Smith]

Chtel bych upozornit na existenci programu spamprobe, ktery ma stejnou funkcionalitu, principy a dokonce i velmi podobne pouziti v procmailu jako spamassasin s tim rozdilem, ze je psany v C takze o poznani mene zabira systemove zdroje. Kdo by nechtel za mensi cenu stejne dobre auto ze? Pouzivam jej priblizne pul roku a za tu doby jsem nemel jediny "dobry" mail spatne zarazeny do spamu a tak asi 1 spam za 14 dni klasifikovany jako "dobry". Slusna uspesnost ne? Zvlast kdyz me v dobry den prijde i 30 spamu...

[asdf]

odkedy pouzivam tieto 3 blacklisty (par mesiacov), som nedostal spam :) v postfixe doplnte do main.cf:

maps_rbl_domains =
   relays.ordb.org,
   bl.spamcop.net,
   dnsbl.njabl.org

na inych mailserveroch tiez jednoducho nastavitelne. bye

[Tomas]

Dekuji, tohle skutecne pomaha a je super, ze je to systemove reseni - spam je odmitan hned pri prijmu nezatezuje linku.

[skywalker]

no skusal som razor nejaku dobu a musim povedat, ze som sklamany. velmi vela emailov, ktore nie su spam ale su posielane vela ludom je vyhodnocovanych ako spam. moj odhad je, ze nemaju dost ludi, ktori oznacuju aktivne spam, preto si skratka pomahaju tak, ze ako spam oznacia vsetko, co doslo aspon X uzivatelom... tiez mate take skusenosti?

[Lukáš Zapletal]

Veškeré podobné projekty jsou mrtvé, Razor ještě přežívá, ale za chvilku to zabalí též.

Problém je jeden: kalkuluje se kontrolní součet z hlaviček a těla, spammerovi stačí do hlavičky a do těla dát pro každý mail nějaký jiný řetěz a je to. Právě proto některé spamy začínají takto: XLUDA DASIO KDJAS SDAJK. Podobně je to s hlavičkou (změní se například pole OD). Pak tento systém vůbec nefunguje a je jen na přítěž.

Na druhou stranu to může usnadnit práci filtrům, které mohou zjišťovat, jestli mail neobsahuje nesmysly podobného rázu, ale i to je podle mě na nic. Stačí na konec mailu přidat pár slov (anglických třeba), Pokaždé aby byly jiná slova - hotovo. Podle mě to moc nepomůže. RAZOR IS DEAD.

[jan k.]

Dobry den, z pohledu uzivani linuxu jsem naprosty zelenac. Z clanku jsem nepochopil, jak se muzu branit spamu, kdyz pouzivam Kmail a postu stahuji z pop3 na quicku? Castecnym resenim muze byt prechod na mozilla mail, nicmene to neresi problem, ze ty spamy musim nejdriv prenest k sobe (mam predplaceno 1 GB/mes takze zas tak velky problem to zatim neni - denne mi prijde tak 3-5 spamu, ale muze byt hur) Muze nekdo poradit jak na to? jan k.

[zlosyn]

Z KMailu je to take velmi jednoduche. Jde pouze o to, nastavit spravne filtr. Napriklad v kombinace se SpamAssassinem je to opravdu za chvilku, ale variant je vic. Staci hledat. No a v clanku to neni z toho duvodu, ze KMail nema vlastni antispamove reseni a pouziva neco jineho pres sve filtry. Nicmene i spamy je treba nejdrive prenest k sobe, jinak se velmi tezko dela analyza. V KMailu je ale mozne pouzit nejake blacklisty (configure POP filters).

[bigsam72]

Ahoj vsem, chtel bych upozornit na to ze je mozne integrovat spamassassin do KMailu. Vice info viz Google.com

[jan k.]

Diky za vycerpavajici genialni odpoved. Bohuzel s obdobne genialnim dotazem si google moc rady nevi.

[Ivan Petras]

Pouzivam asi 1,5 roka MV a som s nim dost spokojne. Pride mi tak 1-2 spamy denne a odchyti asi 10-20. MV mail ani neprijme a zatvari sa ze server ho odmietol. Ako to robi SA? Prijme mail a potom ho kontroluje. Ak ano tak potom na server je MV daleko lepsi, lebo menej zatazuje trafik. Vie niekto vysvetlit rozdiel kontroly medzi MV a SA? Lebo prave idem robit novu instalaciu na Debiane ako server a rozmyslam co tam nasadit. Dik.

[pharook]

Neznám přímo MessageWall, takže jen komentář k tomu, že zahazuje spamy už na smtp bráně. Záleží na tom, jaké chcete použití a jak mu věříte. Já nasadil SA, spam tedy dorazí, pouze u uživatelů, kteří mají zájem jeho "služeb" využít, je nastaven filtr, který Assassinem označené maily přesouvá při doručování do extra složky. Výhoda je per-user konfigurace a žádné ztracené maily při false-positives - všechno uživatel najde. Nasazení čehokoliv (i SA tak může fungovat) přímo na SMTP bráně záleží na tom, jak příslušnému antispamovému filtru věříte - a také na tom, že tím rozhodujete za uživatele na serveru. Tím netvrdím, že je to a-priori špatně, jen že je dobré brát v potaz i tuto stránku - vzhledem k tomu, že i při nasazení přímo na SMTP vstupu budou maily muset procházet antispamovým enginem, a ten je v okamžiku nasazení obvykle nejužším místem výkonu serveru - tudíž zda maily vrací rovnou, nebo je až MTA hází do extra folderů, nehraje velkou roli.

[Batman]

Ahojky, chtěl jsem se zeptat, jestli SpamAssassin musí mít nutně k práci procmail, nestačí jen Postfix???

[-= Spec =-]

Zdravim, nastavuju SpamAssassin + Postfix podle článku. Vše OK až na to, že když jsem si vytvořil uživatele "spamfilter" (podle toho přiloženého návodu v angličtině pro implementaci SpamAssassina do Postfixu), tak se mi do něj neukládají SPAMy. Vždycky přijde zpráva s označením SPAM normálně do schránky. Chtěl bych, aby mi to nechodilo do schránek, ale ukládalo se to všechno do schránky uživatele "spamfilter". Tak to snad i má být, ne? Poradil by mi někdo kde dělám chybu, prosím? Díky