스팸 필터 성능 공개 -_-v

정확하겐 24시간 치는 아니고, 22:04:17 ~ 19:21:04 까지의 결과입니다. 🙂

– Spam vs Non-Spam
# 전체 개수
unfix ~ # cat /var/log/procmail|grep ^[\[F]|wc -l
467
# Non Spam
unfix ~ # cat /var/log/procmail|grep ^From|wc -l
48
# Spam
unfix ~ # cat /var/log/procmail|grep ^\\[|wc -l
422
결과만 보자면 90.4% 가 스팸으로 판별되었습니다. 다른 분들의 메일함은 제가 뒤져보지 않기 때문에 모르겠지만, 제 메일함에 한해서 결과를 보면 스팸이 아니지만 스팸으로 분류된 것이 1 개, 스팸이지만 스팸이 아닌걸로 판단되지 않은 것이 2 개 였습니다.
참고로 테스트 기간 중 제가 받은 메일 중 스팸은 24개이고 스팸이 아닌 것은 9개 였습니다. (여기서 24개는 bogofilter 나 Img Only filter 에 걸린 것들입니다. 다른 것들은 정상적인 웹메일 서비스나 널리 알려진 MTA 를 사용하는 경우엔 나올 수 없는 것들이기 때문에, Spam 함에 보관하지 않습니다.)
그리고 스팸이 아니지만 스팸으로 분류된 메일은 gravity 에서 보낸 라그나로크 소식지였는데, 이미지 만으로 도배된 메일이라 스팸으로 판단이 되었습니다. 어떻게 보면 스팸이 맞는지도 모르겠습니다. -_-;
필터별로 스팸을 거른 비율을 보면 아래와 같습니다.

– 필터별 결과
# Spf 가 netural, softfail 인 경우
# http://b.mytears.org/2005/07/226
unfix ~ # cat /var/log/procmail|grep ^\\[Spf|wc -l
203
# 메일 주소가 야후이면서, 도메인 키가 없거나 도메인 키 test 에 실패한 경우
# http://b.mytears.org/2006/09/388
unfix ~ # cat /var/log/procmail|grep ^\\[Dkey|wc -l
103
# multipart/alternative 면서 text/html, text/plain 중 한 가지 밖에 없는 경우
# http://b.mytears.org/2005/02/113
unfix ~ # cat /var/log/procmail|grep ^\\[Fake|wc -l
50
# Bogofilter 에 걸린 경우
# http://b.mytears.org/2006/09/404
unfix ~ # cat /var/log/procmail|grep ^\\[Bogofilter|wc -l
30
# 이미지 만으로 도배된 메일의 경우
# http://b.mytears.org/2006/09/407
unfix ~ # cat /var/log/procmail|grep ^\\[ImgOnly|wc -l
16
# 바이러스 (clamav, f-prot 에 걸린 경우)
# http://b.mytears.org/2005/02/109
unfix ~ # cat /var/log/procmail|grep ^\\[Virus|wc -l
3
# X-Mailer 를 봤을 때 스팸으로 판단된 경우
unfix ~ # cat /var/log/procmail|grep ^\\[BadMailer|wc -l
10
# 스팸툴에서 X-Library 에 표시를 해 준 고마운 경우
unfix ~ # cat /var/log/procmail|grep ^\\[BadLibrary|wc -l
4
Spf 가 fail 난 경우에는 procmail 까지 메일이 넘어오지 않고 postfix 단에서 drop 되기 때문에, 실제로는 더 많은 스팸이 있었을 거라고 생각됩니다. 🙂
하여튼 지난 1주일 동안 평균적으로 스팸은 하루 1~2 개 밖에 보질 못했기 때문에 상당히 만족스럽습니다. (스팸이 아닌 것들 중에 스팸으로 판단된 것은 저 위에 라그나로크 소식지가 처음이었습니다.)

Similar Posts:

• bogofilter
• 스팸과의 전쟁 -_-!!
• 유용한 procmail 용 rule!!
• exim 의 transport, router 를 이용한 스팸 필터링
• postfix 에서 spf 사용하기