스팸 필터 성능 공개 -_-v

정확하겐 24시간 치는 아니고, 22:04:17 ~ 19:21:04 까지의 결과입니다. :)

– Spam vs Non-Spam

# 전체 개수
unfix ~ # cat /var/log/procmail|grep ^[\[F]|wc -l
467

# Non Spam
unfix ~ # cat /var/log/procmail|grep ^From|wc -l
48

# Spam
unfix ~ # cat /var/log/procmail|grep ^\\[|wc -l
422

결과만 보자면 90.4% 가 스팸으로 판별되었습니다. 다른 분들의 메일함은 제가 뒤져보지 않기 때문에 모르겠지만, 제 메일함에 한해서 결과를 보면 스팸이 아니지만 스팸으로 분류된 것이 1 개, 스팸이지만 스팸이 아닌걸로 판단되지 않은 것이 2 개 였습니다.

참고로 테스트 기간 중 제가 받은 메일 중 스팸은 24개이고 스팸이 아닌 것은 9개 였습니다. (여기서 24개는 bogofilterImg Only filter 에 걸린 것들입니다. 다른 것들은 정상적인 웹메일 서비스나 널리 알려진 MTA 를 사용하는 경우엔 나올 수 없는 것들이기 때문에, Spam 함에 보관하지 않습니다.)

그리고 스팸이 아니지만 스팸으로 분류된 메일은 gravity 에서 보낸 라그나로크 소식지였는데, 이미지 만으로 도배된 메일이라 스팸으로 판단이 되었습니다. 어떻게 보면 스팸이 맞는지도 모르겠습니다. -_-;

필터별로 스팸을 거른 비율을 보면 아래와 같습니다.

– 필터별 결과

# Spf 가 netural, softfail 인 경우
# http://b.mytears.org/2005/07/226
unfix ~ # cat /var/log/procmail|grep ^\\[Spf|wc -l
203

# 메일 주소가 야후이면서, 도메인 키가 없거나 도메인 키 test 에 실패한 경우
# http://b.mytears.org/2006/09/388
unfix ~ # cat /var/log/procmail|grep ^\\[Dkey|wc -l
103

# multipart/alternative 면서 text/html, text/plain 중 한 가지 밖에 없는 경우
# http://b.mytears.org/2005/02/113
unfix ~ # cat /var/log/procmail|grep ^\\[Fake|wc -l
50

# Bogofilter 에 걸린 경우
# http://b.mytears.org/2006/09/404
unfix ~ # cat /var/log/procmail|grep ^\\[Bogofilter|wc -l
30

# 이미지 만으로 도배된 메일의 경우
# http://b.mytears.org/2006/09/407
unfix ~ # cat /var/log/procmail|grep ^\\[ImgOnly|wc -l
16

# 바이러스 (clamav, f-prot 에 걸린 경우)
# http://b.mytears.org/2005/02/109
unfix ~ # cat /var/log/procmail|grep ^\\[Virus|wc -l
3

# X-Mailer 를 봤을 때 스팸으로 판단된 경우
unfix ~ # cat /var/log/procmail|grep ^\\[BadMailer|wc -l
10

# 스팸툴에서 X-Library 에 표시를 해 준 고마운 경우
unfix ~ # cat /var/log/procmail|grep ^\\[BadLibrary|wc -l
4

Spf 가 fail 난 경우에는 procmail 까지 메일이 넘어오지 않고 postfix 단에서 drop 되기 때문에, 실제로는 더 많은 스팸이 있었을 거라고 생각됩니다. :)

하여튼 지난 1주일 동안 평균적으로 스팸은 하루 1~2 개 밖에 보질 못했기 때문에 상당히 만족스럽습니다. (스팸이 아닌 것들 중에 스팸으로 판단된 것은 저 위에 라그나로크 소식지가 처음이었습니다.)

Published by

One thought on “스팸 필터 성능 공개 -_-v”

  1. 울 회사 centos로 메일서버 돌리고 있는데 요즘 스팸이 부쩍 늘어서 익스체인지서버로 바꿀려고 생쑈 중…SPF 효과가 좋긴 좋은가 보군

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">