§25. スパムメール対策 (ベイジアンスパムフィルタとは)

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
               Linux の知恵袋 >>& あなたのウラ技集
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
 Level 0025 (2004.08.04)           http://www.u-waza.org/linux-tips/
                         「Linux Tips 研究所」 linux-tips@u-waza.org
 1397 + 300 + 147 + 89                     ４誌合計発行部数: 1933 部
 
├─────────────────────────────────┤
  Linux Tips, 裏技,コマンド,オプション,設定方法,試験などを提供
     《基本系》と《ウラ技》を同時に覚えながら Linux を楽しむ。
           Linux 使いになりたい人の為のメールマガジン。

 メルマガ登録/解除 → http://www.u-waza.org/linux-tips/regist.html
    バックナンバー → http://www.u-waza.org/linux-tips/magazine/

├─────────────────────────────────┤
        §25. スパムメール対策 (ベイジアンスパムフィルタとは)
├─────────────────────────────────┤

> ○ おしらせ
￣￣￣￣￣￣￣
 ・ 「Linux 資格無料認定試験 - LTI v0.4 -」が公開されました。
    ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
     http://www.u-waza.org/shiken_linux/

     今回もずいぶんとパワーアップしました。
     (受験者の要望を取り入れました)

     * 問題数も倍増。
       ￣￣￣￣￣￣
     * ジャンル別に出題配分も考慮しました。
       ￣￣￣￣￣
     * また、問題一問一問にコメントをつけやすくなりました。
                           ￣￣￣￣
     ぜひ何でもよいので問題についてコメントください。
     あなたの意見で試験が変わります。

     ちょっと前回よりも難しいというコメントも既に頂いています。
     腕に自信あるかたもないかたもどんな印象を受けますか?
     ぜひ受けてみてください。



 ・  Linux 資格無料認定試験 - LTI - の過去問も掲載しました。
     問題作製するときになるべく昔の問題に
     かぶらないほうが問題文に掲載される確率があがると思います。



 ・  メルマガ読者が前回より 200 名ぐらい増えました。
     めろんぱんでは300名を突破しました。
     次回は 合計登録者数2,000 名を突破しそうです。
                        ￣￣￣￣
     月刊誌 Linux World に当サイトが
     掲載されたのが良かったみたいです。



 ・  メルマガ発行が遅れてしまってすみません。
     そろそろまた昔のペースに戻したいと思っています。
     どうぞ、応援のほどよろしくお願いします。

├─────────────────────────────────┤

> ○ 今週のテーマ
￣￣￣￣￣￣￣￣￣
    §25. スパムメール対策 (ベイジアンスパムフィルタとは)
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    まず、「スパム」とはなんぞやという人のために
    簡単に説明すると、

    「spam (スパム)」… 無差別に送信されたメールのこと。

    大部分が製品の広告だったり、いかがわしいサイトへ
    誘導するためのリンクがはってあったりします。
    低価格で大量の宛て先へメッセージを
    送付することができるという電子メールの特徴、
    また、設定がきちんとされていないメールサーバなどを不正中継したり
    From: を詐称するなどして、送信者が特定できない、
    また、送信者は特定されていても
    そのメールが有益かどうかは受信者によって
    さまざまであるため一概に排除することができない。
    当の理由で スパムは増加する一方です。
    
    なお、spam はスパムと呼びますが
    SPAM と大文字で書くと
    http://www.spam.com/
    の缶詰屋さんのことを指したりするみたいです。
    もともとはここの CM でしつこいぐらい
    SPAM! SPAM! SPAM だとか連呼してたのが
    スパムの語源らしいです。

├─────────────────────────────────┤

   本の紹介     白崎 博生 (著)
   「Linuxのブートプロセスをみる    UNIXMAGAZINE COLLECTION」
    PC AT互換機に電源を投入後，Linuxカーネルが起動し，
    全プロセスの親となるinitプロセスが稼働するまでの処理を解説する。
    http://www.amazon.co.jp/exec/obidos/ASIN/4756144519/top06-22

├─────────────────────────────────┤

    さて、今回のテーマの
    ベイジアンフィルタ (Bayesian Filtering)に
    入る前にスパムに対する対応策はどんなものがあるか
    考えてみます。

  * 手動で振り分け
      受信したメールを一つ一つ目視で降り分けます。

    → 精度はある程度高いですが
       振り分ける為の手作業は
       本来のメールを閲覧するための時間を大幅に
       延長してしまいます。
       また、スパムに埋まってしまう大切なメールも
       あるかもしれません
       

  * テキストマッチングによる振り分け
      未承諾広告※などと Subject: についているメールや
      いやらしいキーワードなどが本文に入っていたりしたメール、
      添付ファイルが *.pif となっているメールなどを
      振り分け機能などを使って区別します。

      → これはすごい手間がかかってしまいます。
         また、精度も良くありません。
   
   
  * メールアドレスを公開しない(教えない)
      スパムを送信する人はさまざまなところから
      メールアドレスを集めています。

      → 火のないところには煙は立たない。
         これは有効です。が、すでに利用しているアドレスが
         スパムに狙われてしまった場合は大変です。

├─────────────────────────────────┤
 
    Turbolinux 10 Desktop Basic (CD-ROM)
    デスクトップ用 Linux OS
    ライブアップデート、リコーTrueTypeフォント(5書体)、
    オートシャットダウン機能等、価格も抑え目
    http://www.amazon.co.jp/exec/obidos/ASIN/4756144519/top06-22

├─────────────────────────────────┤

    ベイジアンフィルタ (Bayesian Filtering)とは
    ベイズ(Bayes)理論を用いたメールの分類方法のことです。

    
 1. まず以下のような単語のグループを用意します。

    ・単語グループAはスパムメールでよく使われる
    ・単語グループBはスパムメールではほとんど使われない
    ・単語グループCはスパムでないメールでよく使われる
    ・単語グループDはスパムでないメールではほとんど使われない


 2. メールを受信しベイジアンフィルタを使って分類します。

    スパムメールによく使われる単語グループAがたくさん使われている
       → スパムと認定

    スパムでないメールでよく使われる単語グループCがたくさん使われている
       → スパムではないと認定

    また、単語グループ内にある単語はそれぞれ
    スパム率のような確率の数値を持っています。
    単語のスパム率が高ければ高いほど、数が多ければ多いほど
    スパムである可能性が高まります。
    
    同様に単語グループBやDもスパムメールかどうかを判断するための
    キーワードとなります。


 3. 判定結果をフィードバックします。

    判定されたメールから単語をピックアップして
    単語グループの質と量をアップさせるようにします。

    たとえばスパムだと判定されたメールに使われている
    単語を単語グループA に追加したり、スパム率を再計算したりします。

    そうすることによって次回のメールのフィルタリングの精度が
    より向上することになります。

├─────────────────────────────────┤

    Linux ではベイジアンフィルタを利用しているツールに
    以下のようなものがあります。

   *  SpamAssassin
      http://spamassassin.apache.org/
      筆者は spamassassin を利用しています。


   *  bsfilter / bayesian spam filter / ベイジアン スパム フィルタ
      http://bsfilter.org/


    また、ベイジアンフィルタについて、より詳しく知りたいかたは
    以下のページを参考にしてください。

   * スパムへの対策 ---A Plan for Spam
     http://www.shiro.dreamhost.com/scheme/trans/spam-j.html

   * ベイジアンフィルタの改善 --- Better Bayesian Filtering
     http://www.shiro.dreamhost.com/scheme/trans/better-j.html

├─────────────────────────────────┤

   ζ   コーヒーブレイク
   □P  ちょっと休憩。

  「メールアドレスはどこから手に入れられたか？」

   日に日に増えていくスパムですがこの送信者はどこから
   メールアドレスを手に入れているのか気になることがあります。

   Web とかメーリングリストとかからアドレスを
   抽出されていることも多いと思います。
   でも、これはメールアドレスを持っている本人の意思で
   書かないことで回避することができます。

   私が恐いのは信頼しているはずの知人や企業のメールボックスから
   アドレスが流出してしまう可能性です。
   最近はやりの情報漏洩や、メール大量送信型ウイルス、
   To, Cc の利用ミスなどで見知らぬ第３者に
   メールアドレスが流出してしまう可能性は大いにあるでしょう。
 
   流出した場所を特定できないのは恐いです。

   もし宛先ごと(もしくは送信時ごと)に自分のメールアドレスを用意して
   他ではそのアドレスを使わないようにすれば
   もし、そのアドレス宛てにスパムが来た場合は
   アドレスをもらした人を特定することができると思います。
 
   送信時に自動的に宛先などに連動して
   自分のメールアドレス(From:)を変更して
   送信することができれば上のような犯人探しも
   楽になると思いますが Linux だとできるかな？

   まぁ、でも昔のドコモの携帯メールで
   「電話番号@docomo.ne.jp」や「簡単な名前@docomo.ne.jp」
    などにスパムがあったようにアドレスを推測されて
    スパムのリストに加えられる場合も
    あるのかもしれませんけどね。

├─────────────────────────────────┤

   まとめ
   ￣￣￣
    ベイジアンフィルタとは

 「スパムに使われやすい単語」が多い「メール」 → 「スパム」
 「スパム」によく使われている「単語」 → 「スパムに使われやすい単語」

    というように実行されれば実行されるほど精度があがっていきます。

├─────────────────────────────────┤

 ご感想などは linux-tips@u-waza.org までお待ちしています。
 このメルマガに返信していただいても届きます。

├─────────────────────────────────┤

> ○ 読者の声
￣￣￣￣￣￣￣￣
* 読者のかたの応援が私をやる気にさせてくれます。
* Linux 資格無料認定試験 - LTI -の感想もいっぱいです。
* さっそく紹介させていただきます。

しぃちゃん さん
> とっても楽しかったです♪


futaba928 さん
> ８月にcompTIA LINUXを受験する為、現在勉強中です。
> 機会があれば再度、受験したいと思います。


匿名希望 さん
> 普段いかにフィーリングで対処しているかというのを
>  実感させられました。
> こうやって問題として出されると普段出来ていることでも
> わからない事が多いんですね。
> ありがとうございました。


* 他にも読者のメッセージを多数いただいていますが
  メルマガに全部載せるのは、無理ですので
   Web でごらんください。
http://www.u-waza.org/linux-tips/voice.html

├─────────────────────────────────┤
  
> ○ 来週のテーマ
￣￣￣￣￣￣￣￣￣   
   考え中。

├─────────────────────────────────┤

> ○ 筆者にコンタクト
￣￣￣￣￣￣￣￣￣￣￣
-- 
 Linux Tips 研究所
 Linux の知恵袋 >>& あなたのウラ技集
 Web   : http://www.u-waza.org/linux-tips/
 E-mail: linux-tips@u-waza.org

 ご意見、ご感想、裏技ご提供、間違いのご指摘など
 なんでも受け付けています。
 
 このメルマガに返信していただいても届きます。
 どうぞ、メールをください。

├─────────────────────────────────┤

 このメールマガジンの内容は自己責任においてご利用ください。
 いかなる種類の損害に対しても一切の賠償責任を負うことはできません。
 著作権は全て筆者に帰属します。許可なく転載、複製する事を禁止します。

├─────────────────────────────────┤

> ○ 配信中止方法
￣￣￣￣￣￣￣￣￣
 以下のページで登録 / 解除することができます。
 http://www.u-waza.org/linux-tips/regist.html

├─────────────────────────────────┤

> ○ 目次 
￣￣￣￣￣
    ・おしらせ

    ・今週のテーマ   
        §25. スパムメール対策 (ベイジアンスパムフィルタとは)
   
    ・コーヒーブレイク
    ・来週のテーマ
    ・筆者にコンタクト
    ・配信中止方法

    ・目次
    ・おわりに

├─────────────────────────────────┤

> ○ おわりに
￣￣￣￣￣￣￣

       素敵な問題を考えてください。

       http://www.u-waza.org/shiken_linux/


                              Linux の知恵袋 >>& あなたのウラ技集
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━merci!━━━┛
  Copyright (C) 2003-2004 「Linux Tips 研究所」 All Rights Reserved.