正当な電子メールの特徴を利用した言語の種類に依存しない迷惑メールフィルターの開発

• Project/Area Number: 21700078
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Computer system/Network
• Research Institution: Yamaguchi University
• Principal Investigator: 杉井 学 Yamaguchi University, 准教授 (00359910)
• Project Period (FY): 2009 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2011: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2010: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2009: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 迷惑電子メール / 機械学習 / 電子メールフィルター

Research Abstract

正当な電子メールの特徴に着目し、言語の種類に依存しない迷惑メールフィルターシステムを構築した。また、処理速度および分類精度の向上を図るため、電子メール受信モジュール、言語解析モジュール、機械学習モジュール、電子メール分類モジュールなどに分割したシステム設計を行った。特に、機械学習モジュールは別サーバ上での実行を想定して、データの自動入出力インターフェイスを実装した。これにより、比較的処理時間の長くかかる機械学習処理をクラスターPCなどの別サーバ上で処理することが可能となり、分類精度を低下させることなく処理時間の短縮が実現できた。
また、分類精度のさらなる改善を目的に、学習に利用する電子メール情報(本文情報、メールヘッダ情報)の組み合わせを検討すると同時に、本プロジェクトで開発したものとは別のメールフィルタリングソフト(ベイジアンフィルタ)を併用して分類処理することで、より分類精度を高くできることを明らかにした。二つのフィルターシステムは、異なる指標でメール分類規則を導き出すため、今回の結果は、正規メールの回収率は高いが迷惑メールを多く混入してしまうベイジアンフィルタの短所を、本プロジェクトで開発したメールフィルターシステムが補完して、迷惑メールの混入を防ぐことが出来たことによる精度の向上と考えられた。さらに、分類判定のパラメーターを最適化することで、これまで約97%の分類正解率を、およそ99%に引き上げることができた。

Research Products

• [Presentation] 機械学習によるメールヘッダ情報に基づく迷惑メールフィルタリング (2010)
  • Author(s): 杉井学
  • Organizer: 情報処理学会DPS研究会 第18回マルチメディア通信と分散処理ワークショップ
  • Place of Presentation: 青島サンクマール(宮崎県)
  • Year and Date: 2010-10-28
• [Presentation] ベイジアン方式と機械学習を併用したスパムメールフィルタの検討 (2010)
  • Author(s): 山口博之
  • Organizer: 情報処理学会DPS研究会 第18回マルチメディア通信と分散処理ワークショップ
  • Place of Presentation: 青島サンクマール(宮崎県)
  • Year and Date: 2010-10-28
• [Presentation] ベイジアン方式と機械学習の併用によるスパムメールフィルタリング (2010)
  • Author(s): 山口博之
  • Organizer: 平成22年度(第61回)電気・情報関連学会中国支部連合大会
  • Place of Presentation: 岡山県立大学(岡山県)
  • Year and Date: 2010-10-23
• [Presentation] メーリングリストを対象とした機械学習によるスパムメールの分類 (2009)
  • Author(s): 角朝香
  • Organizer: 平成21年度 電気・情報関連学会中国支部第60回連合大会
  • Place of Presentation: 広島県・広島市立大学
  • Year and Date: 2009-11-17
• [Presentation] 機械学習を応用したスパムメールフィルタリング手法の検討と評価 (2009)
  • Author(s): 角朝香
  • Organizer: 情報処理学会DPS研究会 第17回マルチメディア通信と分散処理ワークショップ
  • Place of Presentation: 北海道・層雲閣グランドホテル
  • Year and Date: 2009-10-08
• [Presentation] Performance Evaluation of Two e-mail Filtering Systems with Different Machine Learning Techniques (2009)
  • Author(s): Manabu Sugii
  • Organizer: The 24th International Technical Conference on Circuits/Systems, Computers and Communications
  • Place of Presentation: Jeji KAL HOTEL, Jeji, Korea
  • Year and Date: 2009-07-06