研究課題
本研究は、初年度にクラスタコンピュータの部品を購入し、ハードウェアとソフトウェアともに手作りでクラスタコンピュータを作成した。そのうえで、文書頻度を計測するシステムを構築したのが初年度の成果である。作業の多くは、いままでの既知の技術の組み合わせであったが、これによって、大規模な統計分析を行うための基礎環境が整備できた。具体的には、32bitの空間に入らないような量のテキストであっても、分担して頻度を計測し合算するようなシステムをライブラリとして整備できた。後半は、その成果を利用してサポートベクトルマシンの入力として、分析した結果を与えることで、文章のなかのキーワードを抽出する研究や、カルテ情報における関連病名を推定する研究が可能となった。サポートベクトルマシンの入力には、文書内で繰り返すことを反映した統計値を用いることを特徴にすることで、日本語でも中国でもキーワードとなりえる部分を検出するシステムが動作した。大規模なコーパスを用いるかわりに、辞書をまったく排除して、キーワード抽出ができるのは、他に例のないユニークな成果である。さらに、大規模なコーパスを対象にしたために、機械学習でキーワードを選び出すことに人手によるしきい値を排除できたこともユニークな成果である。関連病名の推定では、7年分の病院のカルテ情報を対象に分析を行うことができた。このような大規模な分析ができたのも、環境を整備したことによる貢献が大きい。
すべて 2005 2004 2003
すべて 雑誌論文 (6件)
情報処理学会プログラミング・シンポジウム 口頭発表
ページ: 187-192
情報処理学会2005 年情報学シンポジウム 口頭発表
ページ: 129-136
言語処理学会第10回年次大会 NLP2004 併設ワークショップ固有表現と専門語抽出 口頭発表
ページ: 44-47
LREC -2004 Workshop on Methodologies and Evaluation of Multiword Units in Real-world Application 口頭発表
ページ: 8-11
第46回デジタルドキュメント研究会 IPSJ-DD04046003 Vol.2004 No.97
ページ: 15-20
情報処理学会夏のプログラミング・シンポジウム 口頭発表
ページ: 25-36
