1992 Fiscal Year Annual Research Report
トライ構造に基づく大規模自然言語辞書の高速検索技法の研究
| Project/Area Number |
04650317
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
青江 順一 徳島大学, 工学部, 助教授 (90108853)
|
|---|
| Keywords | 自然言語処理 / 辞書検索 / 形態素解析 / トライ構造 / 動的ファイル管理 |
|---|
| Research Abstract |
本年度は,次のトライ構造の圧縮と検索アルゴリズムの提案した.
1.トライ構造は辞書のキー(見出し)の接頭辞を併合した木構造を成すので,問題点は辞書頃目数の増加と共にノード数が急激に増加することである.従って,木構造の最終分岐以後のアークをストリングの記憶に圧縮する方法を提案した.
2.木構造とストリング記憶を効率的に連結するデータ構造を,研究代表者が提案しているダブル配列で次の用に実現した.
(1)ダブル配列にストリングへのポインタと格納する構造を考案した.
(2)ストリング情報にキーに関するレコード情報を格納するデータ構造を考案した.
3.2.で開発したトライ構造を用いた検索アルゴリズムに追加と削除アルゴリズムを提案して,そのソフトウェアを開発し,一括追加を行った辞書で高速性を次のように評価した.
(1)辞書の種類は,150,000語の形態素辞書,80,000語の英単語辞書の大きさを測定し,約1万件の語彙に対して約1メガバイトのよい実験結果が得られた.
(2)一括追加の平均速度は,1頃目当たり約500ミリ秒の高速な結果が得られた.
(3)以上の実験結果を,線形検索と比較して有効性を実証した.
|
-
[Publications] 青江 順一,森本 勝士,長谷 美紀: "トライ構造における接尾辞の圧縮アルゴリズム" 電子通信学会論文誌. J75. 770-779 (1992)
-
[Publications] J.Aoe,K.Morimoto T.Sato: "An Efficient Implementation of Trie Structures" Software-Practice & Experience. 22. 695-721 (1992)
-
[Publications] 青江 順一: "キー検索技法-静的ハッシュ法とその応用-" 情報処理学会誌. 33. 1359-1366 (1992)
-
[Publications] 青江 順一: "キー検索技法-動的ハッシュ法とその応用-" 情報処理学会誌. 33. 1465-1472 (1992)
-
[Publications] 青江 順一,佐藤 隆士: "キー検索技法-探索技法とその応用-" 情報処理学会誌. 34. 106-113 (1992)
-
[Publications] 青江 順一: "キー検索技法-トライ法とその応用-" 情報処理学会誌. 35. 244-251 (1992)
-
[Publications] Junichi AOE: "Computer Algorithms-String Matching-" IEEE Computer Society Press (米国電気電子学会コンピュータ協会出版), 160 (1993)
