• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

文書量に依存しない高速n-gram全文検索法の実現と大規模文書への応用

研究課題

研究課題/領域番号 10480082
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 情報システム学(含情報図書館学)
研究機関徳島大学

研究代表者

青江 順一  徳島大学, 工学部, 教授 (90108853)

研究分担者 獅々堀 正幹 (獅々掘 正幹)  徳島大学, 工学部, 助教授 (50274262)
佐藤 隆士  大阪教育大学, 教育学部, 助教授 (20124117)
北 研二  徳島大学, 工学部, 教授 (10243734)
研究期間 (年度) 1998 – 2001
研究課題ステータス 完了 (2001年度)
配分額 *注記
11,500千円 (直接経費: 11,500千円)
2001年度: 2,200千円 (直接経費: 2,200千円)
2000年度: 2,400千円 (直接経費: 2,400千円)
1999年度: 3,200千円 (直接経費: 3,200千円)
1998年度: 3,700千円 (直接経費: 3,700千円)
キーワード文書データベース / 検索手法 / キーワード検索 / 文書検索 / 文書データ / 全文検索
研究概要

本研究の目標は,postingsに対するベクトル表現を導入し,圧縮のための多段階圧縮アルゴリズムを考案することであり,postingsを従来法の約10%に圧縮するための計画を立案し,最終年度の研究実施内容は次の通りである.
1.n-gram文字列索引の格納構造としての動的な複数キーワードの照合機械の改善.
平成10、11,12年度で提案した動的手法の削除に関する処理が,低速であるので,その改善を行った.最終年度の改善率は25%であった。担当者は,青江である.
2.postingsに対する圧縮技法の提案と実験による評価.
平成11,12年度は,postingsの圧縮に提案した新しいベクトル表現のビット1の数の分布,さらに考案された多段階圧縮アルゴリズムの圧縮率を理論的解析で評価したので,その実験により、85%の改善を実証した.担当者は,獅々堀である.
3.部分文字列マッチの実現と検索性能の向上
平成11,12年度は,前方一致のみならず,後方一致,中間部分一致を一つの索引に対して高速検索できる新しい索引構造と検索アルゴリズムを確立し,実験により検索速度の性能を評価したが,速度を改善し、30%の改善率を得た.担当者は,佐藤である.
4.開発エンジンの実用規模テキストデータベースへの適応と評価.
1ギガバイト以上の実用規模テキストデータベースへの提案手法を適合し,徹底した有効性の評価と改善を継続しており、特に新聞データなどの500MBデータベースが構築できた.全体として,文書量に依存しない高速全文検索が可能となった。担当者は,北である.

報告書

(5件)
  • 2001 実績報告書   研究成果報告書概要
  • 2000 実績報告書
  • 1999 実績報告書
  • 1998 実績報告書
  • 研究成果

    (33件)

すべて その他

すべて 文献書誌 (33件)

  • [文献書誌] M.Jung: "A Dynamic Construction Algorithm for the Compact tree"Information Processing & Management. 38. 221-236 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] S.Lee, J.Aoe: "Extraction of Field coherent passages"Information Processing & Management. 38. 173-207 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] EL-Sayed AHam: "Words Tendency Depending on Time-Series Variation"Information Processing & Management. 38. 157-171 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 森田和宏: "ダブル配列における動的更新の効率化アルゴリズム"情報処理学会論文誌. 42. 2229-2238 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Y.Yamakawa: "A Method for Improving Full Text Search Using Signature Files"Computer Mathematics. 77. 73-88 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Jung,M., Aoe,J.: "A dynamic Construction Algorithm for the compact tree"Information Processing & Management. 38, No. 2. 221-236 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Lee,S., Aoe,J.: "Extraction of Field Coherent Passages"Information Processing & Management. 38, No. 2. 173-207 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Atlam,El-Sayed, Aoe,J.: "Words Tendancy Repending on Time-Series Variation"Information Processing & Management. 38, No. 2. 157-171 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Morita,Kazuhiro, Aoe,J.: "Dynamic Updating Method of Double-Array Structures"Information Processing. 77, No. 5. 73-88 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Yamakawa,Y., Aoe,J.: "A Method for Improving Full Text Search Using Signatures"Computer Mathematics. 42. 73-88 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] M.Jung: "A Dynamic Construction Algorithm forthe Compact tree"Information Processing & Management. 38. 221-236 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] S, Lee: "Extraction of Field coherent passages"Information Processing Management. 38. 173-207 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] EL-Sayed Atlam: "Words Tendency Depending on Time-series Variation"Information Processing & Management. 38. 157-171 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 森田和宏: "ダブル配列における動的更新の効率化アルゴリズム"情報処理学会論文誌. 42. 2229-2238 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Y.Yamakawa: "A Method for Improving Full Text Search Using Signature Files"Computer Mathematics. 77. 73-88 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] K.Morita: "Fast insertion methods of a double-array structure"Software Practice & Experience. 31・1. 43-65 (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.koyama: "A fast and compact technique of implementing transition tables for finite state automata"International Journal of Information Sciences. 129. 141-154 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] S.Mizobuchi: "An Efficient Representation for Implementing Finite State Machines Based on the Double-Array"International Journal of Information Sciences. 129. 119-139 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Shishibori: "A Fast Correction Method for Erroneous Sentences Using the LR Parsing"IEICE Transactions on Information and Systems. E83-D・9. 1797-1804 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 獅々堀正幹: "多属性項目の履歴情報に基づくメイル文書のフィルタリング手法"情報処理学会論文誌. 141・8. 2299-2308 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Fuketa: "A Document Classification Method by using Field Association Words"International Journal of Information Sciences. 126. 57-70 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 辻 孝子: "複合語の分野連想語の効率的決定法"自然言語処理. 7・2. 111-125 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] E-S.Atlam: "Similarity Measurement Using Negative Weight Function"Information Processing & Management. (印刷中). (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] K.Morita: "A Link Trie Structure of Staring Multi-Attribute"International Journal of Computer Mathematics. 118・2. 145-157 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 溝渕 昭二: "日本語時間表現の一解釈法"情報処理学会論文誌. 40・9. 3408-3419 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] M.Fuketa: "Efficient Controlling of Parsing-Stack Operation"International Journal of Information Sciences. 118・1. 145-157 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] N.Shishibori: "Two Improved Access Methods on Compact Binary Trees"Information Processing & Management. (印刷中). (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] M.Fuketa: "A Fast Method of Determining Weighted Compound Keywards from Text Databases" International Journal of Information Processing & Management. 34・4. 431-442 (1998)

    • 関連する報告書
      1998 実績報告書
  • [文献書誌] M.Koyama: "A Fast Retrieving Algorithm of Hierarchical Relationships" International Journal of Information Processing & Management. 34・6. 761-773 (1998)

    • 関連する報告書
      1998 実績報告書
  • [文献書誌] 森田和宏: "トライ構造を用いた共起情報の効率的検索アルゴリズム" 情報処理学会論文誌. 39・9. 2563-2571 (1998)

    • 関連する報告書
      1998 実績報告書
  • [文献書誌] K.Ando: "An Extended Pattern Matching Machine for Document Processing" Computer Processing of Oriental Languages. 11・3. 223-248 (1998)

    • 関連する報告書
      1998 実績報告書
  • [文献書誌] M.Fuketa: "A Fast Algorithm of Retrieving Common Sentences" International Journal of Information Sciences. 109・4. 265-279 (1998)

    • 関連する報告書
      1998 実績報告書
  • [文献書誌] H.Mochizuki: "A Substring Search Algorithm in Extensible Hashing" International Journal of Information Sciences. 108・4. 13-30 (1998)

    • 関連する報告書
      1998 実績報告書

URL: 

公開日: 1998-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi