1999 Fiscal Year Annual Research Report
講義ビデオのハイパーメディア化と内容記述によるマルチメディア教材の研究
| Project/Area Number |
11480081
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Research Institution | Ryukoku University |
|---|
Principal Investigator |
有木 康雄 龍谷大学, 理工学部, 教授 (10135519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
熊野 雅仁 龍谷大学, 理工学部, 助手 (50319498)
川上 肇 龍谷大学, 理工学部, 助手 (60298734)
小淵 洋一 龍谷大学, 理工学部, 教授 (60025450)
|
|---|
| Keywords | ディジタル・アーカイビング / シーンカット検出 / 音声ディクテーション / 相互情報量を考慮したTF-IDF / 隠れマルコフモデル / テロップ・フリップ / ハイパーリンク / 類似映像 |
|---|
| Research Abstract |
平成11年度は,ビデオ教材をディジタル化すると共に,内容記述として映像では,カット検出とテロップ検出を実行し,音声では,講師の音声をディクテーションした.これらをべースに更に詳細な内容記述を行う研究と,統合化する研究は次年度行う予定である.
(1)ビデオ教材のディジタル化…ビデオ教材8巻(8時間分)程度を,購入したワークステーションとRAIDを使って,圧縮形式でディジタル・アーカイビングした.また,非圧縮でも実時間で動画をディジタル・アーカイビングできるようにした.その後,シーンカットを検出して構造化する研究を行った.
(2)音声ディクテーションによる内容記述…各シーンにおいて,音声ディクテーションを行い,重要なキーワードを抽出する研究を行った.キーワードの抽出では,我々が提案した相互情報量を考慮したTF-IDFを用いている.ディクテーションの方法としては,ニュース番組でよく使われる2万単語の辞書を用い,単語間連鎖であるバイグラムを学習した.音響モデルである隠れマルコフモデル(HMM)は,2万文章から学習した不特定話者用の音素HMMを用いている.
(3)テロップ・フリップ認識による内容記述…各シーンにおいて,テロップならびにフリップの検出を行い,文字認識して重要なキーワードを抽出した.フリップやテロップフレームの検出方法は,ニュース番組で既に開発したソフトウェアを用いている.テロップの切り出しでは,定常状態区間を検出し,テロップ認識では,市販のOCRを用いている.
(4)類似映像の検出によるシーン間のハイパーリンク…各シーンの映像とよく似ている映像を精度良く高速に見つけるための新しい画像照合方法を研究した.手法としては,色彩や動きの情報を2次元のベクトル場として記述し,その局所的な相違度が小さい映像区間を検出している.その際,ベクトル場の方向分布や相違度の時空間的対称性を考慮している.こうすることで,内容が類似しているシーンを異なる映像区間からまとめて検索できるようになる.
|
-
[Publications] 有木康雄,西田昌史,緒方 淳: "アナウンサー発話の自動抽出とニュースディクテーションによる記事分類"情報処理学会論文誌. 第40巻・第4号. 1482-1490 (1999)
-
[Publications] Y.Ariki and K.Matsuura: "Automatic Classifications of TV news Articles Based on Telop Character Recognition"ICMCS99. 148-152 (1999)
-
[Publications] Y.Ariki,S.Takao and J.Ogata: "Segmentation and Classification of TV News Articles Based on Speech Dictation"TENCON99. 92-95 (1999)
-
[Publications] 川上肇,寺裏浩一,黒江康明,森武宏: "ニューラルネットワークを用いた画像の動き場の推定法〜マッチング法と勾配法の融合〜"第9回インテリジェント・システム・シンポジウム講演論文集. 581-582 (1999)
-
[Publications] 川上肇,小山亮彦,小淵洋一: "色相情報に備わる周期性を考慮したカラー画像照合"電子情報通信学会,パターン認識・メディア理解研究会. (2000)
-
[Publications] 川上肇,村井聖,黒江康明,森武宏: "ニューラルネットワークを用いた陰影画像からの形状復元法〜物体表面の反射特性の同時推定"第27回知能システムシンポジウム講演論文集. (2000)
-
[Publications] 西田正吾・美濃導彦(第12章執筆分担有木康雄): "オーム社"情報メディア工学. (1999)
