2005 Fiscal Year Annual Research Report
映像による個人行動記録と大規模データの自然言語処理による日常生活に関する知識獲得
| Project/Area Number |
16650025
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
中村 裕一 京都大学, 学術情報メディアセンター, 教授 (40227947)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
黒橋 禎夫 東京大学, 情報理工学系研究科, 助教授 (50263108)
|
|---|
| Keywords | 体験記録 / 映像検索 / 記憶補助 / 画像と言語の統合 / 遠隔コミュニケーション / ウェアラブルコンピュータ / 映像インデキシング / 映像の構造化 |
|---|
| Research Abstract |
平成17年度は以下のような研究を行い,個人行動記録の蓄積・検索・コーパスとしての高次利用に関する新しい手法を提案し,その有効性を確認しつつある.
(1)個人行動記録映像の蓄積とそのシステム化
行動環境,行動のストーリーなどを具体的に設定し,様々なデータを取得した.実際に集めたのは複数人で100時間超のデータとした.そのために,環境カメラを複数箇所に設置し,室内のどの位置に人物がいても周辺の映像が個人視点映像と自動的に同期して記録されるようにシステムを構築した.また,屋外や環境カメラがない屋内でもその個人視点映像を有効に利用できるように,GPSとジャイロを用いた位置記録システムの併用を試み,部屋の特定などの目的で用いることが可能であることを確認した.
(2)個人行動記録の近接性による構造化と連想検索
個人行動記録の構造化手法として,自然言語で用いられている近接性の概念を採り入れ,各々の記録断片(1フレーム〜数秒程度の短い映像断片)の間の関係を様々な近接性で記述する枠組みを提案した.また,それらの近接性を画像・音声・時刻・位置・その他のセンサ情報から検出する方法について考案し,一部分を実際にプログラムとして実装した.検索実験を行うことにより,その有効性を確認した.
(3)映像と言語の統合的コーパス化
以上の道具立てを用いて,個人行動記録に関する映像と自然言語のラベル付け,それによるコーパス化やデータマイニングへの入力が検討できる段階になった.直接的な画像処理による特徴抽出と近接性による検索を用いて人間の類似行動をまとめることによって多くのデータ断片が自動的に関連づけられること,また,人手で関連づける場合にもその労力が大幅に軽減されることが確認できた.
現在,引き続きデータマイニングとそれによるシンボルグラウンディングに関する研究を行っている.
|
