|
本研究では、自身の現在の行動をキーとしながら、過去の行動記録を段階的に検索し、呈示する仕組みを検討している。具体的には、行動記録を一連の動作(イベント)に分解し、過去の行動シーケンスと現在の行動シーケンスを比較しながら、必要とされる行動記録を実時間で検索し、呈示することを試みる。映像データとしては、被験者の頭部に装着した超小型カメラからの映像を扱う。本エンドの研究成果は以下の2点に集約される。
1.行動映像の特徴抽出と分解
大学構内の環境を利用して、行動映像を取得した。この中から一定時間注視しているシーンを重要なシーンとみなし、抽出を試みた。具体的には、各フレーム単位でHarrisの特徴量を利用することでフレーム単位での特徴量を定義し、隣接フレーム間での相関度の高いシーンを重要シーンとして抽出した。
2.イベント群の構造化
1.で得られた重要シーンから繰り返し登場するシーンを「ホーム」と定義し、ホームを根とする木構造で行動映像全体を記述するシステムを実装した。なお、1.での重要シーン抽出アルゴリズムの精度により、同じ行動についても行動を構成するシーン抽出に関する誤差(過剰抽出や抽出漏れ)が含まれてしまう。そこで、冗長性の高いDPマッチングを使うことで、余分な枝(=同じ種類の行動であっても違うシーン系列とみなされてしまうこと)の削除を試みた。
|
