| 研究課題/領域番号 |
23500137
|
|---|
| 研究機関 | 情報セキュリティ大学院大学 |
|---|
研究代表者 |
辻 秀典 情報セキュリティ大学院大学, その他の研究科, 准教授 (90398975)
|
|---|
| 研究分担者 |
山肩 洋子 京都大学, 情報学研究科, 准教授 (60423018)
舩冨 卓哉 京都大学, 学内共同利用施設等, 助教 (20452310)
|
|---|
| 研究期間 (年度) |
2011-04-28 – 2014-03-31
|
| キーワード | 遠隔コミュニケーション支援 / メディア処理 / 弱同期 / 遠隔同時調理 / ながら作業 / IwaCam / 情報システム |
|---|
| 研究概要 |
調理をしながらコミュニケーションをとるためには，Skypeに代表される一般的なビデオチャットシステムのように，単に双方の顔の映像を配信すればいいというわけではない．調理の状況を伝えるためには，調理者の顔表情よりも，手元の映像のほうがより重要であると考えられる．また，調理中は洗ったり炒めたりする際に様々なノイズが発生すること，キッチンでは一箇所に留まらず，例えばコンロとシンクの行き来のような若干の移動を伴うことが考えられる．このように，調理をしながら行うコミュニケーションは，一般的なビデオチャットで想定されているコミュニケーションとは環境・目的ともに異なっている．また，常に画面を見ていられることを想定した一般的なビデオチャットとは違い，調理をしている際，視線は主に自分の手元に向いており，時々しか画面を見ることができない． そこで，そのような状況でも，相手の状況がおよそ把握でき，コミュニケーションに齟齬が起きないようにするためには，画像認識や音声認識といったメディア情報処理技術を活用する支援が必要だと想定している． 調理をしながらコミュニケーションするにはどのような環境が適切かを議論するため，一般家庭のキッチンにカメラを設置し双方向映像配信システムを導入して，計7回，同一2者で共に調理を行う実験を行った．双方向映像配信システムとしては，ローカルPC で様々な画像処理や音声処理を行いながら，双方向に映像やデータを配信するシステムの開発を可能とする基盤ソフトウェアIwaCamを予定どおりベースとした． これにより得た経験をもとに，調理コミュニケーションに適したカメラセッティングや映像品質などについて検討した．また，遠隔地間でともに調理する際のコミュニケーションを支援するために必要となるメディア情報処理について，IwaCamを用いた実験により獲得した観測データをもとに検討を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画においては，(1)基盤システム開発と(2)サムネイル画像の自動選択機構の検討を行った上で，(3)システム統合を行い，汎用アプリケーションとして実装することとしていた． (1)として計画していた，双方の今の調理状況をリアルタイムに配信する映像に加え，相手のこれまでの調理履歴が一覧できる調理履歴画像シーケンスを配信し，これをひとつの画面上に配置してこちらのディスプレイに出力する機能をについては，基盤システムとして研究代表者らが提案・実装した料理映像コミュニケーション基盤ソフトウェアIwaCamをベースとして予定通り開発を行った． (2)として計画していた，調理の様子をカメラで観測し，その調理観測映像から調理説明画像検出器により調理履歴画像シーケンスを抜き出す機構の検討については，遠隔コミュニケーション支援という観点に基づき，これを単独で進めるよりも，メディア処理を活用することでどのような支援が可能であるかについて，予備実験を通じて検討することが必要であると判断した． 従って，当初平成24年度に予定していた予備実験を前倒しで平成23年度に行い，実験環境および実験シナリオの検討と想定，さらにはIwaCamを用いた実験システムの実装を行った．計7回，同一2者で共に調理を行う実験を通じて，遠隔同時調理における映像・音声の役割という観点で考察を行い，実際にコミュニケーションが成立するのか，具体的にどのようなコミュニケーション支援機能が必要であるかを検討した．これにより平成24年度で実装すべき内容の方向性を見いだした． 結果として，平成23年度で実装を行い，平成24年度で実験を行うといった当初の計画について，これを並行で進める形となり，総合的な進捗率でみればほぼ予定通りに進展していると判断した．
|
| 今後の研究の推進方策 |
まず，平成23年度に行った予備実験を通じて，同時調理における映像・音声の役割を整理する．映像の役割については，カメラのセッティング，映像の画質・表示サイズなどの観点から，音声の役割についてはマイク・ヘッドフォンセッティング，音質などの観点から整理を行う． そして，次に映像・音声メディア処理による遠隔コミュニケーション支援の可能性の整理と検討を行い効果の高い支援機能から実装に取り込む． 観測映像処理によるユーザ補助の可能性としては，シンクや調理台への映り込みにロバストなカメラ切り替えの導入，注目領域の拡大，カメラ映像の幾何補正，画面注視検出が考えられる．また，当初より計画していた，ずっと画面を見ていなくても，相手の状況を理解できるよう支援することも重要であると考えられる．例えばサムネイル画像を並べるなど，コンテキストを理解する上で重要となる場面を抽出し，その瞬間を見逃しても後から確認できるよう，画面に表示しておくことが有効であると考えられる． 観測音声処理によるユーザ補助の可能性としては，調理中の音声を認識することが，遠隔同時調理の際のコミュニケーションを支援するうえで有用であると考える．例えば，相手の発言の字幕を表示することで，調理雑音等により聞き逃した情報を補完したり，発話を認識して相手や自分の調理映像における注目領域を拡大するなどの制御である． これらのユーザ補助の可能性について，引き続き実験を行うことで，実装すべき支援機能の方向性を定める．またこれまでの実験において，実験環境の構築も重要な課題であると認識したため，実験システムのロバスト性について検証を行い，様々な動作環境で動作することも確認する．その上で，フィールドテストを行うための実験環境および実験シナリオの検討と想定といった実験設計を行い，フィールドテストに着手する予定である．
|
| 次年度の研究費の使用計画 |
平成24年度はフィールドテストを想定した実験環境の構築と，実験の実施のために研究費を用いる． 当初の計画では平成23年度に基盤システムの構築と実験環境構築のための機器の調達を行い，平成24年度を実験の実施と位置づけていたが，平成23年度に予備実験の実施を前もって行ったため，平成24年度においても残りの基盤システムの構築と実験環境の構築を行う．実験環境の構築にあたっては，実験システムのロバスト性の検証を行うために，様々なネットワーク環境および，実験用モバイルPCが必要となる． また，フィールドテストを行うための実験協力者に対する謝金等も想定する． さらに，平成23年度より続く実験の結果をまとめ，随時発表をするため国内旅費および外国旅費が必要となる．
|
