2006 Fiscal Year Annual Research Report
エージェントとの音声対話によるマルチメディア調理コンテンツの自動制作システム
| Project/Area Number |
18700120
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
山肩 洋子 独立行政法人情報通信研究機構, 第二研究部門ユニバーサルメディア研究センター超臨場感基盤グループ, 専攻研究員 (60423018)
|
|---|
| Keywords | コンテンツ / マルチメディア / エージェント / 調理 / 音声対話 / 自然言語理解 |
|---|
| Research Abstract |
本研究では,料理のプロではない調理者の調理を観測したデータから,視聴者に分かりやすい教示コンテンツを作成するため、説明を追加したり視聴者の立場で調理者に質問を行なうソフトウェアエージェントを開発することを目的とする.本年度は(i)調理観測データとレシピに基づき調理進行を把握する仕組みと,(ii)調理者や視聴者にわかりやすい発話を生成する仕組みについて研究を行った.
まず(i)について,我々は従来研究において,調理観測映像において調理に用いる各食材を追跡できれば,レシピと対応付けることで調理進行をある程度把握できることを示していた.しかし切削加工により視覚的特徴が大きく変化する食材は,追跡が困難で認識に失敗するという問題があった.そこで,切削加工においては,食材の特徴変化は切る細かさ(動作)と食材の種類(物体)の両方に依存し決まることを利用し,動作と物体の組合せ制約を適用することで,より高い精度で認識する手法を提案した.
次に(ii)については以下の二つを行った.
まず,同じ手順を説明する場合でも,ユーザによって提示する情報(指示理由や期待される結果など)を変えたほうが好まれることをアンケート実験により突き止め,ユーザの性格分類とそれに対する教示情報選定法の提案を行った.
次に,調理の任意の時点の食材を言葉で表現するための手法を提案した.調理中の食材は材料の時点とは特徴が大きく違っていたり,他の名前の食材と混ざっているため,適切な呼称が存在しない場合が多い.しかし物体の呼称は,その時点での物体特徴からのみでなく,過去や未来にどのような呼称であった(ある)か,あるいはどのような加工の対象であったかといった関係によっても与えることができる.そこで,被験者が調理中の食材につけた呼称を分析することで,ユーザが対象物体を特定できる呼称を決定するアルゴリズムを提案した.
|
