Research on cooking support using large-scale recipe data based on sound environment understanding and dialogue management technology

2022 Fiscal Year Annual Research Report

• Project/Area Number: 18K11369
• Research Institution: The University of Tokyo
• Principal Investigator: 齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
• Co-Investigator(Kenkyū-buntansha): 山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352) ; 高木 信二 国立情報学研究所, コンテンツ科学研究系, 特任助教 (50735090)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: 音響イベント検出 / ニューラルネットワーク / 調理支援 / 対話ナビゲーション

Outline of Annual Research Achievements

2022年度は、研究課題全体の中の、音響イベント検出に着目しつつ、それらの知見を行動推定に応用することについて違った側面から検討を行った。これまでの成果ではHMMを用いた時系列解析とニューラルネットワークに基づく特徴抽出の組み合わせ、およびEnd-to-end 型のニューラルネットワークを用いた音響イベント検出についてそれぞれ研究を進めてきた。本年度は調理行動支援への活用を踏まえて、連続する動画像に含まれる音声に対して、汎用的な音響イベント検出モデルを用いた場合に、どのように活用できるかについて検討してきた。特に事後確率に基づく特徴量の系列とその移動平均との差異に着目することで、系列全体における当該箇所の「特異性」を検出することが可能であることが示唆された。
一方、調理中音響データの収録については、本来、本年度中にCOVID19の状況から脱却し、収録を進める予定であったが、最終的には予備的な収録を少し進めたのみで、研究期間中のリリースまでには至らなかった。
調理行動をナビゲーションする対話管理については、ニューラルネットワークに基づく対話管理について調理のナビゲーションに活用する予備的検討を行った。
総合的には外部発表は準備できていないものの、本補助事業期間において調査・研究を行ってきた内容は今後、多方面に活用可能な基礎的知見を醸成したといえる。