2019 Fiscal Year Research-status Report
音環境理解と対話管理技術に基づく大規模レシピデータを用いた調理支援に関する研究
| Project/Area Number |
18K11369
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 教授 (70709352)
高木 信二 名古屋工業大学, 工学研究科, 特任准教授 (50735090)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 調理支援 / 音響イベント検出 / ニューラルネットワーク / 中間特徴量 / 調理行動認識 |
|---|
| Outline of Annual Research Achievements |
2019年度は、主に音響イベント検出技術を用いた調理行動推定の高精度化について取り組んだ．昨年度までの成果として、音響イベント検出技術の基礎的実験に取り組み、メル周波数ケプストラム係数を用いた手法や非負値行列院試分解に基づく特徴量抽出などを検討した。一方で今年度は昨年度まで検討が十分でなかった時系列情報の活用について取り組むとともに、ニューラルネットワークによる音響識別器の中間特徴量の利用という新しいアプローチについても検討を行なった。その結果レシピに基づいて時間的な音響イベントの変化を予測することが非常で有用であること、および調理の音でなくても、汎用的な音響識別器を特徴量抽出器の形で利用することで、特定ドメインである調理行動認識・調理音響イベント検出においてその精度を向上させることが可能となることを確認した。今後の課題は上記で得られた知見を活かしつつ、最新の音響イベント検出技術を調理行動認識の分野に活用することを検討するとともに、統合的な調理行動支援に向けた、実験規模の拡大や調理中の音響データの拡充、その整備などを行っていくことが課題となる。
今年度は昨年度投稿中だった国際会議への投稿が採択され、その発表を行った。特に調理の支援を対象とする研究は、画像処理をベースにしているものが多い中で、音響的なアプローチは注目を集めた。また2019年度の研究によって得られた成果については年度内に国内学会での発表申し込みを完了し2020年度6月に発表予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
音響イベント検出については一定の成果が上がっている一方、レシピデータを対象とした対話シナリオ変換についてはより精力的に取り組む必要がある。
|
| Strategy for Future Research Activity |
2020年度は音響イベント検出技術を調理支援に活用する一連の流れを確立させ、大きな枠での調理支援技術を開発する。その際レシピデータを利用した音声対話的アプローチについても積極的に取り組む
|
| Causes of Carryover |
当初予定していた収録実験を行わず、変更した実験計画によって研究を実施したことによりそれを考慮した支出がなされなかったため。こちらについて翌年度は収録の実施等を踏まえた使用計画を策定している。
|
