2018 Fiscal Year Research-status Report
音環境理解と対話管理技術に基づく大規模レシピデータを用いた調理支援に関する研究
| Project/Area Number |
18K11369
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山岸 順一 国立情報学研究所, コンテンツ科学研究系, 准教授 (70709352)
高木 信二 国立情報学研究所, コンテンツ科学研究系, 特任助教 (50735090)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 調理支援 / 音響イベント検出 / 非負値行列因子分解 / 調理行動認識 |
|---|
| Outline of Annual Research Achievements |
2018年度は、主に調理中の音響データを収録したデータセットの作成と音響イベント検出技術を用いた調理行動の推定について取り組んだ。
これまでに公開されている調理行動のデータベースは主に映像や画像処理を意図しており、音響データを併用するような場合でも十分な知見が得られてこなかった。そこで決められたメニューに対して、一連の調理行動を行った際の音響データの収録を行い、これを整備した。また収録された音響データを用いて、音響イベント検出技術の基礎的実験について取り組んだ。音響イベント検出として、メル周波数ケプストラム係数を用いた手法や非負値行列因子分解に基づく特徴量抽出などを検討し、一定の調理行動認識が可能であることを示した。一方で時系列情報を適切に導入するためにはレシピデータの活用が不可欠であることも明らかになり、こちらについては次年度以降の課題である。
加えてレシピデータを対話シナリオに変換する技術の構築のためにレシピデータの構造化について基本的な検討をいくつか行った。具体的にはフローグラフへの変換や複数のレシピ中に登場する調理行動に相当する動詞の抽出などを検討した。
上記の音響イベント検出に関する内容とレシピデータの構造化について、それぞれ国内学会で1件およびデータ活用のシンポジウムでの発表1件を行った。また2018年度内に国際会議への投稿を行い、こちらについては現在査読プロセスの段階である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
音響イベント検出については一定の成果をあげることができている。一方でレシピデータを対象とした対話シナリオ変換技術については、予備的な実験にとどまっており、こちらについては2019年度、精力的に取り組む予定である。
|
| Strategy for Future Research Activity |
2019年度は引き続き音響イベント検出技術を調理行動認識に適用する際の、高精度化や高速化の技術について取り組む。一方で、レシピデータを出発点とした対話シナリオ変換に向けて、自然言語処理的アプローチも重点的に取り組む予定である。
|
| Causes of Carryover |
収録実験が当初計画より小規模となった点、および投稿予定の国際会議の開催が次年度となったことにより、それに関連する旅費支出が当該年度使用とならなくなったため。こちらについて翌年度は、特に国際会議については旅費としてより多くの支出を予定している。
|
