|
本研究では、調理者が調理をしながらその調理法を説明した音声から、レシピテキストを自動生成する手法の研究を行う。レシピテキストにおいては、手順番号①の手順で生じた中間食材を、「①に②を混ぜます」というように手順番号で照応するのが一般的である。しかし音声でそのような中間食材を表現するときは、『さっき切った野菜』というように、適当な呼称を用いることが多い。そこで、調理観測映像から得た情報と調理者との対話から得た情報により、食材の調理状況を認識することで、調理者が食材を音声で表現した際に用いた呼称を照応表現に自動変換することが本研究のポイントである。
今年度はまず，レシピの手順説明文を作業フローグラフの形式に自動変換する手法の精度向上を試みた．フローグラフのフォーマットを整理し，手動でフローグラフに変換したレシピを200用意してモデル学習することにより，6割の精度が達成できることが分かった．次に，得られたフローグラフとレシピテキストの関係を分析することで，照応表現を含む文章を生成するルールを導出した．これにより，「リンゴとミカンは皮をむいて一口大に切ります」というように、異なる種類の食材でも同じ加工が加えられる場合には一文にまとめたり，「①を②に混ぜてください」というように，同じ作業の対象となっている食材を照応表現に変換して文を生成するシステムを構築した．
本研究は来年度まで続く予定であった．しかしながら，真に実用可能な程度の高精度なフローグラフ化を実現すためにはさらなるコーパスの増量や手法の改善が必須であり，その経費を確保したいこと，また，ここ数年のレシピ関連業界の盛り上がりを受けて，社会に向けて提案手法を実用面でアピールできる研究を行いたいと考えたことから，最終年度を待たず今年度での基盤研究(B)の提案を決意し，採択された．
|
