2019 年度研究成果報告書

視覚・言語情報を統合処理するニューラルネットワークに関する研究

研究課題

PDF

研究課題/領域番号	16K00338
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
研究分野	ソフトコンピューティング
研究機関	慶應義塾大学
研究代表者	萩原将文慶應義塾大学, 理工学部(矢上), 教授 (80198655)
研究期間 (年度)	2016-04-01 – 2020-03-31
キーワード	視覚情報処理 / 言語情報処理 / ニューラルネットワーク / 感性情報
研究成果の概要	視覚情報と言語情報の統合的な処理機構の開発と、入力画像からの常識の自動獲得に関しては、画像を感性豊かに説明するキャプション自動生成システムの構築を行った。本システムは、物体の感性語を推定する際、画像特徴だけでなく物体の名詞情報も活用している。また表現力の高い感性語を生成するための感性語変換機構も有している。自然言語を生成できるニューラルネットワークの開発に関しては、文脈を考慮した会話文の自動生成が可能な対話システムの構築を行った。さらにこれを、共感と助言に着目した自動相談システムへ発展させた。
自由記述の分野	ニューラルネットワーク
研究成果の学術的意義や社会的意義	従来より学術的には、画像のような視覚情報と言語情報は別々に扱われることが多かった。しかし実生活やTV、書籍、Webなど、ほとんど場合、これらは分離されることなく総合的に扱われている。本研究の目的は、画像と言語を統合的に扱う方法を考案することにある。これは社会からの需要も高く、また学術的にも画像のようなパターン情報と言語のようなシンボル情報を統合処理するという意味で高い意義を有している。