2016 Fiscal Year Research-status Report
視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発
| Project/Area Number |
16K13117
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
林 隆介 国立研究開発法人産業技術総合研究所, 人間情報研究部門, 主任研究員 (80444470)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 神経科学 / ブレイン・マシン・インタフェース / 深層ニューラルネット / 視覚情報処理 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、最新の人工知能システムに生体の脳情報を接続し、神経信号から高度な視覚情報の復号化を行い、電子・情報・通信機器を介して対人コミュニケーションに利用する、ブレイン・マシン・インタフェース(BMI)技術を開発することにある。研究計画では、実験動物の大脳皮質・視覚野から神経細胞の活動を記録し、画像認識と文章生成処理を統合した深層ニューラルネットに接続することによって、神経信号から視覚体験の内容を、テキスト化して出力するインタフェース技術の開発を目指している。初年度にあたるH２８年度は、神経活動計測に用いる実験動物の行動訓練を行うとともに、視覚・言語統合型深層ニューラルネットワークの開発を行うためのプラットフォームの立ち上げをおこなった。年度末までに、実験動物の行動訓練は順調に進んでおり、深層ニューラルネットワークの開発にも一定の成果があった。具体的には、画像に含まれるさまざまな視覚概念を単語として出力するニューラルネットワークの開発を行った。これは、画像とその内容に関するキャプションが付与された画像データベースを使って、画像の特徴とキャプションで使われている単語との間のマルチラベルマッピングによって実現された。こうした実装研究の成果として、人間の視覚認知傾向のシミュレーションを行い、得られた知見に関する学会発表を行った。加えて、神経情報処理の解析に有用な新たなデータの解析手法を考案し、論文発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、初年度にあたるH２８年度は、実験動物の課題訓練を行った。現在3頭を訓練し終え、1頭に対し新規訓練を開始した。
また、深層ニューラルネットワークの開発環境の構築を終え、自然画像に、その内容を説明したキャプションを付与したMSCOCOと呼ばれるのデータベースを使い、画像に含まれるさまざまな視覚概念を単語として出力するニューラルネットワークを実装した。さらに、自然言語処理ニューラルネットワークを加え、画像から対応するキャプションを自動生成するニューラルネットワークもすでに実装済みである。こうした実装研究の成果として、人間の視覚認知傾向をシミュレートするシステムを構築し、学会発表を行った。加えて、データの解析手法に関して論文発表を行った。
|
| Strategy for Future Research Activity |
実験動物から神経活動記録を行い、その情報処理の符号化法を検証し、あわせて復号化手法の開発に取り組む。特に、画像認識用の深層ニューラルネットワークの符号化法に注目し、神経情報表現の領域依存性や時間変化との対応について詳細に検討し、目的とする視覚・言語統合型人工知能システムに基づく脳情報インタフェース技術の開発に取り組む
|
| Causes of Carryover |
当該年度の消耗品の支出額が予定より少なかったため。
|
| Expenditure Plan for Carryover Budget |
次年度以降の消耗品費として支出予定である。
|
