|
計画通り３項目について研究を行い，それぞれ以下に述べる成果を得た．
まず，画質改善の方法の研究については2つの成果を得た．1つは，画質が劣化した画像の画質を改善するための，二重残差接続と呼ぶ新たな畳み込みニューラルネットワークの構造を設計したことである．5種類の画質劣化要因に関する9つのベンチマークテストで，論文発表当時世界最高性能を達成した．もう1つは，複数の要因が複合的に作用し劣化を生じた画像を対象に，画質を改善可能なネットワークの構造を設計したことである．入力画像の画質劣化要因に適応的に必要な演算を選択する注意機構をデザインしたことがポイントである．こちらも論文発表当時世界最高性能を達成した．2つの成果はいずれも国際会議CVPRで発表した．
次に画像理解の研究については，2つの成果を得た．当時，画像と言語のマルチモーダルタスクでマルチタスク学習はほとんど成功していなかったが，キャプション検索，グラウンディング，VQAの3つのタスクを，それぞれの専用データセットを用いて，1つのネットワークで学習することができ，複数タスクを同時学習することによる相乗効果が得られることを実験を通じて確認した．これは当時世界初の成果である．この成果も国際会議CVPRで発表している．
最後に，色々な視覚タスクをこなすサルの脳活動を皮質電位図（ECOG）によって測り，サルの視覚情報処理機構を分析する研究を行った．成果としては，サルが今何をみているかをECOGの信号から画像として再構成する方法を開発した．サルに見せたもの全てが再構成できるわけではないが，人や動物の顔や果物，毛皮の画像などはかなりうまく再構成できることを示した．これはECOGを用いたものとしては世界初であり，国際会議Bioinformatics and Biomedicineで論文を発表するとともに，論文誌に投稿準備中である．
|
