| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05952
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| 研究分担者 |
菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
劉 星 東北大学, 情報科学研究科, 特任助教 (60870095) [辞退]
鈴木 潤 東北大学, データ駆動科学・AI教育研究センター, 教授 (80396150)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| キーワード | 質感認識 / 深層学習 / 人工知能 / コンピュータビジョン |
|---|
| 研究実績の概要 |
まず，DNNによる画像理解の研究を行い，複数の成果を得た．第一に，自然言語の指示によって作業を行うAIエージェントを開発した．エージェントが空間を見る視野をなるべく広く取るとともに，作業の指示を与える言語情報を2回解釈することに特徴があり，これによって高い作業成功率の達成が可能となった．手法は，国際的なベンチマークテストAlfredにおいて論文発表時点で全世界トップの性能を達成するとともに，成果の一端を国際会議IJACI2021にて発表した．
第二に，画像理解タスクの性能向上を目指して，画像記述の研究を行った．まず，これまでの手法が「比喩的表現」を基本的に行えないことに着目し，データセットとベンチマークテストを設計するとともに，評価方法を検討した．成果の一部は国際会議に投稿中である．第三に，画像記述のためのより高性能かつ高効率なDNNの設計を行った．画像特徴を取り出すのに，従来手法のように物体検出器に由来するCNNを使うのではなく，トランスフォーマーを用いることで高速化を達成した．同時に，物体領域から抽出した特徴と，画像を格子状に分割した領域から取り出した特徴の双方を効果的に統合することで，記述の精度を大幅に向上させている．国際的なベンチマークテストCOCO captionsにおいて，世界トップクラスの記述精度を従来手法の少なくとも数分の1の計算量で達成可能なDNNとなっている．本成果は国際会議に投稿中である．さらに，主に自然言語で表現された外部知識を，画像理解に導入する手法の検討を行っており，継続中である．
また，以上とは独立に，自己教師学習の方法について研究を行った．特に近年活発に研究されている負例を用いない画像特徴の自己教師学習手法について，その有効性がどこから由来するものかを理論的に検討した．成果は国際会議に投稿中である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当該年度において，複数の論文を執筆するなど，着実に成果が得られている．具体的には，難関国際会議IJCAIにて1本の論文を発表し，さらに同水準の国際会議に3編の論文を投稿中である．投稿中のこれら論文はいずれも重要なものであり，関連分野に一定のインパクトを与えるものと自負している．研究を継続中の項目も複数あり，最終目標の達成へ向けて，ある程度順調に進捗していると考えている．
|
| 今後の研究の推進方策 |
上述の通り本研究計画はおおむね順調に進展しているとはいえ，関連分野の研究は著しく早いペースで進展しており，それへの適切な対応が欠かせない．言語で指定した通りの画像を，それがかなり高度で込み入った内容であっても，人間の芸術家も顔負けするような素晴らしい画像（絵画）を生成する手法（例えばDALI-E2)や，巨大言語モデルの限界の見えない進展などである．これらの新規技術は質感認知にも大きな影響を与えようとし始めており，それらとどう向き合い，取り込むかが問われている．発展の内容の予測の難しさとペースの速さから，現時点で，その具体的方法を簡潔に述べることは不可能であり，最先端の研究内容にキャッチアップすることを怠らず，本研究の最終目標を見失うことなく，着実に研究を進める他ない．
|
