| 研究課題/領域番号 |
23H00482
|
|---|
| 研究種目 |
基盤研究(A)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 東北大学 |
|---|
研究代表者 |
岡谷 貴之 東北大学, 情報科学研究科, 教授 (00312637)
|
|---|
| 研究分担者 |
菅沼 雅徳 東北大学, 情報科学研究科, 助教 (00815813)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2027-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
46,800千円 (直接経費: 36,000千円、間接経費: 10,800千円)
2024年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円)
2023年度: 13,260千円 (直接経費: 10,200千円、間接経費: 3,060千円)
|
|---|
| キーワード | マルチモーダルAI / 深層学習 / コンピュータビジョン / 知識獲得 / 画像理解 / 車載カメラ画像 / 自然言語 / 人工知能 / 対話型AI |
|---|
| 研究開始時の研究の概要 |
画像に写る物・事象を理解し、自然言語で説明する対話型のAIであって、特に専門知に基づいて行う判断・意思決定において人をサポート可能なものを実現する。そのためには専門知を取り込み、画像理解に利用できるマルチモーダル表現として保持し、さらにそれに基づく仮説推論を行える必要がある。専門書や論文などのテキストデータとして得られる専門知を視覚概念と対応付ける方法などの必要な方法を実現し、目標を達成する。
|
| 研究実績の概要 |
研究実施計画に従って研究を進め、以下のような成果を得た。
まず、車載カメラの画像から運転時の危険を予測・説明するタスクを設計し、そのためのデータセットDHPR（Driving Hazard Prediction and Reasoning）を作った。既存の車載画像のデータセットの画像に，クラウドソーシングでアノテーションを行った。その結果をまとめたものは現在、論文誌に投稿中である。
研究項目「画像記述表現高度化」では、マルチモーダルAIのための画像特徴抽出の方法を研究した。さらに、画像からの異常検知を題材に、画質記述表現の高度化につながる特徴抽出に関する研究を複数行い、国際会議INDIN2023、 WACV2024等で発表した。また、画像セグメンテーションのための無教師ドメイン適応手法を新たに開発し、Computer Vision and Image Understanding誌にて発表した。
研究項目「知識の表現・利用方法」では、上述の画像特徴抽出方法を大規模言語モデルと統合したマルチモーダルAIモデルを構築した。上述のDHPRを用いて、複数のモデルの学習（文脈内学習含む）と推論性能の評価実験を行い、一定の精度で推論を行えることと、実用レベルまでには改善の余地が残ることを確認した。また、橋梁の画像点検タスクを対象に、橋梁の変状を認識し説明可能なマルチモーダルAIのモデル構築と性能評価を行った。成果はComputer-Aided Civil and Infrastructure Engineering誌にて発表した。さらに、未知の屋内環境を探索し、地図を構築するタスクを対象に、暗黙知を学習し推論に活用できるAIモデルの研究を行い、International Journal of Computer Vision誌にて発表した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
車載カメラ画像を対象とした運転リスク予測を対象としたデータセットDHPRを世界に先駆けて構築し、モデルの評価を行い、医療画像診断のための既存のマルチモーダルAIの性能評価を行うなど、順調に研究を進めることが出来ている。成果は、International Journal of Computer Vision誌、Computer Vision and Image Understanding誌、Computer Aided Civil and Infrastracture Engineering誌など、関連分野のトップレベルの論文誌複数に論文が採択されている。
|
| 今後の研究の推進方策 |
いわゆる生成AIの研究開発、特に大規模言語モデル（LLM）や、LLMをマルチモーダル入力を扱えるように拡張したものの進展が著しい。メジャーなテック企業が、これらのモデルの学習を、百億円オーダーの金額を計算機使用料に充てて大規模に行うことが常態化している。このような中にあって限られた予算で優れた研究を行うべく、最先端の動向を把握し、未解決の問題を的確に見極めることを重視している。幸い、現行のAIにはその規模のいかんによらず明確な限界があるとわれわれは考えており、研究すべき残された課題の特定はうまくできていると考えている。
|
