2023 Fiscal Year Annual Research Report
Robust AI by Integration of Knowledge Representation and Machine Learning
| Project/Area Number |
21H04905
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
井上 克巳 国立情報学研究所, 情報学プリンシプル研究系, 教授 (10252321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂間 千秋 和歌山大学, システム工学部, 教授 (20273873)
Phua Yin・Jun 東京工業大学, 情報理工学院, 助教 (20963747)
Nicolas Schwind 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60646397)
小島 諒介 京都大学, 医学研究科, 講師 (70807651)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 知識表現 / 推論 / 機械学習 / 論理プログラミング / ロバストAI / ニューロシンボリックAI |
|---|
| Outline of Annual Research Achievements |
本研究では、機械学習(ML)と知識表現・推論(KR)の両技術を有機的に統合することで、説明可能でありロバスト性も有するようなAI技術基盤の確立を目指し、(A)KR技術の導入によるML技術の説明可能性・更新容易性の向上、(B)ML技術に支えられたロバストなKR技術の開発、(C)MLとKRの統合による画期的なAI応用、という3つの研究目標を設定している。研究3年目の2023年度は、各研究目標に対し以下の進捗があった。
(A)論理的な信念をエージェント間で伝搬するための方式として、BeliefFlowと呼ばれる非同期式信念交換／更新モデルを提案し、グローバルな合意を形成するためのネットワーク構造を解析した。また、論理的に正しくない語用論的推論が行われる原理を解明するために、条件文の集合からなる論理プログラムを変換し語用論的推論を論理的に計算する手法を提案した。
(B)命題論理式の行列表現によるDNF式の学習や一階述語論理プログラムの微分可能学習方法を開発した。また、ノード特徴量およびエッジにノイズが共存するグラフに対して頑健なグラフニューラルネットワークモデルを提案し、実世界のグラフでノード分類やリンク予測におけるタスクでの有効性を示した。さらに、SAT問題における極小充足不能集合をグラフニューラルネットワークを用いて学習する方式と帰納論理プログラミングにおいて深層強化学習を用いたメタ学習を導入した手法も開発した。
(C)ブラックボックス最適化に制約を加えた場合の派生的手法への応用も進めた。また、論理式などの記号的知識表現と画像や数値といった連続データの分析とを統合するための橋渡しとして、確率論理と深層学習を結びつけた深層論理プログラミング言語「T-PRISM」を、より使いやすいツールとするための改良を継続的に行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 当初の計画以上に進展している。
本研究は順調に進展しており、当初の計画で具体化できていなかった技術の開発も進んでいる。
(A)「KR技術の導入によるML技術の説明可能性・更新容易性の向上」では、KRで理論的に研究されてきた信念修正のための理論を用いて、MLを実現する方法に取り組んでおり、当初の目標であった両分野の統合がいよいよ現実味を帯びてきた。他にも認知心理学的な推論の導入など新たな研究項目も出てきている。
(B)「ML技術に支えられたロバストなKR技術の開発」においては、ベクトル空間における論理推論に関する研究を継続しており、連続ドメインにおける機械学習データと記号で表現される推論用の知識を接続する手法として、命題論理式の行列表現(ReLU NN)によるDNF式の学習や一階述語論理プログラムの微分可能学習方法[3]を開発した。
(C)「MLとKRの統合による画期的なAI応用」では、記号推論と機械学習を接続した実応用として、自動運転等で用いられる事前訓練済み物体認識への論理制約の導入について検討し、試験開発したシステムによりROAD-R Challenge for NeurIPS 2023において優勝と3位入賞を果たした。
|
| Strategy for Future Research Activity |
帰納論理プログラミング等、従来の記号的AIによる学習は説明可能性を有しているが、ノイズに弱いため実ドメインから得られるデータを表現する際にエラーが起こると推論結果も間違ったものとなっていた。また離散化された領域では組み合わせ問題が生じるため、スケーラビリティの面でも問題があった。本研究では、こうした推論・学習問題を代数的手法と連続ドメインにおける最適化手法を用いて解くための新技術を開発しており、多くの記号的推論をロバストかつスケーラブルにするような基盤技術を開発してきた。この流れは今後も継続させ、述語論理や時間に関する推論などに発展させていく予定である。
また連続領域における現実問題において、従来のように連続データを離散化により記号化して解くのではなく、連続値のまま扱うことで推論する技術も開発している。一例として自動運転時に運転席から見える動画から物体を検知し、これらの物体に関して満たすべき要求を制約として与えることで、機械学習が担う物体検知の性能を向上させ、要求も充足させる問題がある。ROAD-Rと呼ばれるデータセットはニューロシンボリックAIの新たな問題として注目されており、本研究で開発する技術を用いてアプローチする予定であり、まずはNeurIPS 2023優勝を含む成績を挙げたことの意義は非常に大きい。
さらに、以上の新しい推論・学習技術を、T-PRISMのような統合プラットフォームとして整備するとともに、科学分野や社会学分野における多くの挑戦的問題に適用したいと考えている。また大規模言語モデル(LLM)でも言語等の記号を扱っているが、信頼性が低いことが問題となっている。本研究の発展として、LLMの信頼性を向上するために制約技術を用いて検証したり、LLMを正確な記号推論と結合することも考えて行きたい。
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] The Challenges of Inferring Dynamic Models from Time Series, Chapter 3 in: Cedric Lhoussaine, Elisabeth Remy (eds.), Symbolic Approaches to Modeling and Analysis of Biological Systems2023
Author(s)
Tony Ribeiro, Maxime Folschette, Laurent Trilling, Nicolas Glade, Katsumi Inoue, Morgan Magnin, Olivier Roux
Total Pages
396
Publisher
ISTE, Wiley
ISBN
9781789450293
-
-
-
