2022 Fiscal Year Annual Research Report
Robust AI by Integration of Knowledge Representation and Machine Learning
| Project/Area Number |
21H04905
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
井上 克巳 国立情報学研究所, 情報学プリンシプル研究系, 教授 (10252321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂間 千秋 和歌山大学, システム工学部, 教授 (20273873)
Nicolas Schwind 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (60646397)
小島 諒介 京都大学, 医学研究科, 講師 (70807651)
Phua Yin・Jun 東京工業大学, 情報理工学院, 助教 (20963747)
|
|---|
| Project Period (FY) |
2021-04-05 – 2025-03-31
|
| Keywords | 知識表現・推論 / 機械学習 / ロバストAI / ニューロシンボリックAI / 論理プログラミング |
|---|
| Outline of Annual Research Achievements |
機械学習(ML)と知識表現・推論(KR)の両技術を有機的に統合することで説明可能でありロバスト性も有するようなAI技術基盤の確立を目指し、3つの目標:(A)KR技術の導入によるML技術の説明可能性・更新容易性の向上(B)ML技術に支えられたロバストなKR技術の開発(C)MLとKRの統合による画期的なAI応用、を設定し研究2年目の2022年度は以下の進捗があった。
(A)機械学習における分類器の入出力関係を正しく説明するために、KRの信念修正で研究されてきた合理的基準を分類器の編集に適用し、オペレータに対する構成的特徴付けを与え分類器のロバスト性を向上させた。また変分オートエンコーダのアンサンブル手法を提案し膨大な数から重要な遺伝子だけを抽出する方法を開発し、論理プログラムを用いて活性化された遺伝子から細胞状態を予測する実験によりアンサンブルの有効性を確認した。さらにSNSユーザの振る舞い予測モデル構築の基礎として議論フレームワークと論理プログラムを相互参照して統合的に推論を行う枠組を開発した。
(B)SAT問題を線形空間におけるコスト関数最小化問題として解くSATソルバMatSatの初期値をSAT問題を学習したグラフニューラルネットにより与えることにより、求解性能を飛躍的に高めることに成功した。また一階述語論理プログラム学習を微分可能化することでロバストかつスケーラブルな帰納論理プログラミング方式を開発した。
(C)論理式等の記号的知識表現と画像や数値等の連続データ分析を組み合わせた手法として安定性に関する制約を付加した場合の時系列深層モデルに関する手法を開発した。また深層論理プログラミング言語T-PRISMをツールとしてより利用し易くするための改良を行った。さらにロバストなチーム生成法に関して変化時の技能回復率と計算効率とのトレードオフを考慮した部分ロバスト性の概念を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究は順調に進展しており、当初の計画で具体化できていなかった技術の開発も進んでいる。
(A)「KR技術の導入によるML技術の説明可能性・更新容易性の向上」では、複数の手法を用いてML技術の説明可能性を向上させるための研究に取り組んでいる。昨年度までは決定木アンサンブルと分類器を対象としていたが、今年度は変分オートエンコーダーのアンサンブルも対象とし、さらにユーザーモデルの構築の基礎となる議論フレームワークの定式化も行った。
(B)「ML技術に支えられたロバストなKR技術の開発」においては、記号で表現されてきた各種推論・学習問題を、行列・テンソルを用いた問題に変換し、線形代数計算におけるスパース手法や勾配法などの連続空間における最適化手法を用いて解く方法の整備を進めている。これにより、ニューラルネットワークによる高性能数値計算やGPU等の高並列計算に基づいたスケーラブルかつ高速な推論・学習手法を確立し、ノイズに対して頑健であるようなロバストな推論方式を実現しつつある。
(C)「MLとKRの統合による画期的なAI応用」では、ニューロ・シンボリックAIの基礎となる技術を生物医学やエージェント分野に適用しており、そこから(A)(B)各種技術へのフィードバックも生じてきている。
|
| Strategy for Future Research Activity |
記号推論を始め各種のAI技術で記号を扱う問題は、従来は離散化された値を取り得る変数の組合せで表現され、その表現に基づく論理推論や帰納論理プログラミング技術が開発されてきた。こうした従来の記号的AIによる学習は説明可能性を有しているが、ノイズに弱いため実ドメインから得られるデータを表現する際にエラーが起こると推論結果も間違ったものとなっていた。また離散化された領域では組み合わせ問題が生じるため、スケーラビリティの面でも問題があった。本研究のサブテーマ(B)では、こうした推論・学習問題を代数的手法と連続ドメインにおける最適化手法を用いて解くための新技術を開発している。これまでに、SAT・アブダクション・命題論理プログラムの学習・一階述語論理の帰納論理プログラミングでオリジナルな研究成果を出してきており、現在は知識表現・制約プログラミング言語として用いられている解集合プログラミングへの拡張に取り組んでおり、これまで手がけてきた技術と合わせて、ロバストでスケーラブルな推論基盤技術をより確立して行きたい。また連続領域における現実問題において推論するために、従来のように連続データを離散化により記号化して解くのではなく、連続値のまま扱うことで推論する技術の開発も目指している。これらをさらに連続領域での論理プログラミング技術として一般化し、連続プログラムの学習にも取り組み、微分方程式系の学習も含めて研究を続けている。その際に、サブテーマ(A)で取り組んでいるように、KRで研究されてきた信念修正・更新等の技術を新たなML技術に適用し、説明可能性・解釈可能性・信頼性を担保したい。またこうした新しい推論・学習技術を、サブテーマ(C)において、T-PRISMのような統合プラットフォームとして整備するとともに、科学分野や社会学分野における多くの挑戦的問題に適用したいと考えている。
|
Research Products
(28 results)
-
-
-
-
[Journal Article] resVAE ensemble: Unsupervised identification of gene sets in multi-modal single-cell sequencing data using deep ensembles2023
Author(s)
Ten, F. W., Yuan, D., Jabareen, N., Phua, Y. J., Eils, R., Lukassen, S., & Conrac, C.
-
Journal Title
Frontiers in cell and developmental biology
Volume: 11
Pages: -
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] SAT Benchmarks for the Robust Team Formation Problem2022
Author(s)
Nicolas Schwind, Emir Demirovic, Katsumi Inoue, Jean-Marie Lagniez
-
Journal Title
Proceedings of SAT Competition 2022: Solver and Benchmark Descriptions, Department of Computer Science Series of Publications B, University of Helsinki
Volume: B-2022-1
Pages: 74-77
Open Access / Int'l Joint Research
-
-
[Journal Article] Diagnosis of Event Sequences with LFIT2022
Author(s)
Tony Ribeiro, Maxime Folschette, Morgan Magnin, Kotaro Okazaki, Lo Kuo-Yen, Katsumi Inoue
-
Journal Title
Proceeding of the 31st International Conference (ILP 2022; Windsor Great Park, UK, September 28-30, 2022), Lecture Notes in Artificial Intelligence, Springer
Volume: to appear
Pages: 9p.
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
[Book] Les enjeux de l’inference de modeles dynamiques a partir de series temporelles, in: Cedric Lhoussaine, Elisabeth Remy (eds.), Approches symboliques de la modelisation et de l’analyse des systemes biologiques2022
Author(s)
Tony Ribeiro, Maxime Folschette, Laurent Trilling, Nicolas Glade, Katsumi Inoue, Morgan Magnin, Olivier Roux
Total Pages
43
Publisher
ISTE, Wiley
ISBN
9781789480290
-
-
