Discovering New Knowledge by Combining Symbolic Logic and Deep Learning

Research Project

Project/Area Number	22K21302
Research Category	Grant-in-Aid for Research Activity Start-up
Allocation Type	Multi-year Fund
Review Section	1002:Human informatics, applied informatics and related fields
Research Institution	Tokyo Institute of Technology
Principal Investigator	Phua Yin・Jun 東京工業大学, 情報理工学院, 助教 (20963747)
Project Period (FY)	2022-08-31 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	深層学習 / ニューロシンボリック / 記号推論 / 知識発見 / ニューラルシンボリック / 深層機械学習
Outline of Research at the Start	本研究では新たな知識を発見できる人工知能(AI)を目指している．近年，タンパク質の構造を予測できるAIが発表されたが，その本質となる構造に関わる科学のメカニズムは解明されていない．これはそのAIに使われた技術がブラックボックスであることから起因している．この研究では，AIが直接「答え」を学習するのではなく，その「答え」に導くルールや説明を学習させる．それにより，AIが学習できたことを直接人間でも理解し取り込むことができる．
Outline of Annual Research Achievements	本研究では新たな知識を発見できる人工知能(AI)を目指している．近年，タンパク質の構造を予測できるAIが発表されている．未知なタンパク質でもその性能の良さが示されており，現に多くの研究を支えている．しかし，大多数のタンパク質において性能が優れている反面，生物学者の間でも解けていない構造に関しては性能が落ちることがわかってきた．AIは人間がすでに発見してきたことに関しての汎化能力はあるが，(1)その本質となる構造に関わる科学のメカニズムは解明できていないため，新しい知識の発見が難しい．また，最近では高性能な生成AIと称してChatGPTが発表されてた．自然言語での会話を通し，多大な知識や優れた問題解決能力を示している．政府業務でもChatGPTを導入する動きが出ている．しかし，その(2)技術の限界や隠れたバイアスなどがはっきりしておらず，それゆえ，(3)事実無根なことを堂々と正解であるかのように回答する「幻覚」という現象も起きている．これら(1)，(2)および(3)の問題点は現代のAI技術がブラックボックスであることから起因している．本研究では，人間の理解できるよう説明するAIを開発することが目的である．今年度の成果としては，(A)安定的に重要な要素を取り上げる手法の開発と(B)分類タスクにて重要でない要素を排除できる手法の確立を行なったことである．(A)では海外の生物学研究者と研究協力を行い，深層学習でのランダム初期化による結果の不安定性をアンサンブルにより安定させ，さらに活性化関数を変更することで自明な遺伝子を抑え細胞分類においてさらに分析が必要であろう遺伝子を取り上げる手法を開発した．(B)では潜在的概念を導入し，分類器を線形に制限することで因果関係でないが相関関係にある要素を排除し，重要な概念のみで分類を行える手法を確立させた．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究は順調に進展しており，記号論理と深層機械学習の統合に向けた具体的な目標も確立された．(1)および(2)の問題点において，現在さまざまな実験を行っており，手法の確立に向けて順調に進んでいる．また，(3)の問題点に関しても記号論理を導入することで解決可能であるという展望が見えている．さらに，論理式を並べることだけでなく，重要なものだけをピックアップさせる手法(A)および(B)の開発が進んだ．
Strategy for Future Research Activity	今後の研究の推進として，(A)および(B)で果たした研究成果を用い，重要な要素をピックアップし記号ルールを学習する手法の開発に取り組む．さらに，重要な要素から発展させより広範囲な要素数を考慮するが重要なルールにのみ絞る手法にも取り組む．また，生物学の実データやその他の分野の研究実データへの応用も試みる．