Building semantic basis of information design and graphics
| Project/Area Number |
20K12782
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 01010:Philosophy and ethics-related
|
|---|
| Research Institution | Ochanomizu University (2023)
The University of Tokyo (2020-2022) |
|---|
Principal Investigator |
佐藤 有理 お茶の水女子大学, 基幹研究院, 助教 (90750480)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 画像キャプショニング / 視覚的質問応答 / 全称量化 / グラウンディング / 視覚表現 / 否定 / コミックイラスト / 写真 / 実世界データ / 画像 / 不確定情報 / 情報視覚化 / 情報デザイン / 意味論 |
|---|
| Outline of Research at the Start |
情報デザイン・グラフィックスの意味論的基盤を構築することを目的とする。情報伝達様式としてのグラフィックスは、言語と比べて体系的な形での研究が不十分であったが、近年、図的推論の学際アプローチが期待を集め、形式グラフィックス（例：集合論や幾何学における図形）においては、ある程度の成功をおさめてきた。本研究は、その方法をさらに充実させることで、自然グラフィックス（自然言語に対応）へと進展させる。具体的には、不確定情報の描画至難性などの意味特性の問題について、論理学の手法を基にした理論分析と認知科学の手法を基にした実世界分析を統合的に用いて研究を展開させる。
|
| Outline of Annual Research Achievements |
4年目である2023年度は、画像における「否定」の理解に再び焦点を当て、基盤となる計算能力を明らかにすることを目的として、研究を進展させた。2022年度の研究実績として報告した我々の Cognitive Science誌論文では、画像分類の機械学習モデルは言語データを含まなかった。今年度の実験では、大規模言語データを含む機械学習モデルにおいて、画像キャプション文生成の課題を用いた実験を行った。人間の場合、否定を含むキャプション文を画像から生成ができるが、機械学習モデルの場合、否定を含むキャプション文を画像から生成ができなかった。次に、Visual Question Answering (VQA) 課題形式では、"what is in φ?" のように質問文プロンプトを操作することにより、アテンション領域をある程度限定することができる。我々の実験では、機械学習モデルでは、画像キャプション文生成課題よりもVQA課題において、否定 (Nothing のような存在否定)を含む出力が相対的に増えた。結果、人間は画像上で否定を理解できるが、その計算プロセスは不明であり、計算論的実現には言語情報の追加学習だけでは不十分であり、アテンション領域の指定が効果的であるということが示唆された。
以上に関する研究成果は、査読付き国際会議論文にまとめた。"Can Machines and Humans Use Negation When Describing Images?"というタイトルで、Human and Artificial Rationalities国際会議(HAR 2023) において、発表・出版した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
否定認識の計算能力を明らかにする研究を、"Can Machines and Humans Use Negation When Describing Images?"というタイトルの国際会議論文として、Human and Artificial Rationalities国際会議(HAR 2023) において、発表・出版することができた。
|
| Strategy for Future Research Activity |
当初は4年目である2023年度が最終であったが、1年間の延長申請を行い受理されたので、2024年度を最終とする。2024年度は、これまでの成果のとりまとめを行う計画である。とくに、日本認知科学会大会のOS「認知科学研究は人工知能研究に「借り」を返せるか？」において講演を招待頂いたので、本若手研究プロジェクトの成果報告の場としたいと考えている。
|
Report
(4 results)
Research Products
(16 results)
