2023 Fiscal Year Research-status Report
Building semantic basis of information design and graphics
| Project/Area Number |
20K12782
|
|---|
| Research Institution | Ochanomizu University |
|---|
Principal Investigator |
佐藤 有理 お茶の水女子大学, 基幹研究院, 助教 (90750480)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 画像キャプショニング / 視覚的質問応答 |
|---|
| Outline of Annual Research Achievements |
4年目である2023年度は、画像における「否定」の理解に再び焦点を当て、基盤となる計算能力を明らかにすることを目的として、研究を進展させた。2022年度の研究実績として報告した我々の Cognitive Science誌論文では、画像分類の機械学習モデルは言語データを含まなかった。今年度の実験では、大規模言語データを含む機械学習モデルにおいて、画像キャプション文生成の課題を用いた実験を行った。人間の場合、否定を含むキャプション文を画像から生成ができるが、機械学習モデルの場合、否定を含むキャプション文を画像から生成ができなかった。次に、Visual Question Answering (VQA) 課題形式では、"what is in φ?" のように質問文プロンプトを操作することにより、アテンション領域をある程度限定することができる。我々の実験では、機械学習モデルでは、画像キャプション文生成課題よりもVQA課題において、否定 (Nothing のような存在否定)を含む出力が相対的に増えた。結果、人間は画像上で否定を理解できるが、その計算プロセスは不明であり、計算論的実現には言語情報の追加学習だけでは不十分であり、アテンション領域の指定が効果的であるということが示唆された。
以上に関する研究成果は、査読付き国際会議論文にまとめた。"Can Machines and Humans Use Negation When Describing Images?"というタイトルで、Human and Artificial Rationalities国際会議(HAR 2023) において、発表・出版した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
否定認識の計算能力を明らかにする研究を、"Can Machines and Humans Use Negation When Describing Images?"というタイトルの国際会議論文として、Human and Artificial Rationalities国際会議(HAR 2023) において、発表・出版することができた。
|
| Strategy for Future Research Activity |
当初は4年目である2023年度が最終であったが、1年間の延長申請を行い受理されたので、2024年度を最終とする。2024年度は、これまでの成果のとりまとめを行う計画である。とくに、日本認知科学会大会のOS「認知科学研究は人工知能研究に「借り」を返せるか？」において講演を招待頂いたので、本若手研究プロジェクトの成果報告の場としたいと考えている。
|
| Causes of Carryover |
2024年度日本認知科学会大会のOS「認知科学研究は人工知能研究に「借り」を返せるか？」において講演を招待頂いたので、そのために必要な本若手研究プロジェクトの成果取りまとめのために、残額分を2024年度にも使用できるよう申請した。2024年度日本認知科学会大会のOS「認知科学研究は人工知能研究に「借り」を返せるか？」における招待講演に関わる本若手研究プロジェクトの成果取りまとめ、主として知見整理のための書籍購入費として使用する計画である。
|
Research Products
(2 results)
