2021 Fiscal Year Annual Research Report
The evolutionary approach to developing artificial intelligence for understanding human creations
| Project/Area Number |
19H04184
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
森 直樹 大阪府立大学, 工学(系)研究科(研究院), 教授 (90295717)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上野 未貴 大阪工業大学, 工学部, 講師 (60757368)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 創作者と人工知能 / 深層学習 / 進化型計算 / AutoML / 創作物データ / 創作物理解 / ストーリーデータセット / Data Augmentation |
|---|
| Outline of Annual Research Achievements |
2021年度は AutoML に関してすでに提案中の TDGA-AA における遺伝子表現の整数化拡張を実施し，それによってコミックデータの識別率の向上に成功した．また，その関連研究である遺伝的アルゴリズムおよび Support Vector Machine の構造を利用したニューラルネットワークに関する研究で電気学会 C 部門論文奨励賞を受賞した．これらの提案手法を用いて，これまで研究してきた 4コマ漫画ストーリーデータセットの解析，ファッション，小説，写真，書道などを中心に人の創作物を人工知能で扱う研究も発展させ，2021年度人工知能学会でのオーガナイズドセッション「創作者と人工知能が創る創作の未来」において発表した．また，2020年度同様コロナ禍によるオンライン開催であるにもかかわらず，このオーガナイズドセッションで創作と人工知能に関わる多くの関連研究者と交流を深め，創作者が技術的に望む支援と工学研究の接地を緊密にした．
次に，画像処理に基づくアプローチとして，Vision Transformer に着目し，だまし絵の識別および生成に関する手法を提案した．その他として，人が写真を評価する観点を整理したデータセットを構築し，写真を自動評価する分類手法を提案した．
その他にも，創作物として映画に着目し，自然言語処理の最新手法を適用することでストーリーやあらすじから興行収入を予測するモデルの提案，データセットの拡張の一環として漫画における告白シーンを抜粋した告白シーンデータセットの構築，漫画における画像とセリフをマルチモーダルに用いる場合の BERT 各層の分散表現の寄与率および星座画像を人工的に創作する手法について研究した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は，優れた AutoML 手法である TDGA-AA を整数遺伝子型に拡張し，これまで扱うことができなかった変換の強度について変数化することに成功した．この拡張により，従来の TDGA-AA や Rand Augment を上回る性能を得た．多くのデータを集めることが困難な創作物に関して Data Augmentation は必須であり，本研究課題にとって大きな成果だといえる．
また，漫画データセットについて，告白シーンに着眼したデータセットを構築し，感情や感性に依存したタスクを取り扱えるようにした．この他にも，多義図形データセットや星座画像データセットを構築し，データセットの拡充に努めた．これらの成果について国内外の学会において発表した．特に人工知能学会においては申請者と分担者がオーガナイザとして「創作者と人工知能が創る創作の未来」という本研究テーマに関する内容の OS を昨年度に引き続き開催し，オンラインながら研究者間の活発な交流を図ることができた．
2021年度はコロナ禍による制限のため対面による研究会が制限され，本テーマにとっては大きな制約となっていたが，その中で国際的な研究成果および学会における研究者交流を実現することができた．
個々のテーマについても順調に研究は進捗しており，本年度は新たな創作物として映画についての研究も開始することができた．技術面では Vision Transformer と GAN を併用した画像生成，CMA-ES と GAN による潜在空間探索について実用的な結果を得ることの成功した．
以上の点から，現段階での本研究の進捗状況は「おおむね順調に進展している」と判断できる．
|
| Strategy for Future Research Activity |
1．進化型機械学習の発展
本研究では AutoML と呼ばれる機械学習のメタ最適化手法に着眼している．昨年度は，その分野における成果として，優れた Data Augmentation 手法である TDGA-AA の拡張手法を提案している．しかしながら，ネットワーク構造の探索についてまだ不十分であるため，本年度は gaCnn に着目し，優れたネットワーク構造の獲得を目指す．また，GAN に基づくマルチモーダルな創作物の生成に関する研究を実施する．2. データセットの拡充
昨年度は，コロナ禍の影響もあり，コミックデータセットの拡充については十分とはいえなかった．本研究の目的の一つである，創作過程でデータに込められた創作者の想いを主体的に評価可能なデータセット構築のために，研究者が初期の段階から創作者とともに創作に携わり，創作物としての完成度と工学的なデータとしての扱いやすさ，また著作権の問題をすべて解決するデータセットの拡充に努める．データ数が少ないという問題点を改善するために，画像と自然言語部分を分離して，独立にデータを増強可能な方法を提案する．また本年度は特にストーリーに着眼し，データセットの構築を目指す．3．創作者と人工知能の未来を創り出すコミュニティの形成
本年度は，一昨年度および昨年度に引き続き人工知能学会でオーガナイズドセッションを企画しており，コミュニティの形成に努める予定である．すでに対面とオンラインの併設開催が確定しており，その条件下で可能な限りコミュニティ活動実施する．また，オンラインベースでのデータ収集やアノテート方法についても検討し，コミュニティの拡大に努める．4．創作物を理解する人工知能システムの構築
最終年度であることを鑑みて，これまでの成果を集約し，人の創作物を理解可能な人工知能システムの構築を最終目標とする．
|
