2020 Fiscal Year Annual Research Report
The evolutionary approach to developing artificial intelligence for understanding human creations
| Project/Area Number |
19H04184
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
森 直樹 大阪府立大学, 工学(系)研究科(研究院), 教授 (90295717)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上野 未貴 大阪工業大学, 工学部, 講師 (60757368)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 創作者と人工知能 / 深層学習 / 進化型計算 / AutoML / 創作物データ / 創作物理解 / ストーリーデータセット / Data Augmentation |
|---|
| Outline of Annual Research Achievements |
2020年度は，人の創作物データに関して本質的な問題となる，データ数の不十分さを改善する手法について研究した．まず Data Augmentation として優れた手法である AutoAugment に着目し，これに熱力学的遺伝アルゴリズム(Thermodynamical Genetic Algorithm, TDGA) を導入した TDGA-AA を新たに提案した．本成果は人工知能におけるトップカンファレンスである AAAI の本会議に採択され高い評価を受けた．これは深層学習と進化型計算の効果的な融合手法であり，AutoML かつ進化型機械学習の成果でもある．
また 4コマ漫画ストーリーデータセットの解析，ファッション，小説，写真，書道などを中心に人の創作物を人工知能で扱う研究も進め，2020年度人工知能学会でのオーガナイズドセッション「創作者と人工知能が創る創作の未来」において発表した．また，コロナ禍によるオンライン開催であるにもかかわらず，このオーガナイズドセッションで創作と人工知能に関わる多くの関連研究者と交流を深め，創作者が技術的に望む支援と工学研究の接地を緊密にした．漫画の解析については，独自アプローチによる感情推定およびコマ順推定手法を提案した．
次に，画像処理に基づくアプローチとして，自由配置型アトラス畳み込みを提案し，漫画画像のセマンティックセグメンテーションについて検討した．また，だまし絵を識別する人工知能を提案した．その他として，人が写真を評価する観点を整理したデータセットを構築し，写真を自動評価する分類手法を提案した．また，写真家の審査員知識に基づくクラスラベルを付したデータを学習し適切な印画紙を選択するシステムも提案した．次に，書道知識に基づく手書き文字データの形状特徴を考慮したデータセットを作成し，書き手の個性を考慮した分類手法を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度は，進化型機械学習として，優れた AutoML 手法である TDGA-AA を提案した．同手法は人工知能に関するトップカンファレンスである AAAI の本会議に採択され十分な評価を受けた．多くのデータを集めることが困難な創作物に関して Data Augmentation は必須であり，本研究課題にとって大きな成果だといえる．
また，4コマ漫画ストーリーデータセットについて，1．コマ順識別，2．自然言語処理に基づく感情解析，3．画像のセグメンテーションという進捗があった．また，その成果について人工知能学会および複数の国際学会において発表した．特に人工知能学会においては申請者と分担者がオーガナイザとして「創作者と人工知能が創る創作の未来」という本研究テーマに関する内容の OS を開催し，オンラインながら研究者間の交流を図ることができた．また DCAI'20 において発表した研究が Best Paper Award を受賞した．
その他創作全体における研究として，これまでの小説，漫画に関する結果のみではなく，新たに写真および書道に関する成果も得ることができた．
写真については，実際の写真家の審査員知識に基づくクラスラベルを付したデータセットを学習し適切な印画紙を選択するというこれまでにない新規タスクについて優れた成果を得ている．書道についても十分な知識を持つユーザによる手書き文字データの形状特徴を考慮したデータセットを作成し，書き手の個性を考慮した分類手法を提案した．
2020年度はコロナ禍による制限のため対面による研究会が制限され，本テーマにとっては大きな制約となっていたが，その中で国際的な研究成果および学会における研究者交流を実現することができた．
個々のテーマについても順調に研究は進捗しており，現段階での本研究の進捗状況は「おおむね順調に進展している」と判断できる．
|
| Strategy for Future Research Activity |
1．TDGA-AA の応用
本研究では創作物を人工知能で扱うために，AutoML と呼ばれる機械学習のメタ最適化手法に着眼している．昨年度は，その分野における成果として，優れた Data Augmentation 手法である TDGA-AA を提案している．しかしながら，まだ実際の創作物データへの適用実験が十分にはなされてないため，本年度は TDGA-AA の創作物データへの適用について検討する．特に，これまで扱ってきた漫画や小説データのみではなく，写真，ファッション，書道，だまし絵など新たな人の創作物データへ研究領域を拡張する．特に，創作物の生成に関する研究を実施する．具体的には現在，自然言語処理で注目されている GTP-3 を始めとした新技術に基づく創作物生成手法について検討する．
2. データセットの拡充
昨年度は，コロナ禍の影響もあり，データセットの拡充については十分とはいえなかった．本研究の目的の一つである，創作物をデータとして客観視するだけではなく，創作過程で込められた創作者の想いを主体的に考慮可能なデータ構築のために，研究者が初期の段階から創作者とともに創作に携わり，創作物としての完成度と工学的なデータとしての扱いやすさ，また著作権の問題をすべて解決するデータセットの拡充に努める．データ数が少ないという問題点を改善するために，画像と自然言語部分を分離して，独立にデータを増強可能な方法を提案する．
3．創作者と人工知能の未来を創り出すコミュニティの形成
本年度は，昨年度に引き続き人工知能学会でオーガナイズドセッションを企画しており，コミュニティの形成に努める予定である．すでにオンライン開催が確定しており，その条件下で可能な限りコミュニティ活動実施する．また，オンラインベースでのデータ収集やアノテート方法についても検討し，コミュニティの拡大に努める．
|
