2019 Fiscal Year Annual Research Report
The evolutionary approach to developing artificial intelligence for understanding human creations
| Project/Area Number |
19H04184
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
森 直樹 大阪府立大学, 工学(系)研究科(研究院), 教授 (90295717)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上野 未貴 大阪工業大学, 工学部, 講師 (60757368)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 創作者と人工知能 / 深層学習 / 進化型計算 / コミックデータ / 機械学習 / 創作物理解 / ストーリーデータセット |
|---|
| Outline of Annual Research Achievements |
2019年度は，現状の 4コマ漫画ストーリーデータセットの解析を中心に実験を実施した．まず，4 コマ漫画の定量的なパターン分けについて考察し，これまでにない詳細な定義づけをした．また，ストーリーにおける感情解析について深層学習を利用した研究を実施した．これらの内容については2019年度人工知能学会でのオーガナイズドセッション「創作者と人工知能が創る創作の未来」において発表した．また，このオーガナイズドセッションで創作と人工知能に関わる多くの関連研究者と交流を深め，創作者が技術的に望む支援と工学研究の接地を緊密にした．
次に，画像処理に基づくアプローチとして，漫画のパーツ単位の分散表現化をすることで，各要素が漫画に与える影響を示した．同ストーリーに対するパーツ配置やタッチの差について考察している．データセットの国際化を進めるために，データセットを一部，英語，フランス語，中国語およびスペイン語に翻訳し自然言語処理に基づく感情解析を実施した．
また，進化型機械学習手法としては，深層学習に進化型計算および SVM を導入した SMV-NN を提案し，有効な結果を得た．同手法では，サポートベクトルに基づくネットワークの構築と SVM カーネルを直接的に考慮したネットワーク構築の二手法を提案し，サポートベクトルの組合せ最適化に進化型計算が有効であることを示した．創作全体における研究としては，Variational Auto-Encoderと遺伝的プログラミングに基づく対話的楽曲生成システムの提案，分散表現化手法を用いた4コマ漫画の文脈に基づく順序推定，手描きスケッチの描き順に基づく絵描き歌自動生成システムの提案およびFocal Loss を利用した BERT による小説の段落境界推定について包括的に研究を実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度は，現状の 4コマ漫画ストーリーデータセットについて，1．パターン分析，2．自然言語処理に基づく感情解析，3．画像のパーツ単位の分散表現化，4．データセットの国際化(英語，フランス語，中国語およびスペイン語)という進捗があった．また，その成果について人工知能学会でのオーガナイズドセッションおよび GREC 2019 において発表している．特に人工知能学会においては申請者と分担者がオーガナイザとして「創作者と人工知能が創る創作の未来」という本研究テーマに関する内容で OS を開催しており，次年度の OS 開催も確定している．加えて，GREC においては分担者が Program co-chairs をしており国際的な動向を把握している．データセットについては詳細な内容に基づく拡充を関連企業に依頼中であり，課題であったデータ数の拡充も目処が立っている．既存データセットでは難しかったストーリーの意味的な比較やオブジェクトの関係性に重きを置いている．また，今まで問題であった，データフォーマットの曖昧性についても明確な再定義をした．
また，深層学習に進化型計算および SVM を導入した SMV-NN を提案し，有効な結果を得ている．深層学習，進化型計算および SVM を融合した独自の手法の開発し，SVM カーネルに基づく kSVM-NN の研究では iSAI-NLP 2019 において優秀発表賞を受賞している．
その他の創作全体における研究としても，対話的楽曲生成システム，4 コマ漫画の文脈に基づく順序推定，ユーザ入力に基づく短いストーリーの生成，絵描き歌自動生成システムの提案および小説の段落境界推定と順調に研究は進捗しており，現段階での本研究の進捗状況は「おおむね順調に進展している」と判断できる．
|
| Strategy for Future Research Activity |
1. データセットの拡充
これまでも，人工知能研究には著作権が切れた小説や漫画によるデータセットが大きく貢献してきた．しかしながら，創作物をデータとして客観視するだけでは，創作過程で込められた創作者の想いを主体的に考慮した解析は困難である．そこで本研究課題では，研究者が初期の段階から創作者とともに創作に携わり，創作物としての完成度と工学的なデータとしての扱いやすさ，また著作権の問題をすべて解決するデータセットを構築してきた．一方で，データセットの作成は容易ではないため，データ数が少ないという問題があった．本年度はこの点を改善するために提案中のデータセットの拡充をする．具体的な手順として，アノテータが作業しやすいデータベースを構築し，時系列間の感情変化，ストーリーとオブジェクトの配置の関係についての情報を中心的に付与することを見込む．
2．AutoML の応用
現在，AutoML と呼ばれる機械学習のメタ最適化手法が注目されだしている．その点を考慮して，創作物を理解する人工知能開発への AutoML の適用について検討する．特に，画像と自然言語を融合した AttnGAN に代表される手法に着眼し，目的とする人工知能の獲得に進化型計算および AutoML を応用する．
3．創作者と人工知能の未来を創り出すコミュニティの形成
本年度は，人工知能学会でオーガナイズドセッションを企画しており，コミュニティの形成に努める予定である．その際に，昨今の情勢から物理的に一カ所に集まることは困難であると判断し，オンラインを中心として可能な限りコミュニティ活動実施する．また，音楽，小説，ファッションというテーマに基づく創作者と人工知能に関する研究を実施し，コミュニティの拡大に努める．
|
