2019 Fiscal Year Research-status Report
| Project/Area Number |
19K24354
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
古田 諒佑 東京理科大学, 工学部情報工学科, 助教 (20843535)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Keywords | 画素強化学習 / 顕著性 |
|---|
| Outline of Annual Research Achievements |
2019年度は，本研究のベースとなる画素強化学習の発展に主に取り組んだ．画素強化学習は私が以前に提案した，2次元の画像の各画素にエージェントを配置し，それぞれのエージェントが局所的なアクションを取ることで様々な画像処理(ノイズ除去や画像復元，色調変換)を行うことができる手法である．画素強化学習の技術といくつかの応用は申請書でも述べたように既に発表済みであったが，2019年度はこれを発展させ，saliency-driven image enhancementという新たな応用を提案した．saliency-driven image enhancementは，人が画像のどこに注目するかを表すsaliencyという指標を基に画像の変換を行う技術である．提案手法を用いると，画像中の注目させたい部分や注目させたくない領域を指定することで，それらの領域の見た目を自然に強調や抑制することができる．saliencyの指標の計算式は，これまで様々な研究で提案されてきたが，それらの多くは微分不可能なものであり，深層学習でsaliencyに基づいて画像の強調や抑制を行う手法はこれまで提案されていなかった．そこで私は微分不可能な目的関数を扱うことができる画素強化学習を用いることでこの問題を解決した．実験では，これまでに提案されていたhand-craftedな手法と比較して，より自然なだけでなく効率的に強調や抑制が行えることを示した．2019年度は，この内容を含めた画素強化学習の論文をマルチメディアの分野において最難関国際論文誌であるIEEE Transactions on Multimediaに投稿し採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の研究実績の概要欄でも述べたように，2019年度は3次元強化学習の基となる画素強化学習に主に取り組んだ．そして人が画像中のどこに注目するかというsaliencyの指標に基づいて画像を変換する新たな応用を提案し，マルチメディアの分野において最難関国際論文誌であるIEEE Transactions on Multimediaに投稿し採択された．この内容は，saliencyという人の主観的評価に通じる指標を基にして深層学習を学習させるため，本研究の最終的な目標である人の主観的評価を深層学習に理解させるという内容に通じるものである．2019年度は画像という2次元データを対象に取り組んだが，2020年度はこれの拡張を検討し，本研究の当初の目的である3次元データの主観的評価に基づく変形やデザインの理解や生成といった内容に取り組む予定である．
また，これまでは2次元の規則的なデータである画像は深層学習で扱いやすいとされ，3次元の不規則なデータであるメッシュや点群等のデータは深層学習では扱いにくいとされてきた．2019年度はこういった3次元のデータを効果的に深層学習で扱う手法が国際会議等で多数提案されており，それらの調査も重点的に行った．
以上の理由から，2019年度では3次元への拡張やデザインの検討までは至らなかったが，2次元データにおいて人間の主観的評価に基づく新たな応用の提案や，最難関国際論文誌への採択といった面において，現在までの進捗状況としてはおおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
上記でも述べたように，2019年度は2次元の規則的なデータである画像を対象として，3次元強化学習の基となる画素強化学習に主に取り組んだ．2020年度はこれの拡張を検討し，本研究の当初の目的である3次元データの主観的評価に基づく変形やデザインの理解や生成といった内容に取り組む予定である．本研究の研究計画当初は3次元メッシュの各面もしくは各頂点にエージェントを配置し，強化学習によって各点や面を移動やテクスチャの変換することで3次元モデルの変形を行うことを予定していたが，その方法では学習が難しい可能性があることが分かったため，別のアプローチの検討も視野に入れていく必要がある．具体的には，3次元モデルを畳み込みやプーリング演算によって潜在空間に埋め込み，潜在空間内でベクトルの変換を行う方法も検討していく．必要があれば，潜在空間内でのベクトルの変換を強化学習で行う．潜在空間内への埋め込み方法については，メッシュや点群の各頂点間の関係性をグラフとして捉えるgraph convolutionや，メッシュの辺に注目して畳み込み演算を行う方法など様々な方法がこれまで提案されているため，本研究に適する方法を検討する必要がある．また，2019年度ではメッシュや点群といった陽な3次元形状の表現ではなく，深層学習を用いた識別境界面で3次元モデルを陰に表現する方法も提案されている．これらについては引き続き，関連研究の調査や実験を行って判断していく予定である．
|
| Causes of Carryover |
2月に本研究の内容に関する講演を予定していた画像工学研究会への出張と，3次元データに関する研究や強化学習に関する知見を深めるために3月に参加を予定していた電子情報通信学会総合大会への出張が，ともに新型コロナウイルスの影響により開催中止になり出張が取り止めになったため，次年度使用額が生じた．使用計画としては，2020年度は新型コロナウイルスの影響により多数の国内会議や国際会議がオンライン開催予定となっているため，2019年度の取り止めになってしまった出張に代わり，本研究に関連する内容の見識を深めるために，いくつかのオンライン会議への聴講参加登録費として主に使用する予定である．
|
Research Products
(2 results)
