2021 Fiscal Year Annual Research Report
モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築
| Project/Area Number |
21J20033
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
諸戸 祐哉 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 相関分析 / 生体情報処理 / マルチメディアコンテンツ / グラフ解析 / 特徴統合 |
|---|
| Outline of Annual Research Achievements |
当該年度では，画像注視時のヒトから取得した複数種類の生体情報および画像情報との関係性を表現する共分散構造に対して，ヒトが目で見て脳で処理する過程におけるタイムラグを考慮可能な相関分析理論を構築した．ヒトは目で情報を取得した後，神経伝達物質により視覚情報を脳へと伝達し，脳の内部で情報が処理される．このように，視覚情報の取得時と処理時ではタイムラグが存在するが，従来の異種生体信号を用いた研究では，このタイムラグを考慮していない．本研究で構築したタイムラグを考慮可能な相関分析理論を用いることで，関心や感情といったヒトの内面に存在する抽象的な意味内容と関連する特徴を高精度に抽出可能とする共通潜在空間を導出した．
さらに，次年度に実施予定であったグラフ解析を用いたマルチメディアコンテンツ解析に関する研究を先行着手している．具体的には，画像間の関係性を表したグラフに対してグラフニューラルネットワークを適応することで，画像から想起し得る感情の推定を実現した．本研究成果は査読付き国際学会にて発表を行っている．
一方で，当初の予定ではデータ取得実験を行う予定であった．本実験の計画時に，ヒトの内部状態をモデリングするための包括的なデータセット構築に向けて，マルチメディアコンテンツ視聴時のヒトの内部状態をモデリングする際に使用される生体信号に関する調査を行った．調査の結果，当初の計画で想定していた生体情報に加えて，脈波や皮膚電気活動も重要であることが明らかとなった．そのため，これらの信号を取得するための設備を準備し，新たに実験計画を考案した．
当該年度における研究成果として，査読付き国際会議への採択が3件，査読なし国内会議での発表が3件，受賞が2件という優れた成果を挙げている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度では，令和3年度に実施予定であった異種生体情報の関係性を表現する共分散構造を推定可能な時間変化を考慮した相関分析理論の構築した．本研究成果は，信号処理分野において最難関の国際会議であるIEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2022に採択されている．
また，令和4年度に実施予定であったグラフ解析を用いたマルチメディアコンテンツ解析に関する研究を先行着手した．推定対象をユーザの関心度の代替として，画像から想起し得る感情を用いることで，グラフ解析が関心や感情といったユーザの内部状態推定に有効である可能性を示唆した．本研究成果はコンシューマエレクトロニクスの分野においてフラグシップカンファレンスであるIEEE Global Conference on Consumer Electronics (GCCE) 2021に採択され，発表を行った．
当該年度に予定していたデータ取得実験に向けて，マルチメディアコンテンツ視聴時のヒトの内部状態をモデリングする際に使用される生体信号に関する調査を行った．調査の結果，当初の計画で想定していた生体情報に加えて，脈波や皮膚電気活動も重要であることが明らかとなった．そのため，次年度以降のデータセット構築時にこれらの生体情報の利用が不可欠と考えられ，これらを取得するための設備を準備し，新たに実験計画を考案した．したがって，必要な設備の準備・実験計画が行えたことから，次年度では実験の実施が可能な状態となっている．
以上より，新たな生体情報を取得するための実験準備ができた点，グラフ解析への先行着手および異種生体情報に対する相関分析理論を構築できた点から，本区分を選択した．
|
| Strategy for Future Research Activity |
今後の研究の推進方策として，令和4年度に，新しく立案した実験計画に基づくデータ取得実験を行う．構築したデータセットは被験者を特定できないように匿名化した後，合意が得られた被験者のみ公開予定である．さらに，構築したデータセットに対して当該年度に構築した相関分析理論を適用し，有効性の検証を行う．次に，映像から得られる特徴量（以降，映像特徴量）および生体情報に対して相関分析を適用することで，ユーザの関心を把握した新たな映像特徴量を算出する．算出された映像特徴量の類似性を算出し，ユーザの関心を反映したグラフを構築する．一方で，従来の映像共有サービスにおける関連映像間のリンク関係に基づくグラフを構築し，それぞれのグラフに対して，グラフニューラルネットワークを適用することで，各映像に対する対象ユーザの関心度を推定する．ここで，異種グラフ間で推定された関心度の差異を，推薦の多様性を表す指標として新たに定義する．この指標で算出される評価値と生体情報を用いた関心度の推定結果を協調的に用いることで，多様性を有する推薦結果の提示を可能とする．
令和5年度では，令和4年度の研究成果により推薦される映像に対して，ユーザが注視すると予想される領域を推定する．この領域に対して物体認識等の手法を適用し，推薦された映像に共通して現れる，すなわち，ユーザが関心を有すると予測される意味的な情報をテキストとして提示可能とする．これにより解釈性を備えた推薦を実現する．3年間の研究成果をまとめて，多様性と解釈性を備えた映像推薦システムを構築する．
|
