2023 Fiscal Year Research-status Report
Cross-modal Deep Learning of Sizzle Representation for Social Media Data
| Project/Area Number |
23K11340
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
田村 慶一 広島市立大学, 情報科学研究科, 教授 (80347616)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Keywords | シズル表現 / クロスモーダル深層学習 / ソーシャルメディアデータ |
|---|
| Outline of Annual Research Achievements |
本研究はソーシャルメディア上に投稿されるデータ（ソーシャルメディアデータ）を対象としたシズル表現を含むテキストデータと画像データに対するクロスモーダル深層学習に関する基盤技術の確立を目的とする．具体的には，シズル表現を含むマルチモーダルデータを対象とした表現学習，ノイズを多く含むデータに頑強な学習モデル，また，表現学習で獲得したクロスモーダル特徴量空間を用いたモダリティ変換技術とスタイル変換技術の研究開発を行う．また，シズル表現のクロスモーダル深層学習の基盤技術を確立することで，言語と視覚が持つシズル表現の関係性も明らかにする．
2023年（令和5年）度は「サブテーマ（A）：シズル表現と対象物の自動抽出手法」，「サブテーマ（B）：シズル表現のクロスモーダル表現学習」の2つのサブテーマに取り組んだ．ブログ等に投稿される食レビューを対象として，シズルワードを基準としてソーシャルメディアデータからシズル表現を含むテキストデータ，その対象物と画像データを特定する抽出器を構築した．シズルワードを含むテキストデータと画像データの増強方法を工夫することで精度を向上させることができた．シズル表現を含むテキストデータ，その対象物と画像データを特定する抽出器については，ブログデータに含まれるシズル感を含むテキストデータと画像データの整合を行う問題を仮定してその整合方法について開発を行った．また，シズル表現を含むテキストデータと画像データを共通の特徴量空間へ写像する表現学習に関する研究開発に着手した．2023年（令和5年）度は主に，既存のモデルを対象としてノイズを多く含むデータに頑強な表現学習モデルの開発を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全研究期間中に研究目的を達成するために，「サブテーマ（A）：シズル表現と対象物の自動抽出手法」，「サブテーマ（B）：シズル表現のクロスモーダル表現学習」，「サブテーマ（C）：モダリティ変換とスタイル変換技術」，「サブテーマ（D）：複合的なシズル表現に関する知識」の体系化の4つのサブテーマに取り組むこととしている．2023年（令和5）度はサブテーマ（A）とサブテーマ（B）に取り組む予定としており，実際にこの２つのテーマについてその内容を着実に実施することができた．
|
| Strategy for Future Research Activity |
2024年（令和6年）度は，2023年（令和5）度の研究成果を踏まえて，サブテーマ（A）とサブテーマ（B）を完成させるとともに，「サブテーマ（C）：モダリティ変換とスタイル変換技術」について取り組む．「サブテーマ（A）：シズル表現と対象物の自動抽出手法について」はその精度について課題が残っているので，多様なデータセットを使って検証を行い，その精度向上を引き続き行っていく．「サブテーマ（B）：シズル表現のクロスモーダル表現学習」については2023年（令和5年）度に着手を行ったところであるが，シズル表現を含むテキストデータと画像データを共通の特徴量空間へ写像する表現学習に関する研究開発を行う．また，サブテーマ（A）と（B）の進捗に合わせて 「サブテーマ（C）：モダリティ変換とスタイル変換技術」にも着手する．モダリティ変換では当初予定していたスタイル変換系深層学習モデルのみならずマルチモーダルLLMなど最新の深層学習モデルの応用も視野に入れながら研究を進めていく．開発を行った手法を実際に実装し，テスト・評価も行う予定である．研究をスムーズに実施するために研究協力者として学部生・大学院生2名にデータの加工やプログラム作成の補助を行ってもらう．
|
| Causes of Carryover |
投稿中の国際会議と論文誌についてその経費執行を行うことができなかったため，次年度のために，旅費，参加費と論文投稿料を経費として繰り越した．
|
