2021 Fiscal Year Research-status Report
Data-driven mutual conversions of semantic colors based on Bayesian inference for color design
| Project/Area Number |
20K19910
|
|---|
| Research Institution | Prefectural University of Kumamoto |
|---|
Principal Investigator |
石橋 賢 熊本県立大学, 総合管理学部, 准教授 (70749118)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 配色支援 / 意味的類似度 / データ駆動 |
|---|
| Outline of Annual Research Achievements |
本研究では、色と言葉の関係性に注目した配色支援手法を提案し、ユーザ評価をとおしてその有効性を明らかにすることを目的とする。従来の類似研究では、単語入力による配色支援手法のアプローチが報告されている。一方で、配色からの単語想起や派生配色の生成、条件指定など異なるアプローチはほとんど報告されていない。そこで本研究では、配色と言葉のデータセットをベイズ推定によりモデル化することで、従来研究では取り扱えなかった課題の解決を図る。特に当該年度では、自然言語処理の学習モデルを用いて単語間類似度を算出し、色を色名に変換して一般的な配色に関連する単語との類似度を活用することで、任意の入力配色から配色に関連する言葉を提案する手法の開発に着手した。
一つのアプローチとして、新たに学習することなく、既存の自然言語処理モデルを活用した入力配色に関連する単語を推薦する仕組みを導入した。これまで配色に対するタグ付けや名付けの支援はほとんど提案されていないため、重要な取り組みであるといえる。その中で、カテゴリごとで配色に応じて適切な関連語が提示できていることが確認された。しかしながら、色に関連した言葉は、上位単語として推薦されやすく、その原因として、単語の意味的類似度が配色のイメージによる類似度と異なるケースがあることが挙げられる。
その課題解決のために、二つ目のアプローチとして、配色に関連する単語を検索キーワードとして、配色群を配色コミュニティサイトから取得し、それらの配色群同士の類似度を算出することで解決を図った。その結果、単語の意味的類似度よりも配色イメージに近い結果が確かめられた。
上記のアプローチにより、配色から言葉の変換に関する基盤手法が確立できた。その一方でユーザ調査が不十分な点が挙げられ、次年度ではユーザ調査に重点を置く予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当該年度の成果は、（１）任意の入力配色に関連した単語の推薦手法、および、（２）配色イメージに適応した単語間類似度の算出手法の二つである。
（１）については、既存の自然言語処理モデルにより単語間の類似度を算出し、その類似度で配色から単語を推薦する手法である。本手法ではまず、先行研究の単語と配色の対応データベースから複数利用された単語を抽出し、それらの単語間類似度を既存の自然言語処理モデルにより算出する。次に、色に対する詳細な色名データベースを導入し、入力配色からそれぞれ色名に変換することで前者の単語群との自然言語空間での類似性を算出する。本研究では5色構成での配色であるため、変換された色名5語のそれぞれでデータベースに登録された全単語との類似度を求め、非類似度の総和が最小になる上位単語を提示する。ユーザは、イメージしている単語のカテゴリが異なる可能性があるため、データベース登録の単語間類似度において予めHDBSCANによりクラスタリングを行い、各クラスタ別での結果を提示することで対応した。
（２）については、自然言語空間では配色のイメージと単語間の不一致が存在するため、事前に配色に使用される単語をキーワードに配色コミュニティサイトから配色データセット取得し、それぞれの配色群から類似性を算出する。配色同士であれば色と位置のみの特徴量で類似性を算出するのみで良いが、ある検索キーワードに紐づく複数の配色間の類似性であるため、分布傾向も考慮する必要がある。そこで、高次元でのカルバック・ライブラー（KL）情報量を求め分布類似度を算出することで、配色イメージに沿った単語間類似度を新たに定義した。
上記二つにより、本研究の目的の一つであった配色から単語の変換に関する手法を構築することができた。しかしながら、十分なユーザ調査ができていない点で、進捗がやや遅れている状況である。
|
| Strategy for Future Research Activity |
初年度では配色→言葉の変換、当該年度では言葉→配色の変換に関するそれぞれの基盤手法を確立した。最終年度では、それらを統合した実利用を想定したアプリケーションを実装し、ユーザ調査をもとに提案手法の有効性を検証することを目指す。
具体的には、既に実装済みの任意の入力単語の配色選択空間を提供する配色支援アプリケーションに対して、逆変換の機能を追加する。これまでの配色支援では、配色を選択において、一般的な配色の印象が一意に決まった条件で候補を提示していた。逆変換機能は、ユーザが選択した配色が客観的にどのような印象をもたらすのかについて、フィードバックを与えるため、それらの関連語の提示が配色選択の指針を具体化する利点がある。ユーザは、入力した単語に適した配色を直感的に選択した後、選択した配色パターンに対する関連語を確認し、より複合的な意味合いを含む配色を再選択するヒントとして活用する。この選択における相互変換の利用は、都度配色の意味を考えながら目的の配色を具体化する作業につながるため、他者への情報伝達を考慮した配色選択のスキルが自然に醸成されることが期待できる。この思考支援の副次効果についても、ユーザ調査によって明らかにする。
ユーザ調査では、照明やディスプレイ条件を統制し、同じ色合いに見える状態で、イラスト、ウェブサイト、3Dシーン、VFXの異なるコンテンツでの配色選択を行う。実験参加者には、それぞれの配色選択におけるユーザ評価を行ってもらうと同時に、ウェブ調査を利用して客観評価を実施する。客観評価では、先行研究で生成した配色によるコンテンツ、デザイナーやアーティストが決めた配色によるコンテンツ、提案手法で選択した配色によるコンテンツをそれぞれ評価して検証する。それらを国際会議または、国際学会のジャーナル誌にて発表する予定である。
|
| Causes of Carryover |
ユーザ調査の実験計画において、色の見え方は重要な観点となる。当該年度では、暗室を作るといった実験環境の整備を進めた中で、照明環境の再整備、および、ディスプレイ環境の再検討が必要となった。それらは当該年度の後半で発生したため、複数台のカラーマネージメント機能のディスプレイや照明機材の準備が間に合わなかったため、次年度にそれらの機材購入を持ち越すことにした。
また、上記のユーザ調査環境の再調整と同時に大学の感染症対策の強化により学内での実験実施が難しい期間があり、充分なユーザ調査が行えなかったため、謝金の支出や学会発表費の支出が予定より少なかったことが原因である。
上記については、次年度にユーザ調査ための実験環境を進め、照明機材の導入とディスプレイの設置を行う予定である。同時に、ユーザ調査では複数人の実験実施者に対して謝金を支出する予定である。それにより、充分なユーザ調査が行えることで、対外発表の機会が増加し、学会発表費、参加費、英文校正費などの支出が発生する。以上より、最終年度にて未使用額を使用する計画となっている。
|
