|
リアルタイム３DCGを用いた教材コンテンツを制作する本研究は、ICT教材作成のためアメリカ自然史博物館の生物生態図鑑を表現することに絞り、資料収集を進める予定であった。研究の初年度COVID19の影響が出始め、現地調査予定が立てられない状況が続き、その後も先が読めない状況であったため、教材コンテンツの方向性を変える判断を迫られた。代案として、教材コンテンツとユーザ間のHCI研究に方向を転換した。学習効率に中点を置き、集中度判断や姿勢検出AIエージェント構築がその内容である。ユーザの状況に合わせて学習誘導ができるAIエージェント開発研究は、ユーザとコンテンツのコミュニケーション効率化を目的とするため、ユーザの行動パターンが把握できるセンシングシステム構築が重要である。実験環境構築の中、コンピュータービジョンテクノロジーを参考に低コストのセンサー選別・その制御プログラムを作成・テストを完了した。近年、生活品質の向上を目的に、AIアシスタントを搭載したスマートスピーカー等の機器が注目を集めているが、先にユーザが音声コマンドをかけ、AIは受動的に実行される。即ちユーザが先にトリガーをかけないと反応しない不自然さが生じる。本システム構築は、ユーザとAI間のインタラクションの不自然さを解決するためユーザ行動識別、行動パターンを収集する仕組みを開発した。収集されたデータは、ユーザの特徴点把握データセットを作り、AI学習を通すことでパーソナライズされたAIエージェントシステムとして運用可能となっている。この研究基盤構築から派生し作られたコンテンツは、①能動型AIエージェント開発②脈波を共有してプレイする心理戦ゲームコンテンツ③深層学習を用いたユーザの生体情報認識に基づくリアルタイム集中度検出システム④VDT作業におけるリアルタイムストレッチ促進・姿勢改善支援システムである。
|
