| 研究課題/領域番号 |
20K12105
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
金 尚泰 筑波大学, 図書館情報メディア系, 准教授 (30400659)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 環境認識 / インタラクション / 学習環境 / コミュニケーション |
|---|
| 研究実績の概要 |
近年、スマートホームやAIなどの技術が人々の生活に密接に関係しつつある中、本研究では、教材コンテンツとユーザ間の学習効率向上に注目する。大きく二つの柱として、「ユーザの状況に合わせて学習へ誘導のできるAIエージェントの開発」と「直観的な操作性を持つ教材コンテンツ」に注目した。この融合により、ユーザの学習モチベーションを高めることのできる積極的な支援システム構築が可能であると考えている。
１）ユーザ行動分析用システム環境構築
ユーザとコンテンツのコミュニケーション効率化を目的とするため、ユーザの行動タスクが把握できるセンシングシステム構築を始めた。実験環境構築の中、最初のステップとして、コンピュータービジョンテクノロジーを参考に最も適切なセンサー選別・その制御プログラムを作成・テストを行った。近年、生活品質の向上を目的に、SiriやAlexa等のAIアシスタントを搭載したスマートスピーカー等の機器が注目を集めているが、先にユーザが音声コマンドをかけ、AIは受動的に実行される流れであるためAI搭載機器にトリガーをかけることに不自然さが生じる。よって実験システム構築は、ユーザとAIの間のインタラクションの不自然さを解決する目的が大きい。本年度は、数多いセンサー類から１6メートル範囲がスキャンできるLiDARセンサーを活用し、ユーザ行動識別、行動パターンデータを収集する仕組みを制作した。現在収集されたデータは、精度の問題はあるもののデータセットを作り、AI学習を通すことでパーソナライズされたAIエージェントシステムに繋がると考えている。
２）リアルタイム３DCG教材コンテンツの制作
ユーザの興味を持たせる、集中する時間を増やす、リアルタイム３DCGを効果的に活用するための教材として、自然史博物館の生物生態を表現することに絞り、資料収集を始めた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
１）ユーザ行動分析用システム環境構築：
概要で述べたシステム構築に関して、コンピュータービジョン、LIDARセンサー技術、ディープラーニング手法を統合し、「Coordinate-Image-Semantic」変換手法を応用、リアルタイムでユーザ環境空間の関係を視覚化するメカニズムを作成した。部屋内の複数ユーザ空間分布とユーザから各特定の場所までの相対距離を計測する仕組みをプログラミングし、ディープラーニング技術とYOLOv5ニューラルネットワークの使用により、複数の人と複数の人の検出と認識のタスク環境目標を同時に達成すること目指して進めているが、概ね順調に進んでいる。
２）リアルタイム３DCG教材コンテンツの制作：
資料収集を始める予定であったがCOVID19の影響もあり、現地調査が難しくなりつつあるため予定より遅れている。
|
| 今後の研究の推進方策 |
二つの柱をそれぞれ進める上、今後クリアして行く課題として下記が挙げられる。
１）ユーザ行動分析用システム環境構築：
①制御スクリプト修正、リアルタイムの点群画像取得できる仕組みを確立。（人数、ステータス、滞在している部屋などの情報を含む） ②コンピュータビジョンと深層学習に基づく認識トレーニング稼働。（カスタマイズされたデータセットが数多く必要になるためユーザ環境に関する特徴抽出仕組み作成）③センサーによって検出される人体の点群画像は、スキャンの高さによって異なるため、開発システム目的に合わせた認識モデルを柔軟に認識トレーニングできるようにする課題を解決する。④ニューラルネットワークを使用するための詳細なトレーニングプロセス、パラメーター設定を固める。⑤AIシステムがユーザの空間特性を感知するため、ユーザの空間分布、ユーザと他のオブジェクトとの相対距離を記述する仕組みを作成、計算中に各ターゲットの中心座標相対距離を計算・変換関連付に試行錯誤が必要。
２）リアルタイム３DCG教材コンテンツの制作：
博物館の現地調査はCOVID19の様子を見つつ、まずは写真や文献を中心に対象モデルを確定、基本モデリングを進める。（追加修正可能な形での形像作成予定）
|
