2021 Fiscal Year Research-status Report
| Project/Area Number |
20K12105
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
金 尚泰 筑波大学, 図書館情報メディア系, 准教授 (30400659)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 環境認識 / インタラクション / 学習環境 / コミュニケーション |
|---|
| Outline of Annual Research Achievements |
スマートホームやAIなどの技術が人々の生活に密接に関係しつつある中、近年COVID19の影響が生活パターン加わり、テレワークや遠隔授業などへ社会システム全般の転換が急速に進んでいる。それに従い、長時間のVDT作業を行うユーザへの集中度管理は、今後社会全般に関わる重要なキーワードーになってきている。VDT作業は一般的に長時間姿勢が固定されるため、VDT症候群と称される症状が年齢を問わず起こっている。ユーザの姿勢と目線感知による集中度分析技術は、VDTの一環である遠隔教育でも同じく、作業・学習効率向上の面から大きく注目されており、特にそのコスト・方法・通知方法・改善方法に関する研究が期待される。そこで本研究は、VDTユーザへのコミュニケーションを補うエージェントとしてAIアシスタントとの連携に着目し、ITC教材への応用を試みる。
近年、生活品質の向上を目的に、SiriやAlexa等のAIアシスタントを搭載したスマートスピーカー等の機器が注目を集めているが、その活用度に関しては疑問に思うユーザが多い。その理由としては、先にユーザが音声コマンドをかけることで、AIが命令に応じる受動的仕組みへの不自然さが挙げられる。AIの方がユーザの状況を判断し、適切なタイミングで必要な情報を発してくれる仕組みがより自然なコミュニケーションであると言える。よって本研究の実験システム構築は、ユーザとAIの間のインタラクションの不自然さを解決することに重点を当てる。本研究では教材コンテンツとユーザ間の学習効率向上に注目している。大きく二つの柱として、「ユーザの状況に合わせて学習へ誘導のできるAIエージェントの開発」と「直観的な操作性を持つ教材コンテンツ」である。この融合により、ユーザの学習モチベーションを高めることのできる「積極的な支援システム構築」が可能であると考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度は、数多いセンサー類から１6メートル範囲がスキャンできるLiDARセンサーを活用し、ユーザ行動識別、行動パターンデータを収集する仕組みを制作したが、そのデータをより多岐に利用する目的として、今年度からはOpen poseやDeep motion技術を応用する。現時点で収集されたデータは、精度の問題はあるもののデータセット作業が終わり、AI学習を通すことでパーソナライズされたAIエージェントシステムに連動できるようになり、ユーザ実験が可能な状態になっている。
１）ユーザ行動分析用システム環境構築
第一段階として、ユーザとコンテンツとのコミュニケーション効率化を目的とし、ユーザの行動タスクが把握できるセンシングシステム構築した。実験環境構築の基盤として、コンピュータービジョンテクノロジーを参考にセンサー選別・その制御プログラムを作成した。一方、コンテンツ側は、識別した集中度の値を読み込みエージェントの形で、ユーザに知らせる役割をするビジュアルを制作、自然なコミュニケーションを試みた。
２）リアルタイム３DCG教材コンテンツの制作
ユーザの興味を持たせる、集中する時間を増やす、リアルタイム３DCGを効果的に活用するための教材として、自然史博物館の生物生態を表現することに絞り、資料収集を始める予定であったが、COVID19の影響が想定より延びてしまい資料収集・渡航ができない状況が続いている。今後も読めない状況であるため、コンテンツの題材を変える判断をした。代案として、VDT症候群を回避するためのITC教材を試みる。仕組みとしては、VDTユーザのセンシングデータをもとに状況に応じたストレッチ動作を促すコンテンツを作成、ICT教材のエージェントとしての役割を補う方向で考えている。
|
| Strategy for Future Research Activity |
１）ユーザ行動分析用システム環境構築
初年度は、部屋内の複数ユーザ空間分布とユーザから各特定の場所までの相対距離を計測する仕組みを設計、ディープラーニング技術とYOLOv5ニューラルネットワークにより、複数の人の検出と認識タスクを同時に達成すること目指した。その結果をもとに、コンピュータービジョン、ディープラーニング手法を統合、Coordinate Image Semantic変換手法を応用、リアルタイムでユーザ環境空間の関係を視覚化するメカニズム作成した。2年目は、顔面認識・目線認識に関してもその可能性が見えてきたため、より精度の高い認識システムが構築できた。3年目は特にOpen poseとの融合を考慮し、精度を上げることに専念する。
２）リアルタイム３DCG教材コンテンツの制作
ユーザの興味を持たせる・集中する時間を増やす・３DCGを効果的に活用するための教材として、アメリカ自然史博物館の生物生態図鑑を表現することに絞り、資料収集を進める予定であった。その後COVID19の影響が思ったより大きいため、現地調査が不可能になり渡米予定が立てられない状況である。今後も先が読めない状況が続くと予想されるため、ICT教材コンテンツの題材を変える判断を迫られている。題材の代案として、ユーザに集中度や姿勢を自覚させるためのツールとしてのAIエージェント制作を試みる。仕組みは、ユーザのセンシングデータ収集、機械学習を通してパターンを認識、ユーザの現在状況に合わせ、コメントをエージェント側から発するとともにビジュアル表現としてストレッチング動作を促す。AIエージェントとしての本コンテンツは、OSの中に常駐し、ユーザとICT教材のコミュニケーターとしての繋ぎ役を果たす。本AIエージェントは、より学習意欲を持たせるとともにVDT症候群を予防する手法としての活用が有効であると考えている。
|
