2022 Fiscal Year Research-status Report
High speed sensing of latent biological activities prior to human actions and their very early stages for accident prevention
| Project/Area Number |
20K20483
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
熊澤 逸夫 東京工業大学, 科学技術創成研究院, 教授 (70186469)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小池 康晴 東京工業大学, 科学技術創成研究院, 教授 (10302978)
渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 高時間分解能光学的計測 / フォトリフレクタアレイ / 危険運動・行動検知 / 仮想現実 / オンライン実験 / 人体揺動装置 / テレビ放送コンテンツ / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
前年度(2021年度)に続いて今年度も新型コロナウィルスの感染対策が10月頃まで続いたため、予定していた「人の参加を伴う実験やデータ収集」を行うことができなかった。しかしながら、昨年度に感染が続くことを見越して研究計画を変更しており、被検者に実験室に来て頂かなくとも自宅にいながらオンラインで実験に参加できるように研究計画を変更していたので、その計画に沿って今年度の研究を行った。昨年度に仮想空間でリアルな事故体験ができるようにするため、ヘッドマウントディスプレイによる映像とヘッドフォンによる３Ｄ音響、さらに衝撃や振動等の触覚情報を生成する装置を用いたオンライン実験環境を構築したので今年度もこの装置で再現する事故例について、被検者の反応をカメラや各種センサで計測して、機械学習用のデータを収集しNASに蓄積した。またまず一般的な画像データで基盤モデルを機械学習で形成し、独自に収集したデータの不足を補えるようにファインチューニングをするようにした。人に条件反射を生じさせるために体を傾けたり、揺らしたりする装置（揺動装置）が必要となることから、オンラインの実験で自宅に持ち込んで使えるような軽量小型の揺動装置を昨年度試作したが、その性能や機能を改善するために新たな装置を試作した。2020年度に制作した超高感度、超高速フォトリフレクターアレイを使って眼球運動を高速に計測して、運動準備の潜在生体活動を検知することによって人の行動を予測することを試みた。その際にメガネガラス表面からの反射が計測を邪魔することが問題となり、そのような反射を除去する手法を開発して国際会議VR2023で発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナ感染拡大のため、2021年度までに得ることを計画していた成果がほとんど得られておらず、2022年度もその遅れを引きずることになった。ただし、2021年度に実験計画を変更しており、実験に必要な装置を自宅で持ち込んでオンラインで実験を行えるように仮想実験環境を構築していたので、その変更後の研究計画についてはほぼ予定通りに進めることができて、今年度は、その仮想実験環境を改善しながら、人を対象にした実験を行うことができた。まだ実験データが十分築盛されていないが、テレビ映像などを用いて機械学習モデルを事前学習してまずは基盤モデルを構築して、それを独自のデータでファインチューニングする方法で、独自データの不足を補い、人の行動予測モデルを構築しているところである。
|
| Strategy for Future Research Activity |
昨年度(2021年度)の段階では新型コロナウィルス感染拡大の影響受けて、研究が大きく遅れていたが、昨年度実験計画を変更して、被検者が自宅にいながらオンラインで当研究課題の実験にオンライン参加できるようにする仮想実験環境を構成して、本年度から本格的に仮想実験環境を使い始めたことから、研究の遅れを取り戻している段階である。2023年度の前半には変更後の計画の目標を達成することを目指している。
|
| Causes of Carryover |
昨年度(2021年度)の段階では新型コロナウィルス感染拡大の影響受けて、研究が大きく遅れていたが、昨年度実験計画を変更して、被検者が自宅にいながらオンラインで当研究課題の実験にオンライン参加できるようにする仮想実験環境を構成して、本年度から本格的に仮想実験環境を使い始めたことから、研究の遅れを取り戻している段階である。仮想実験環境の改善と改善した環境でデータ収集、及びそうして収集したデータを用いで機械学習を行う作業が残されており、そのための費用を次年度に繰り越すことになった。2023年度の前半にはこの作業も完了して、変更後の計画の目標を達成する見込みである。
|
