2023 Fiscal Year Annual Research Report
Understanding social interactions through first-person view lifelogging
| Project/Area Number |
22H03634
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
角 康之 公立はこだて未来大学, システム情報科学部, 教授 (30362578)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塚田 浩二 公立はこだて未来大学, システム情報科学部, 教授 (20415714)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ライフログ / 社会的インタラクション / 行動変容 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は、ライフログによって心身の質の向上を実現する技術の開発と、それに関わる人の心身メカニズムを解明することである。そこで、（１）一人称映像によるライフログ記録と振り返りに関する基礎的な技術開発、（２）日常的なライフログデータから社会活動量を計測する顔数計の開発と評価、（３）日用品の利用を介したライフログ手法の開発に取り組んでいる。
（１）については、胸に装着した魚眼カメラで一人称視点の映像記録を行いつつ、そのカメラに映り込んだ装着者自身の頭部の運動、腕や足の運動、姿勢の変化から、カメラ装着者自身の興味対象の特定や時間帯の特定を自動化することを試みた。昨年度までは、指さし行為と頭部方向を検出し、それらの組み合わせから興味対象やその時間帯を特定し、ライフログの振り返りを容易にするシステムの開発と評価を行ってきた。今年度はそれに加えて、胸に装着したカメラ映像だけで装着者の視線行動も予測する深層学習モデルの開発を行った。結果的には予測モデルの精度は全体的に低かったが、身体を大きくひねって興味対象に頭が向いたり、指さし行為を伴う行動の時に、興味対象の方向やタイミングを特定する、という範囲においては有効に動作することが確認された。
（２）については、従来の顔数計がデバイスに蓄積した画像データをバッチ処理する必要があるものであったのに対し、スマートフォン上での実装によって実時間で顔数計測を行い、その結果を用いてユーザ本人や周辺のグループメンバーに社会活動状況を実時間フィードバックすることのフィージビリティスタディを進めた。
（３）については、マイコンデバイスで実装されたスマートステッカーを日用品、例えば椅子やドアに取り付けることで、利用者の日常生活を気軽に記録したり、その挙動に応じたフィードバックを行うシステムの試作を行った。これから複数人利用での効果や応用を検討していく。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
顔数計の簡易デバイスの試作とその日常利用による行動変容の評価分析については、当初の予定よりも少し遅れているが、方策は決まりつつあるので、複数デバイスを用いた複数人ユーザによる実験に入りたいと考えている。
一方、胸に付けた魚眼カメラに映りこんだ映像から社会的インタラクションの状況を理解するための研究については、当初の想定を超えて新しいアイディアの試作や予備的評価を進めることができた。
また、日用品に貼り付けるスマートステッカーを用いた日常活動の記録やフィードバックについては、当初の想定範囲を超えた研究の幅を広げることができた。
|
| Strategy for Future Research Activity |
一人称映像ライフログを用いた社会的インタラクションの理解につながる技術を深化させるために、カメラに映りこんだ対象物や当人の身体の一部などの高度な画像処理や、視線行動や発話との関係を理解する分析研究も進める。
顔数計の日常利用と行動変容についての議論を可能にするため、顔数計の簡易デバイスの試作を進め、3から10人程度の同時計測を実現し、グループミーティングや展示会見学などのイベントでの評価実験を行いたい。
また、画像、映像、音声に注目したライフログ技術の開発と応用を進める。
|
