Understanding social interactions with first-person view lifelogging and its applications
| Project/Area Number |
23K24890
|
|---|
| Project/Area Number (Other) |
22H03634 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
角 康之 公立はこだて未来大学, システム情報科学部, 教授 (30362578)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
塚田 浩二 公立はこだて未来大学, システム情報科学部, 教授 (20415714)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥16,770,000 (Direct Cost: ¥12,900,000、Indirect Cost: ¥3,870,000)
Fiscal Year 2024: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2023: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
|---|
| Keywords | 社会的インタラクション / ライフログ / 顔数計 / 行動変容 |
|---|
| Outline of Research at the Start |
本研究では、身体活動を測る「歩数計」のアナロジーで、社会活動を測る「顔数計」の実現を目指す。歩数計が単純な歩数を数えることから始めたように、顔数計は対面者の数を数えることで大まかに社会活動の量をとらえることから始める。歩数計はその後の発展で、身体行動の種類を見分けたりその時間的情報から身体活動をより詳細に計測し、集計データをユーザに的確に提示することで行動変容を促している。我々の顔数計も同様に、シーン毎の社会活動の種類や質を推測し、それらの集計データを装着者本人に提示することで自らの精神負担や充足度を自覚し、それを生活の改善のための手掛かりとする方法を明らかにしたい。
|
| Outline of Annual Research Achievements |
本研究課題の目的は、ライフログによって心身の質の向上を実現する技術の開発と、それに関わる人の心身メカニズムを解明することである。我々はこれまでに、歩数計のアナロジーで「顔数計」と呼ばれるシステムを提案してきた。このシステムは、胸につけたカメラに映りこむ他者の顔の数を数えることで装着者の社会活動の量や質を測るものである。しかしその予備検討のための試作システムは、通常のアクションカメラを利用して蓄積された一定時間（せいぜい1時間程度）の映像データを用いてバッチ処理的に顔数計算を行い、その結果をグラフ可視化するものであった。
本研究課題の目的の一つは、このシステムを腕時計や眼鏡のように日常的に装着し、デバイス装着者本人が普段から自分の社会活動量を振り返ることができるようにし、そのことが当人や周辺の行動にどう影響を与えるかを見出すことである。本研究課題の初年度にあたる2022年度は、このシステムを日常的に簡易装着可能なデバイスでシステム試作を進めた。具体的にはM5Stack社によるマイコンデバイスで簡易的な顔数計の試作検討をした。
一方、周辺研究として、胸に付けた魚眼カメラでとらえた装着者本人の頭部方向や指さし方向を画像認識することで、ライフログ映像から当人の注目対象をつきとめるシステムの試作や、視線計測デバイスの援用によって、社会的インタラクション時の身体のひねり、すなわち、胴体方向、頭部方向、眼球視線方向の3方向のねじれから社会的活動の状況を理解する手法の開発を進めた。
また、発話ライフログから発話量や発話単語の推移を分析し、状況推定や個人差を議論する研究も進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
顔数計の簡易デバイスの試作とその日常利用による行動変容の評価分析については、当初の予定よりも少し遅れているが、ようやく方策が決まりつつあるので、複数デバイスを用いた複数人ユーザによる実験に入りたいと考えている。
一方、胸に付けた魚眼カメラに映りこんだ映像から社会的インタラクションの状況を理解するための研究については、当初の想定を超えて新しいアイディアの試作や予備的評価を進めることができた。
また、音声ライフログに関する研究は当初の想定範囲を超えた研究の幅を広げることができた。
|
| Strategy for Future Research Activity |
顔数計の日常利用と行動変容についての議論を可能にするため、顔数計の簡易デバイスの試作を進め、3から10人程度の同時計測を実現し、グループミーティングや展示会見学などのイベントでの評価実験を行いたい。
一方で、一人称映像ライフログを用いた社会的インタラクションの理解につながる技術を深化させるために、カメラに映りこんだ対象物や当人の身体の一部などの高度な画像処理や、視線行動や発話との関係を理解する分析研究も進める。
また、画像、映像に注目した技術開発だけでなく、音声に注目したライフログについても研究を進める。
|
Report
(1 results)
Research Products
(6 results)
