• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

一人称ライフログによる社会的インタラクションの理解と応用

研究課題

研究課題/領域番号 23K24890
補助金の研究課題番号 22H03634 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関公立はこだて未来大学

研究代表者

角 康之  公立はこだて未来大学, システム情報科学部, 教授 (30362578)

研究分担者 塚田 浩二  公立はこだて未来大学, システム情報科学部, 教授 (20415714)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
16,770千円 (直接経費: 12,900千円、間接経費: 3,870千円)
2024年度: 5,850千円 (直接経費: 4,500千円、間接経費: 1,350千円)
2023年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2022年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
キーワード社会的インタラクション / ライフログ / 顔数計 / 行動変容
研究開始時の研究の概要

本研究では、身体活動を測る「歩数計」のアナロジーで、社会活動を測る「顔数計」の実現を目指す。歩数計が単純な歩数を数えることから始めたように、顔数計は対面者の数を数えることで大まかに社会活動の量をとらえることから始める。歩数計はその後の発展で、身体行動の種類を見分けたりその時間的情報から身体活動をより詳細に計測し、集計データをユーザに的確に提示することで行動変容を促している。我々の顔数計も同様に、シーン毎の社会活動の種類や質を推測し、それらの集計データを装着者本人に提示することで自らの精神負担や充足度を自覚し、それを生活の改善のための手掛かりとする方法を明らかにしたい。

研究実績の概要

本研究課題の目的は、ライフログによって心身の質の向上を実現する技術の開発と、それに関わる人の心身メカニズムを解明することである。そこで、(1)一人称映像によるライフログ記録と振り返りに関する基礎的な技術開発、(2)日常的なライフログデータから社会活動量を計測する顔数計の開発と評価、(3)日用品の利用を介したライフログ手法の開発に取り組んでいる。
(1)については、胸に装着した魚眼カメラで一人称視点の映像記録を行いつつ、そのカメラに映り込んだ装着者自身の頭部の運動、腕や足の運動、姿勢の変化から、カメラ装着者自身の興味対象の特定や時間帯の特定を自動化することを試みた。昨年度までは、指さし行為と頭部方向を検出し、それらの組み合わせから興味対象やその時間帯を特定し、ライフログの振り返りを容易にするシステムの開発と評価を行ってきた。今年度はそれに加えて、胸に装着したカメラ映像だけで装着者の視線行動も予測する深層学習モデルの開発を行った。結果的には予測モデルの精度は全体的に低かったが、身体を大きくひねって興味対象に頭が向いたり、指さし行為を伴う行動の時に、興味対象の方向やタイミングを特定する、という範囲においては有効に動作することが確認された。
(2)については、従来の顔数計がデバイスに蓄積した画像データをバッチ処理する必要があるものであったのに対し、スマートフォン上での実装によって実時間で顔数計測を行い、その結果を用いてユーザ本人や周辺のグループメンバーに社会活動状況を実時間フィードバックすることのフィージビリティスタディを進めた。
(3)については、マイコンデバイスで実装されたスマートステッカーを日用品、例えば椅子やドアに取り付けることで、利用者の日常生活を気軽に記録したり、その挙動に応じたフィードバックを行うシステムの試作を行った。これから複数人利用での効果や応用を検討していく。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

顔数計の簡易デバイスの試作とその日常利用による行動変容の評価分析については、当初の予定よりも少し遅れているが、方策は決まりつつあるので、複数デバイスを用いた複数人ユーザによる実験に入りたいと考えている。
一方、胸に付けた魚眼カメラに映りこんだ映像から社会的インタラクションの状況を理解するための研究については、当初の想定を超えて新しいアイディアの試作や予備的評価を進めることができた。
また、日用品に貼り付けるスマートステッカーを用いた日常活動の記録やフィードバックについては、当初の想定範囲を超えた研究の幅を広げることができた。

今後の研究の推進方策

一人称映像ライフログを用いた社会的インタラクションの理解につながる技術を深化させるために、カメラに映りこんだ対象物や当人の身体の一部などの高度な画像処理や、視線行動や発話との関係を理解する分析研究も進める。
顔数計の日常利用と行動変容についての議論を可能にするため、顔数計の簡易デバイスの試作を進め、3から10人程度の同時計測を実現し、グループミーティングや展示会見学などのイベントでの評価実験を行いたい。
また、画像、映像、音声に注目したライフログ技術の開発と応用を進める。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (11件)

すべて 2024 2023 2022

すべて 学会発表 (11件) (うち国際学会 2件)

  • [学会発表] 一人称ライフログ映像を用いた非言語行動の抽出による視線推定2024

    • 著者名/発表者名
      久米田 羽月,角 康之, 小池 英樹
    • 学会等名
      インタラクション2024(インタラクティブ発表)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 料理映像視聴時の視線行動分析2024

    • 著者名/発表者名
      如澤 駿介,角 康之
    • 学会等名
      インタラクション2024(インタラクティブ発表)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] DailyProbe: 日用品の動作を記録・活用するスマートステッカーの試作と評価2024

    • 著者名/発表者名
      佐藤 佑亮, 塚田 浩二
    • 学会等名
      情報処理学会HCI研究会(第207回)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 日用品の挙動を記録/活用するスマートステッカー2023

    • 著者名/発表者名
      佐藤 佑亮, 塚田 浩二
    • 学会等名
      WISS2023(デモ発表)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Using gamification to activate university library use2023

    • 著者名/発表者名
      Takahiro Kitamura and Yasuyuki Sumi
    • 学会等名
      25th HCI International Conference (HCII 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] ワードクラウドを用いたPC利用時の発話場面の分析と応用2023

    • 著者名/発表者名
      友広 純々野, 塚田 浩二
    • 学会等名
      情報処理学会研究報告, 2023-HCI-202(20)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 身体・頭部・視線の3方向のずれに着目したライフログの振り返り2023

    • 著者名/発表者名
      長嶺 和弥,久米田 羽月, 角 康之
    • 学会等名
      情報処理学会インタラクション2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 一人称ライフログ映像の追体験による重要シーンラベリング手法の提案2023

    • 著者名/発表者名
      久米田 羽月, 角 康之
    • 学会等名
      情報処理学会インタラクション2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] WordCloudを用いたPC利用時の発話可視化手法の提案2022

    • 著者名/発表者名
      友広 純々野, 塚田 浩二
    • 学会等名
      日本ソフトウェア科学会WISS2022, デモ発表
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 一人称視点映像からの指さし抽出による重要シーン推定2022

    • 著者名/発表者名
      久米田 羽月, 角 康之, 小池 英樹
    • 学会等名
      マルチメディア,分散,協調とモバイルシンポジウム(DICOMO2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Classification of daily activities based on the amount of social and physical activity for behavioral change toward wellbeing2022

    • 著者名/発表者名
      Akane Okuno, Yasuyuki Sumi
    • 学会等名
      13th Augmented Human International Conference (AH 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi