複数台の自由移動カメラ利用のためのマルチカメラ統合基盤技術に関する研究

• Project/Area Number: 17J05489
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Perceptual information processing
• Research Institution: Keio University
• Principal Investigator: 家永 直人 慶應義塾大学, 理工学研究科, 特別研究員(DC1)
• Project Period (FY): 2017-04-26 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥3,100,000 (Direct Cost: ¥3,100,000); Fiscal Year 2019: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2017: ¥1,100,000 (Direct Cost: ¥1,100,000)
• Keywords: 画像処理 / 機械学習 / ３次元計測 / 行動認識 / カメラ位置姿勢推定

Outline of Annual Research Achievements

今年度の研究計画は，ここまでで培われた技術をもとに応用研究に取り組み本研究テーマの完成を目指すことであった．昨年度からすでに本格的に応用研究に取り組み始めることができていたため，今年度は，昨年度の応用研究を引き続き研究しつつ成果発表してまとめることに専念した．
これまでの計画をベースに「人行動センシング」というテーマで応用研究を続けてきた．本研究の実社会への応用としてカメラに写る人の解析が適切だと考えたためである．「人行動センシング」の中でも，今年度はジェスチャーに関する研究を重点的に進めた．その理由は，広く一般的に人の動きの解析へと広げられるテーマだからである．今年度の初め約3か月間，若手研究者海外挑戦プログラムの一環として，ジェスチャーの専門家であるパドヴァ大学のGrazia先生の下で研究を行った．これまではある程度の制約がかかった状態で撮影されたジェスチャーの動画を用いて研究を行っていたが，今年度は非常に自然な状態で撮影された動画を用いて研究を行った．その分非常に困難なことが多かったが，この成果は現在修正中の論文誌の中でまとめられる予定である．一方で，昨年度から引き続き行っている，ジェスチャー以外の人行動センシングの研究でも研究発表を行った．具体的には，自宅でのリハビリテーションへの実用化が期待できるスマートフォンを用いた手首の可動域推定や，画像処理技術のASD児の診断への応用などである．
今年度に公開が間に合わなかったものもあるが，英文論文誌に投稿可能な研究実績を複数挙げられた．
私の研究テーマは令和元年度で終了したが，この3年間で築いてきた研究をさらに深めていきたい．また，本研究テーマで培った知見・技術は今後も大いに生かすことができると確信している．

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] パドヴァ大学(イタリア)
• [Int'l Joint Research] アルスター大学(英国)
• [Int'l Joint Research] パドヴァ大学(イタリア)
• [Int'l Joint Research] アルスター大学(英国)
• [Int'l Joint Research] Universita degli Studi di Padova(Italy)
• [Int'l Joint Research] Ulster University(United Kingdom)
• [Journal Article] A Simple 3D Scanning System of Human Foot Using a Smartphone with a Depth Camera (2018)
  • Author(s): 小林巧，家永直人，杉浦裕太，斎藤英雄，宮田なつき，多田充徳
  • Journal Title: Journal of the Japan Society for Precision Engineering Volume: 84 Issue: 12 Pages: 996-1002
  • DOI: 10.2493/jjspe.84.996
  • NAID: 130007534743
  • ISSN: 0912-0289, 1882-675X
  • Year and Date: 2018-12-05
  • Peer Reviewed / Open Access
• [Journal Article] Removing Redundant Line Segments of 3D Model for Camera Pose Estimation (2017)
  • Author(s): 家永直人，Siim Meerits，森尚平，斎藤英雄
  • Journal Title: The Journal of The Institute of Image Information and Television Engineers Volume: 71 Issue: 6 Pages: J189-J191
  • DOI: 10.3169/itej.71.J189
  • NAID: 130005678894
  • ISSN: 1342-6907, 1881-6908
  • Peer Reviewed / Open Access
• [Presentation] 動画撮影を用い た手関節可動域自己評価システムの構築 (2019)
  • Author(s): 藤田浩二，家永直人，杉浦裕太，鈴木志郎，二村昭元，大川淳，斎藤英雄
  • Organizer: 第34回日本整形外科学会基礎学術集会
• [Presentation] 単眼カメラを用いた握力計測に向けた基礎検討 (2019)
  • Author(s): 松本渚紗，家永直人，藤田浩二，杉浦裕太
  • Organizer: Entertainment Computing
• [Presentation] 動画撮影による手関節可動域自己評価システムの構築 (2019)
  • Author(s): 藤田浩二，家永直人，杉浦裕太，鈴木志郎，二村昭元，大川淳，斎藤英雄
  • Organizer: 第62回日本手外科学会学術集会
• [Presentation] Self-assessment application of flexion and extension (2019)
  • Author(s): Naoto Ienaga, Yuta Sugiura, Hideo Saito, Koji Fujita
  • Organizer: IEEE 1st Global Conference on Life Sciences and Technologies
  • Int'l Joint Research
• [Presentation] Semantic segmentation of 3D point cloud to virtually manipulate real living space (2019)
  • Author(s): Yuki Ishikawa, Ryo Hachiuma, Naoto Ienaga, Wakaba Kuno, Yuta Sugiura, Hideo Saito
  • Organizer: The 12th Asia Pacific Workshop on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] Motion estimation of plush toys by detachable acceleration sensor module (2019)
  • Author(s): Kaho Kato, Naoto Ienaga, Yuta Sugiura
  • Organizer: Human-Computer Interaction International
  • Int'l Joint Research
• [Presentation] 作業療法効果の定量化に向けた予備的研究―画像処理技術OpenPoseの臨床的応用― (2018)
  • Author(s): 高畑脩平，萩原広道，榎本大貴，家永直人，寺山慧
  • Organizer: 第52回日本作業療法学会
• [Presentation] The clinical application of image analysis technology for quantitative assessment and effect measurement of pediatric occupational therapy: A pilot study (2018)
  • Author(s): Shuhei Takahata, Hiromichi Hagihara, Kei Terayama, Naoto Ienaga, Tokio Koshiba, Daiki Enomoto
  • Organizer: 1st International/5th Japanese Congress of Clinical Occupational Therapy
  • Int'l Joint Research
• [Presentation] Natural gesture extraction based on hand trajectory (2018)
  • Author(s): Naoto Ienaga, Bryan W. Scotney, Hideo Saito, Alice Cravotta, M. Grazia Busa'
  • Organizer: Irish Machine Vision and Image Processing Conference
  • Int'l Joint Research
• [Presentation] Grasping hand pose estimation from RGB images using digital human model by convolutional neural network (2018)
  • Author(s): Kentaro Ino, Naoto Ienaga, Yuta Sugiura, Hideo Saito, Natsuki Miyata, Mitsunori Tada
  • Organizer: 9th Int. Conference and Exhibition on 3D Body Scanning and Processing Technologies
  • Int'l Joint Research
• [Presentation] A simple 3D scanning system of the human foot using a smartphone with a depth camera (2018)
  • Author(s): Takumi Kobayashi, Naoto Ienaga, Yuta Sugiura, Hideo Saito, Natsuki Miyata, Mitsunori Tada
  • Organizer: 9th Int. Conference and Exhibition on 3D Body Scanning and Processing Technologies
  • Int'l Joint Research
• [Presentation] A thumb tip wearable device consisting of multiple cameras to measure thumb posture (2018)
  • Author(s): Naoto Ienaga, Wataru Kawai, Koji Fujita, Natsuki Miyata, Yuta Sugiura, Hideo Saito
  • Organizer: The 14th Asian Conference on Computer Vision Workshop (International Workshop on Attention/Intention Understanding)
  • Int'l Joint Research
• [Presentation] デジタルヒューマンモデルを用いた深層学習による物体組込型カメラ画像からの把持姿勢推定 (2018)
  • Author(s): 稲生健太郎，家永直人，杉浦裕太，斎藤英雄，宮田なつき，多田充徳
  • Organizer: 電子情報通信学会総合大会
• [Presentation] 距離カメラ付きスマートフォンを用いた人体の足の3次元形状計測 (2018)
  • Author(s): 小林巧， 家永直人 ，杉浦裕太，斎藤英雄, 宮田なつき，多田充徳
  • Organizer: 動的画像処理実利用化ワークショップ