• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of the command input interface using lip motion features in consideration of mental and physical conditions

Research Project

Project/Area Number 24500140
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Media informatics/Database
Research InstitutionAkita University

Principal Investigator

NISHIDA MAKOTO  秋田大学, 工学(系)研究科(研究院), 教授 (70091816)

Co-Investigator(Kenkyū-buntansha) KAGEYAMA Yoichi  秋田大学, 大学院工学資源学研究科, 教授 (40292362)
Project Period (FY) 2012-04-01 – 2015-03-31
Project Status Completed (Fiscal Year 2014)
Budget Amount *help
¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2014: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2013: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2012: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywordsヒューマンインターフェース / 口唇 / 心理変化 / 動き特徴 / 色彩情報 / 画像処理 / 無声発話 / 有声発話
Outline of Final Research Achievements

This study analyzed the lip information (i.e., lip motion features, physical features of lip), and developed elemental technologies for human machine interface with high versatility. The following conclusions could be derived: (i) lip shape features of local region are useful information to classify lip shapes as similar categories, and the proposed method is useful to narrow down identification targets, (ii) focus on the variation of lip motion features can serve as efficient indices for determining the occurrence of amusement feelings, and (iii)lip motions can be significantly affected by vocalization, and high recognition rates are obtained when the same voicing state data is used for input data and registered data.

Report

(4 results)
  • 2014 Annual Research Report   Final Research Report ( PDF )
  • 2013 Research-status Report
  • 2012 Research-status Report
  • Research Products

    (28 results)

All 2015 2014 2013 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Acknowledgement Compliant: 1 results) Presentation (21 results) Book (1 results) Remarks (3 results)

  • [Journal Article] Basic Study of Lip Motion Fluctuation Due to Vocalization for Command Input Interfaces2014

    • Author(s)
      T. Takahashi, Y. Kageyama, A. Momose, M. Ishii, M. Nishida and A. Saito
    • Journal Title

      IEEJ Transactions on Electronics, Information and Systems

      Volume: 134 Issue: 10 Pages: 1429-1435

    • DOI

      10.1541/ieejeiss.134.1429

    • NAID

      130004694079

    • ISSN
      0385-4221, 1348-8155
    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 口唇局所領域の形状解析に基づいた顔画像のグループ化手法2013

    • Author(s)
      高橋 毅,景山 陽一,西田 眞
    • Journal Title

      知能と情報(日本知能情報ファジィ学会誌)

      Volume: Vol.25 Pages: 676-689

    • NAID

      130003368218

    • Related Report
      2012 Research-status Report
    • Peer Reviewed
  • [Journal Article] Analysis of Lip Motion Change Arising due to Amusement Feeling2013

    • Author(s)
      Y. Kageyama, A. Momose, T. Takahashi, M. Ishii, M. Nishida, A. Mohemmed and N. Kasabov
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: Vol.8

    • Related Report
      2012 Research-status Report
    • Peer Reviewed
  • [Presentation] リアルタイム処理を考慮した口唇形状自動抽出法の改善に関する検討2015

    • Author(s)
      福島 洋, 齋藤 歩, 高橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      平成27年電気学会全国大会
    • Place of Presentation
      東京都市大学世田谷キャンパス(東京都世田谷区)
    • Year and Date
      2015-03-25
    • Related Report
      2014 Annual Research Report
  • [Presentation] 口唇の動きにおける特徴点に着目したコマンド識別法の改善に関する基礎検討2015

    • Author(s)
      佐藤 翔平, 髙橋 毅, 景山 陽一, 西田 眞
    • Organizer
      平成27年電気学会全国大会
    • Place of Presentation
      東京都市大学世田谷キャンパス(東京都世田谷区)
    • Year and Date
      2015-03-25
    • Related Report
      2014 Annual Research Report
  • [Presentation] 口唇の動き特徴に着目した心理・体調変化の検出に関する基礎検討2015

    • Author(s)
      石橋 央基, 高橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      平成26年度日本知能情報ファジィ学会東北支部研究会
    • Place of Presentation
      コラッセ福島(福島県福島市)
    • Year and Date
      2015-03-17
    • Related Report
      2014 Annual Research Report
  • [Presentation] 口唇の動き特徴を用いたコマンド入力における発話慣れの影響に関する検討2014

    • Author(s)
      高橋 毅, 齋藤 歩, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      2014年映像情報メディア学会冬季大会
    • Place of Presentation
      東京理科大学森戸記念館(東京都新宿区)
    • Year and Date
      2014-12-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] 発話動画像における口唇形状自動抽出法の改善に関する検討2014

    • Author(s)
      齋藤 歩, 高橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      2014年映像情報メディア学会冬季大会
    • Place of Presentation
      東京理科大学森戸記念館(東京都新宿区)
    • Year and Date
      2014-12-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] 発話に伴う口唇の動き特徴と体調の関連についての解析2014

    • Author(s)
      景山 陽一, 高橋 毅, 百瀬 篤史, 石井 雅樹, 西田 眞
    • Organizer
      第19回日本顔学会大会フォーラム顔学2014
    • Place of Presentation
      昭和大学旗の台キャンパス(東京都品川区)
    • Year and Date
      2014-10-25
    • Related Report
      2014 Annual Research Report
  • [Presentation] 口唇動作と音声によるコマンド識別システムへの適用を想定した発声の有無と口唇の動き変動の基礎解析2014

    • Author(s)
      齋藤 歩, 髙橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      平成26年度電気関係学会東北支部連合大会
    • Place of Presentation
      山形大学工学部(山形県米沢市)
    • Year and Date
      2014-08-21
    • Related Report
      2014 Annual Research Report
  • [Presentation] 口唇動作と音声によるバイモーダルシステムへの適用を想定した発声の有無と口唇の動き変動に関する基礎検討2014

    • Author(s)
      齋藤 歩, 髙橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      2014年電子情報通信学会総合大会
    • Place of Presentation
      新潟大学五十嵐キャンパス(新潟市)
    • Related Report
      2013 Research-status Report
  • [Presentation] 口唇の動きにおける特徴点を用いたコマンド識別に関する基礎検討2014

    • Author(s)
      佐藤 翔平, 髙橋 毅, 景山 陽一, 西田 眞
    • Organizer
      2014年電子情報通信学会総合大会
    • Place of Presentation
      新潟大学五十嵐キャンパス(新潟市)
    • Related Report
      2013 Research-status Report
  • [Presentation] Identifying Commands Using Lip Motion Features of Utterance2013

    • Author(s)
      S. Sato, T. Takahashi, Y. Kageyama, A. Momose and M. Nishida
    • Organizer
      The Seventh Inter. Conf. on Mater. Eng. for Resources
    • Place of Presentation
      秋田ビューホテル(秋田県秋田市)
    • Related Report
      2013 Research-status Report
  • [Presentation] 無声・有声発話における口唇の動き特徴量の経時変化に関する検討2013

    • Author(s)
      齋藤 歩, 髙橋 毅, 景山 陽一, 石井 雅樹, 西田 眞
    • Organizer
      平成25年度電気関係学会東北支部連合大会
    • Place of Presentation
      会津大学(福島県会津若松市)
    • Related Report
      2013 Research-status Report
  • [Presentation] Generation of Space by Lip Motion Features for Identifying Commands2013

    • Author(s)
      佐藤 翔平, 髙橋 毅, 景山 陽一, 百瀬 篤史, 西田 眞
    • Organizer
      平成25年度電気関係学会東北支部連合大会
    • Place of Presentation
      会津大学(福島県会津若松市)
    • Related Report
      2013 Research-status Report
  • [Presentation] 発話に伴う口唇の動き特徴における区間分割およびコマンド識別に関する検討(II)2013

    • Author(s)
      齋藤 歩, 髙橋 毅, 景山 陽一, 百瀬 篤史, 石井 雅樹, 西田 眞
    • Organizer
      日本素材物性学会平成25年度(第23回)年会
    • Place of Presentation
      秋田ビューホテル(秋田県秋田市)
    • Related Report
      2013 Research-status Report
  • [Presentation] 撥音の有無に起因する口唇の動き特徴に関する基礎検討

    • Author(s)
      佐藤 翔平,高橋 毅,景山 陽一,西田 眞
    • Organizer
      平成24年度日本知能情報ファジィ学会東北支部研究会
    • Place of Presentation
      山形大学国際事業化研究センター(山形県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 口裂領域に着目した口唇形状特徴抽出および形状分類への応用に関する検討

    • Author(s)
      高橋 毅,景山 陽一,西田 眞
    • Organizer
      情報処理学会第75回全国大会
    • Place of Presentation
      東北大学川内キャンパス(宮城県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 発話に伴う口唇の動き特徴のばらつきを用いた喜びの感情検出に関する検討

    • Author(s)
      百瀬 篤史,高橋 毅,景山 陽一,石井 雅樹,西田 眞
    • Organizer
      映像情報メディア学会2012年冬季大会
    • Place of Presentation
      東京理科大学森戸記念館(東京都)
    • Related Report
      2012 Research-status Report
  • [Presentation] 発話に伴う口唇の動き特徴を用いた喜びの感情検出

    • Author(s)
      百瀬 篤史,高橋 毅,景山 陽一,石井 雅樹,西田 眞
    • Organizer
      平成24年度第1回情報処理学会東北支部研究会
    • Place of Presentation
      秋田大学(秋田県)
    • Related Report
      2012 Research-status Report
  • [Presentation] A Study of the Influence of Vocalization on Lip Motion for Command Input Interfaces

    • Author(s)
      T. Takahashi, Y. Kageyama, A. Momose, M. Ishii and M. Nishida
    • Organizer
      2012 Inter. Conf. on Fuzzy Theory and Its Applications (iFuzzy2012)
    • Place of Presentation
      国立中興大学(台湾 台中市)
    • Related Report
      2012 Research-status Report
  • [Presentation] 口唇局所領域の形状特徴に着目した顔画像のグルーピング

    • Author(s)
      高橋 毅,景山 陽一,西田 眞
    • Organizer
      平成24年度電気学会基礎・材料・共通部門大会
    • Place of Presentation
      秋田大学(秋田県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 口唇の動き特徴を用いた喜びの感情検出に関する検討

    • Author(s)
      百瀬 篤史,高橋 毅,景山 陽一,石井 雅樹,西田 眞
    • Organizer
      平成24年度電気関係学会東北支部連合大会
    • Place of Presentation
      秋田県立大学(秋田県)
    • Related Report
      2012 Research-status Report
  • [Presentation] Analysis of Lip Motion Due to the Influence of Vocalization

    • Author(s)
      T. Takahashi, Y. Kageyama, B. Ariuntsengel, A. Momose, M. Ishii and M. Nishida
    • Organizer
      SICE ANNUAL CONFERENCE 2012
    • Place of Presentation
      秋田大学(秋田県)
    • Related Report
      2012 Research-status Report
  • [Book] 高精度化する個人認証技術 身体的、行動的認証からシステム開発、事例、国際標準化まで2014

    • Author(s)
      鷲見和彦,伊藤康一,内村圭一,黒岩眞吾,清水孝一,中西功,岸田悟,渡部大志,太田陽基,佐藤公信,青木孝文,國枝博昭,森脇康介,森沢幸博,梅﨑太造,新崎卓,槙原靖,渡邊裕司,佐藤公則,中國真教,西内信之,竹田史章,越水重臣,西田眞,景山陽一,靏浩二,若林晃,高野博史,金子聰,岩野公司,松本勉,村上康二郎,瀬戸洋一,他20名
    • Total Pages
      355
    • Publisher
      株式会社エヌ・ティー・エス
    • Related Report
      2014 Annual Research Report
  • [Remarks] 秋田大学大学院工学資源学研究科情報工学専攻・工学資源学部情報工学科 西田研究室&景山研究室

    • URL

      http://adeos6.ie.akita-u.ac.jp/

    • Related Report
      2014 Annual Research Report
  • [Remarks] 秋田大学 大学院工学資源学研究科情報工学専攻・工学資源学部情報工学科 西田研究室&景山研究室

    • URL

      http://adeos6.ie.akita-u.ac.jp/

    • Related Report
      2013 Research-status Report
  • [Remarks] 秋田大学 大学院工学資源学研究科情報工学専攻・工学資源学部情報工学科 西田・景山研究室

    • URL

      http://adeos6.ie.akita-u.ac.jp/

    • Related Report
      2012 Research-status Report

URL: 

Published: 2013-05-31   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi