3Dアニメーションによる手話形態素辞書の構築と手話工学への応用研究

• 研究課題/領域番号: 26244021
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 言語学
• 研究機関: 工学院大学
• 研究代表者: 長嶋 祐二 工学院大学, 情報学部(情報工学部), 教授 (50138137)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• 研究課題ステータス: 完了 (2016年度)
• 配分額: 40,690千円 (直接経費: 31,300千円、間接経費: 9,390千円); 2016年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円); 2015年度: 13,390千円 (直接経費: 10,300千円、間接経費: 3,090千円); 2014年度: 23,140千円 (直接経費: 17,800千円、間接経費: 5,340千円)
• キーワード: 手話 / 形態素解析 / 形態素辞書 / 福祉工学

研究成果の概要

本研究では、3次元アニメーションによる日本手話の形態素語彙辞書の構築を行った。辞書に収録した3次元手話動作は、光学式モーションキャプチャにより収録した。辞書の単語は、提案しているNVSG要素モデルを用いて記述されている。記法結果はSQLiteフォーマットで蓄積し、形態素辞書データベースを構築した。その結果、日本語の意味が分からなくても手話の構成要から検索可能である。
共通課題であった、解析ツールでは、MAを構築し手話の音素レベルからNVSG要素モデルを用いて3次元動作記述支援システムを開発した。更に、BVHデータからリアルタイムで3次元手話アニメーションを生成する3Dビューアを開発した。

研究成果

• [雑誌論文] 手話形態素辞書作成のための情報入力支援システム (2017)
  • 著者名/発表者名: 渡辺桂子, 長嶋祐二
  • 雑誌名: 電子情報通信学会論文誌D 情報・システム 巻: J100-D 号: 3 ページ: 298-309
  • DOI: 10.14923/transinfj.2016PDP0014
  • ISSN: 1880-4535, 1881-0225
  • 年月日: 2017-03-01
  • 査読あり / 謝辞記載あり
• [雑誌論文] 気象情報を対象にした手話CG翻訳システムの開発とその評価 (2017)
  • 著者名/発表者名: 加藤直人, 宮太郎, 井上誠喜, 金子浩之, 比留間伸行, 長嶋祐二
  • 雑誌名: 電子情報通信学会論文誌D 情報・システム 巻: J100-D 号: 2 ページ: 217-229
  • DOI: 10.14923/transinfj.2016JDP7071
  • ISSN: 1880-4535, 1881-0225
  • 年月日: 2017-02-01
  • 査読あり
• [雑誌論文] 医療用語の手話表現の検討とその単語データベースの構築 (2016)
  • 著者名/発表者名: 渡辺桂子, 長嶋祐二
  • 雑誌名: 電子情報通信学会論文誌D 情報・システム 巻: J99-D 号: 1 ページ: 76-89
  • DOI: 10.14923/transinfj.2015HAP0027
  • ISSN: 1880-4535, 1881-0225
  • 年月日: 2016-01-01
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] A Study on How to Express Non-manual Markers in the Electronic Dictionary of Japanese Sign Language (2015)
  • 著者名/発表者名: M. Terauchi, Y. Nagashima
  • 雑誌名: IFIP International Federation for Information Processing 2015 巻: LNCS 9299 ページ: 502-505
  • DOI: 10.1007/978-3-319-22723-8_48
  • ISBN: 9783319227221, 9783319227238
  • 査読あり / 謝辞記載あり
• [雑誌論文] 日本手話の形態素解析のためのNVSG要素モデル (2015)
  • 著者名/発表者名: 渡辺桂子, 寺内美奈, 長嶋祐二
  • 雑誌名: 電子情報通信学会 和文論文誌A 巻: J98-A ページ: 113-128
  • 査読あり / 謝辞記載あり
• [雑誌論文] 動画ピクトグラムを利用した駅でのコミュニケーション支援システム (2014)
  • 著者名/発表者名: 中園薫, 角田麻里, 長嶋祐二
  • 雑誌名: 観光情報学会,観光と情報 巻: 10 ページ: 87-100
  • NAID: 40020251546
  • 査読あり
• [学会発表] 3次元ビューア機能付き医療用手話辞書の作成 (2017)
  • 著者名/発表者名: 渡辺桂子, 幸田拓也, 長嶋祐二
  • 学会等名: 情報処理学会研究報告
  • 発表場所: 石垣島
• [学会発表] A Support Tool for Analyzing the 3D Motions of Sign Language and the Construction of a Morpheme Dictionary (2016)
  • 著者名/発表者名: Y. Nagashima, K. Watanabe, M. Terauchi, N. Kato, T. Uchida, S. Umeda, T. Miyazaki, M. Azuma, and N. Hiruma
  • 学会等名: the 18th International Conference on Human-Computer Interaction(HCII2016)
  • 発表場所: Toronto, Canada
  • 年月日: 2016-07-20
  • 国際学会
• [学会発表] Eye Movements of Hearing Impaired Students in Self-practice to Learn How to Use Graphic Software (2016)
  • 著者名/発表者名: T. Suzuki, M. Kobayashi, and Y. Nagashima
  • 学会等名: the 18th International Conference on Human-Computer Interaction(HCII2016)
  • 発表場所: Toronto, Canada
  • 年月日: 2016-07-07
  • 国際学会
• [学会発表] Study of Sign Language Expression of Medical Sign Language Words (2016)
  • 著者名/発表者名: Mina Terauchi, Yuji Nagashima
  • 学会等名: The Ninth International Conference on Advances in Computer-Human Interactions
  • 発表場所: Venice, Italy
  • 年月日: 2016-04-24
  • 国際学会
• [学会発表] 聴覚障害学生に対する効率的な実技学習を支援する教材の設計 (2016)
  • 著者名/発表者名: 鈴木 拓弥, 長嶋祐二
  • 学会等名: ヒューマンインタフェース学会研究会(SIG-ACI-17)
  • 発表場所: 京都工芸繊維大学(京都府)
  • 年月日: 2016-03-28
• [学会発表] Provision of Emergency Information in Sign Language CG Animation over Integrated Broadcast-Broadband System (2016)
  • 著者名/発表者名: Tsubasa Uchida, Shuichi Umeda, Makiko Azuma, Taro Miyazaki, Naoto Kato, Nobuyuki Hiruma, Seiki Inoue and Yuji Nagashima
  • 学会等名: IEEE International Symposium on Broadband Multimedia Systems and Broadcasting
  • 発表場所: JAPAN,Nara
  • 国際学会
• [学会発表] 3次元アニメーションによる医療用手話辞書の作成 (2016)
  • 著者名/発表者名: 渡辺 桂子, 南川 真穂, 長嶋祐二,加藤 直人, 内田 翼, 梅田 修一, 宮崎 太郎, 東 真希子, 比留間 伸行
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2016
  • 発表場所: 東京
• [学会発表] NVSG要素モデルによる手話動作合成方法に関する検討 (2016)
  • 著者名/発表者名: 久野翔利, 渡辺桂子,長嶋祐二, 加藤直人, 内田 翼, 宮崎太郎, 梅田修一, 東 真希子, 比留間伸行
  • 学会等名: 電子情報通信学会 HCS研究会
  • 発表場所: 那覇
• [学会発表] 手話モーション部品の編集、 合成による手話アニメーション生成に関する検討 (2015)
  • 著者名/発表者名: 井上誠喜，内田翼，加藤直人，宮崎太郎，梅田修一，東真希子，比留間伸行，長嶋祐二
  • 学会等名: 電子情報通信学会HCGシンポジウム 2015
  • 発表場所: 富山国際会議場（富山県）
  • 年月日: 2015-12-16
• [学会発表] 手話CGアニメーションの口型作成システム (2015)
  • 著者名/発表者名: 加藤直人，宮崎太郎，井上誠喜，内田翼，東真希子，梅田修一，比留間伸行，長嶋祐二
  • 学会等名: 電子情報通信学会HCGシンポジウム
  • 発表場所: 富山国際会議場（富山県）
  • 年月日: 2015-12-16
• [学会発表] 実技演習時の聴覚障害学生に対する字幕表示位置と内容理解度の相関について (2015)
  • 著者名/発表者名: 鈴木 拓弥, 長嶋 祐二
  • 学会等名: 電子情報通信学会HCGシンポジウム
  • 発表場所: 富山国際会議場（富山県）
  • 年月日: 2015-12-16
• [学会発表] 手話合成エディタの開発 (2015)
  • 著者名/発表者名: 渡辺桂子, 長嶋祐二, 加藤直人, 宮﨑太郎, 井上誠喜, 梅田修一, 清水俊宏, 比留間伸行
  • 学会等名: ヒューマンインタフェース学会研究会(SIG-ACI-16)
  • 発表場所: 産総研臨海副都心センター別館バイオ(東京)
  • 年月日: 2015-12-09
• [学会発表] 医療用手話単語収集方法の検討 (2015)
  • 著者名/発表者名: 長嶋祐二, 渡辺桂子, 寺内美奈
  • 学会等名: 計測自動制御学会 システム・情報部門学術講演会2015
  • 発表場所: 函館アリーナ(北海道)
  • 年月日: 2015-11-18
• [学会発表] 緊急災害時における手話ＣＧを用いた情報提示に関する検討 (2015)
  • 著者名/発表者名: 内田 翼, 梅田 修一, 東 真希子, 宮﨑 太郎, 加藤 直人, 井上 誠喜, 比留間 伸行, 長嶋 祐二
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2015
  • 発表場所: はこだて未来大学(北海道)
  • 年月日: 2015-09-01
• [学会発表] 漢字手話/指文字判定を用いた日本語から日本手話への固有名詞の機械翻訳 (2015)
  • 著者名/発表者名: 宮﨑太郎, 加藤直人, 内田翼, 東真希子, 梅田修一, 井上誠喜, 比留間伸行, 長嶋祐二
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2015
  • 発表場所: はこだて未来大学(北海道)
  • 年月日: 2015-09-01
• [学会発表] 聴覚障害者に対する字幕表示の内容理解度による評価 (2015)
  • 著者名/発表者名: 鈴木 拓弥, 長嶋 祐二
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2015
  • 発表場所: はこだて未来大学(北海道)
  • 年月日: 2015-09-01
• [学会発表] Python Web サーバーとWebGL 版TVML プレイヤーによる簡易な日本語-手話CG 翻訳システム (2015)
  • 著者名/発表者名: 井上 誠喜, 加藤 直人, 宮﨑 太郎, 梅田 修一, 東 真希子, 内田 翼, 比留間 伸行, 長嶋 祐二
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2015
  • 発表場所: はこだて未来大学(北海道)
  • 年月日: 2015-09-01
• [学会発表] 手話形態素辞書作成のため情報入力支援システム構築 (2015)
  • 著者名/発表者名: 渡辺 桂子, 長嶋 祐二, 加藤 直人, 宮崎 太郎, 井上 誠喜, 梅田 修一, 清水 俊宏, 比留間 伸行
  • 学会等名: ヒューマンインタフェース学会, ヒューマンインタフェースシンポジウム2015
  • 発表場所: はこだて未来大学(北海道)
  • 年月日: 2015-09-01
• [学会発表] Deep Learning とCG 距離画像を用いた指文字認識に関する一検討 (2015)
  • 著者名/発表者名: 井上 誠喜, 加藤 直人, 宮﨑 太郎, 梅田 修一, 東 真希子, 内田 翼, 比留間 伸行, 長嶋 祐二
  • 学会等名: 電気学会 知覚情報・次世代産業システム合同研究会
  • 発表場所: 岩手大学復興祈念銀河ホール(岩手県)
  • 年月日: 2015-08-17
• [学会発表] 手話表情モーションデータの分析・編集に関する検討 (2015)
  • 著者名/発表者名: 井上 誠喜,加藤 直人, 宮﨑 太郎, 梅田 修一, 東 真希子, 内田 翼, 比留間 伸行, 長嶋 祐二
  • 学会等名: 電気学会 知覚情報研究会
  • 発表場所: 長崎県立大学シーボルト校(長崎県)
  • 年月日: 2015-03-26
• [学会発表] WebGL を用いた手話アニメーション生成に関する検討 (2015)
  • 著者名/発表者名: 井上 誠喜,加藤 直人, 宮﨑 太郎, 梅田 修一, 東 真希子, 内田 翼, 比留間 伸行, 長嶋 祐二
  • 学会等名: 映像メディア学会 映像表現&コンピュータグラフィックス研究会
  • 発表場所: 北海道大学(北海道)
  • 年月日: 2015-02-22
• [学会発表] オプション付き単語列を用いた手話アニメーション生成に関する一検討 (2014)
  • 著者名/発表者名: 井上 誠喜, 加藤 直人, 宮崎 太郎, 梅田 修一, 東 真希子, 比留間 伸行, 長嶋 祐二
  • 学会等名: 電子情報通信学会 HCGシンポジウム2014
  • 発表場所: 海峡メッセ下関 （山口県）
  • 年月日: 2014-12-19
• [学会発表] 医療用手話単語に対する手話表現の検討 (2014)
  • 著者名/発表者名: 渡辺 桂子, 寺内 美奈, 長嶋 祐二, 加藤 直人, 宮崎 太郎, 井上 誠喜, 梅田 修一, 清水 俊宏, 比留間 伸行
  • 学会等名: 電子情報通信学会 HCGシンポジウム2014
  • 発表場所: 海峡メッセ下関 （山口県）
  • 年月日: 2014-12-18
• [学会発表] 手話の階層的形態素記述モデルにおける非手指動作の記述法 (2014)
  • 著者名/発表者名: 寺内 美奈, 渡辺 桂子, 長嶋 祐二, 加藤 直人, 宮崎 太郎, 井上 誠喜, 梅田 修一, 清水 俊宏, 比留間 伸行
  • 学会等名: 電子情報通信学会 HCGシンポジウム2014
  • 発表場所: 海峡メッセ下関 （山口県）
  • 年月日: 2014-12-18
• [学会発表] 顔表情を部分的に挿入した手話CG翻訳システム (2014)
  • 著者名/発表者名: 加藤 直人, 宮崎 太郎, 井上 誠喜, 梅田 修一, 東 真希子, 比留間 伸行, 長嶋 祐二
  • 学会等名: 電子情報通信学会 HCGシンポジウム2014
  • 発表場所: 海峡メッセ下関 （山口県）
  • 年月日: 2014-12-17
• [学会発表] 手話単語分析ツールの構築 (2014)
  • 著者名/発表者名: 渡辺桂子, 寺内美奈, 長嶋祐二
  • 学会等名: HI学会 ヒューマンインタフェースシンポジウム2014
  • 発表場所: 京都工芸繊維大学(京都府)
  • 年月日: 2014-09-12
• [学会発表] 単語の動作生成違いからみる使やす医療系手話単語 (2014)
  • 著者名/発表者名: 寺内 美奈, 渡辺 桂子, 長嶋 祐二, 加藤 直人, 宮崎 太郎, 井上 誠喜, 梅田 修一, 清水 俊宏, 比留間 伸行
  • 学会等名: HI学会 ヒューマンインタフェースシンポジウム2014
  • 発表場所: 京都工芸繊維大学(京都府)
  • 年月日: 2014-09-12
• [学会発表] Study into Methods of Describing Japanese Sign Language (2014)
  • 著者名/発表者名: Keiko Watanabe, Yuji Nagashima, Mina Terauchi, Naoto Kato, Taro Miyazaki, Seiki Inoue, Shuichi Umeda, Toshihiro Shimizu, Nobuyuki Hiruma
  • 学会等名: the 16th International Conference on Human-Computer Interaction
  • 発表場所: Crete(Greece)
  • 年月日: 2014-06-25 – 2014-06-27
• [学会発表] Compilation of a Sign Language Database for Use in Medical Practice (2014)
  • 著者名/発表者名: Mina Terauchi, Keiko Watanabe, Yuji Nagashima, Naoto Kato, Taro Miyazaki, Seiki Inoue, Shuichi Umeda, Toshihiro Shimizu, Nobuyuki Hiruma
  • 学会等名: the 16th International Conference on Human-Computer Interaction
  • 発表場所: Crete(Greece)
  • 年月日: 2014-06-25 – 2014-06-27