• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

身体記号学の確立に向けた学術コミュニティ及びネットワークの構築

総括班

研究領域言語相互行為における身振りと手話を対象とした身体記号学
研究課題/領域番号 22H05012
研究種目

学術変革領域研究(B)

配分区分補助金
審査区分 学術変革領域研究区分(Ⅰ)
研究機関国立情報学研究所

研究代表者

坊農 真弓  国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)

研究分担者 高梨 克也  滋賀県立大学, 人間文化学部, 教授 (30423049)
中山 英樹  東京大学, 大学院情報理工学系研究科, 准教授 (00643305)
菊地 浩平  筑波技術大学, 産業技術学部, 助教 (60582898)
研究期間 (年度) 2022-05-20 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
14,820千円 (直接経費: 11,400千円、間接経費: 3,420千円)
2024年度: 6,760千円 (直接経費: 5,200千円、間接経費: 1,560千円)
2023年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
キーワード身体記号学 / マルチモーダル記号論 / モダリティ横断 / マルチモーダル対話翻訳 / AI / 手話コーパス / 身振りコーパス / 自然言語処理 / 画像処理 / 人工知能 / 形式意味論 / 国際手話 / 身振り / 手話 / 深層学習 / 言語学 / 相互行為研究 / マルチモーダル処理
研究開始時の研究の概要

本領域研究は,会話における身振りや手話といった,記号としての特徴が未だ明確ではない事象を研究対象に,言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする.領域全体として,音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指す.成果として,マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し,マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする.

研究実績の概要

本総括班は,本領域研究における情報共有と議論の場を提供する位置付け・役割を担う.具体的な方法として,初年度から最終年度まで一貫して月に一度の公開オンライン会合を実施し,人文系・理工系それぞれにとっての問題意識を共有しつつ,自分とは異なる研究分野の手法や動向についての相互理解を深め,研究領域の推進を安定的に加速させる予定であった.2年目である2023年度は,6月5日-6日に第一回身体記号学国際ワークショップを実施した.本ワークショップには,手話言語処理研究の第一人者の一人であるRichard Bowden教授(サリー大学)を招聘し,言語学と人工知能の融合可能性について有意義な議論を行なった.また,初年度に引き続き計画班代表を集めた総括班ミーティングを8回(うちオンライン7回,対面拡大1回)実施し,領域内のメンバーと研究代表者が対談する「身体記号学ラジオ」を10回実施した.また,領域内勉強会を3回実施した.具体的な内容は,A02企画「手話コーパスのマニュアルの報告(話題提供者:岡田智裕,A02)」,A02企画「次世代手話コーパスについてのミーティング:天草諸島フィールドワークの報告と意見交換(話題提供者:平英司,A02)」,A02企画「形式意味論国際学会Sinn und Bedeutung,special session:The Semantics and Pragmatics of Co-Speech/Co-Sign Communication報告会(報告者:森一,A02藤川研究室)」であった.また,2023年度の新規の企画として,各研究領域のチュートリアルで構成される「身体記号学セミナー」を3回実施し,「国際手話オンラインレッスン」を3回実施した.さらに,研究代表者の研究室が主催する読書会を領域内に共有した.これらの活動を通し,十分に各研究領域の問題を共有することができた.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本領域は,身体班(A01),手話班(A02),工学班(A03),データ統合班(B01)の4つが融合することによって構成される.2年目である2023年度は,総括班が配布済みの『SCコーパス』『JSLコーパス』を全計画班でアノテーション付与,データ処理,データ分析することを試みた.領域全体として,音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと(以下,モダリティ横断)」を目指している.そして最終年度の研究成果として,マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し,マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にすることを目指している.しかしながら,既存データであるSCコーパスとJSLコーパスが,人工知能研究で近年注目されている大規模言語モデル(LLM)の規模に達していないことから,身体記号学を発展させるための次世代コーパス構築とその公開は容易に達成可能な研究課題ではないことが領域全体の合意として明確になってきた.この理由により,本研究領域はおおむね順調に進展していると評価している.
具体的な研究活動として,2023年度は身体班(A01)は次世代身振りコーパス,手話班(A02)は次世代手話コーパスの構築に着手し,収録を進める予定であった.身体班はSCコーパスにこれまで付与されたアノテーションの不足や改良点を主として議論し,手話班は個人情報保護を考慮しつつ公開可能な『日本手話日常手話会話コーパス』のデザインと収録に注力した.双方のデータ収録に関する議論は,工学班(A03)およびデータ統合班(B01)と常に共有し,データ中心科学としての身体記号学の構築を一丸となって進めている点が高く評価できる.

今後の研究の推進方策

領域代表は,世界に例を見ない共創的文理融合研究の実現を構想している.「共創的」の意味するところは,人文系と理工系が相互の研究領域の問題意識や最新の研究動向を深く理解しながら研究領域を共に作り上げるといったものである.そのための実践的な活動として,今後も月に一度程度の会合(対面・オンライン)を実施し,活発な研究領域の運営を目指す.
国際的な研究動向から見て,まず身振りについて,領域代表兼A02代表の坊農とA01代表の高梨は,『SCコーパス』を共同収録し,発話内容と指さしや視線の向き等の身体動作を手作業でアノテーションし,身体相互行為の分析を進めてきた.これらの事象について,自然言語処理や画像処理の技術を導入することにより定量分析が画期的に促進され,人間の指示表現に関する認知的・社会的なコミュニケーションメカニズムの解明につながるだろうと考えている. 次に手話について,領域代表兼A02代表の坊農とB01代表の菊地は,『JSLコーパス』 に手話言語の手指動作,表情といった非手指動作による言語的要素を手作業でアノテーションし,単語として分節化した動作に日本語の意味を付与し,日本語の文に翻訳する作業を進めて来た.
本研究領域では,記号と対象の関係性を明らかにする言語哲学と,表現と意味を機械処理する自然言語処理アルゴリズムと,OpenPoseやMediaPipeなどの深層学習に基づく画像処理アルゴリズムとの融合によって,身振り研究や手話言語学で大きな足枷となって来た手作業によるアノテーションや翻訳作業の効率化を図ることができるのではないかと考えている. 最終年度は身振りと手話の「指差し」周辺の現象に限定的に着目することにより,本研究領域が立ち上げようとしている「マルチモーダル記号論」の概観を整える予定である.

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (82件)

すべて 2024 2023 2022 その他

すべて 雑誌論文 (39件) (うち国際共著 4件、 査読あり 32件、 オープンアクセス 33件) 学会発表 (29件) (うち国際学会 16件、 招待講演 6件) 図書 (12件) 備考 (1件) 学会・シンポジウム開催 (1件)

  • [雑誌論文] Investigating Effects of Multimodal Topic-continuance Recognition on Human-Robot Interviewing Interaction2024

    • 著者名/発表者名
      Nagasawa Fuminori、Okada Shogo
    • 雑誌名

      HRI '24: Companion of the 2024 ACM/IEEE International Conference on Human-Robot Interaction

      巻: - ページ: 779-783

    • DOI

      10.1145/3610978.3640662

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A multimodal dialogue system for customer service based on user personality adaptation and dialogue strategies2024

    • 著者名/発表者名
      Miyama Tamotsu、Okada Shogo
    • 雑誌名

      Advanced Robotics

      巻: 38 号: 4 ページ: 195-210

    • DOI

      10.1080/01691864.2024.2319137

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Adversarial Domain Generalized Transformer for Cross-Corpus Speech Emotion Recognition2024

    • 著者名/発表者名
      Gao Yuan、Wang Longbiao、Liu Jiaxing、Dang Jianwu、Okada Shogo
    • 雑誌名

      IEEE Transactions on Affective Computing

      巻: - 号: 2 ページ: 1-12

    • DOI

      10.1109/taffc.2023.3290795

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Adaptive Interview Strategy Based on Interviewees Speaking Willingness Recognition for Interview Robots2024

    • 著者名/発表者名
      Nagasawa Fuminori、Okada Shogo、Ishihara Takuya、Nitta Katsumi
    • 雑誌名

      IEEE Transactions on Affective Computing

      巻: - 号: 3 ページ: 1-17

    • DOI

      10.1109/taffc.2023.3309640

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 「クオリア」について : コミュニケーション分析に援用するための理論的基礎考察 II2023

    • 著者名/発表者名
      榎本剛士
    • 雑誌名

      言語文化共同研究プロジェクト

      巻: 2022 ページ: 1-10

    • DOI

      10.18910/91574

    • 年月日
      2023-05-31
    • 関連する報告書
      2023 実績報告書
    • オープンアクセス
  • [雑誌論文] Improving Deep Metric learning via Self-distillation and Online Batch Diffusion Process.2023

    • 著者名/発表者名
      Zelong Zeng, Fan Yang, Hong Liu, Shin'ichi Satoh
    • 雑誌名

      Computer Vision and Pattern Recognition

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Making Body Movement in Sign Language Corpus Accessible for Linguists and Machines with Three-Dimensional Normalization of MediaPipe2023

    • 著者名/発表者名
      Skobov Victor、Bono Mayumi
    • 雑誌名

      Findings of the Association for Computational Linguistics: EMNLP 2023

      巻: - ページ: 1844-1855

    • DOI

      10.18653/v1/2023.findings-emnlp.124

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Intersubjective understanding in finger braille interpreter-mediated interaction: Two case studies of other-initiated repair2023

    • 著者名/発表者名
      Mayumi Bono, Rui Sakaida, Kanato Ochiai and Satoshi Fukushima
    • 雑誌名

      Lingua

      巻: 291 ページ: 103569-103569

    • DOI

      10.1016/j.lingua.2023.103569

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A-CAP: Anticipation Captioning with Commonsense Knowledge2023

    • 著者名/発表者名
      Vo Duc Minh、Luong Quoc-An、Sugimoto Akihiro、Nakayama Hideki
    • 雑誌名

      2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

      巻: 1 ページ: 10824-10833

    • DOI

      10.1109/cvpr52729.2023.01042

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] LED: A Dataset for Life Event Extraction from Dialogs2023

    • 著者名/発表者名
      Yi-Pei Chen, An-Zi Yen, Hen-Hsen Huang, Hideki Nakayama, Hsin-Hsi Chen
    • 雑誌名

      Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL)

      巻: Findings Volume

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Investigating Effectiveness of Linguistic Features Based on Speech Recognition for Storytelling Skill Assessment2023

    • 著者名/発表者名
      Le Hung、Li Sixia、Mawalim Candy Olivia、Huang Hung-Hsuan、Leong Chee Wee、Okada Shogo
    • 雑誌名

      Recent Trends and Future Technology in Applied Intelligence

      巻: - ページ: 370-383

    • DOI

      10.1007/978-3-031-35915-6_27

    • ISBN
      9783031359149, 9783031359156
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Inter-person Intra-modality Attention Based Model for?Dyadic Interaction Engagement Prediction2023

    • 著者名/発表者名
      Li Xiguang、Mawalim Candy Olivia、Okada Shogo
    • 雑誌名

      Social Computing and Social Media (HCII 2023)

      巻: - ページ: 91-105

    • DOI

      10.1007/978-3-031-35915-6_8

    • ISBN
      9783031359149, 9783031359156
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Multimodal Transfer Learning for Oral Presentation Assessment2023

    • 著者名/発表者名
      Tun Su Shwe Yi、Okada Shogo、Huang Hung-Hsuan、Leong Chee Wee
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 84013-84026

    • DOI

      10.1109/access.2023.3295832

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Ranking Model for Evaluation of Conversation Partners Based on Rapport Levels2023

    • 著者名/発表者名
      Hayashi Takato、Mawalim Candy Olivia、Ishii Ryo、Morikawa Akira、Fukayama Atsushi、Nakamura Takao、Okada Shogo
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 73024-73035

    • DOI

      10.1109/access.2023.3287984

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 座談会:『認知科学』の過去・現在・未来を語る2023

    • 著者名/発表者名
      浅野 倫子・坊農 真弓・川合 伸幸・小橋 康章・森田 純哉・中村 國則・白水 始・創刊30周年記念特集編集編委員会・寺田 和憲・清河 幸子・服部 雅史・布山 美慕・平 知宏
    • 雑誌名

      認知科学

      巻: 30(1) ページ: 89-93

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 「対話・インタラクション」研究の発展と潮流2023

    • 著者名/発表者名
      坊農 真弓・今井 倫太
    • 雑誌名

      認知科学

      巻: 30(1) ページ: 37-45

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 第1部 研究編 「認知科学各分野の30年とこれからの展望」 編集にあたって2023

    • 著者名/発表者名
      創刊30周年記念特集研究編委員会・日髙 昇平・坊農 真弓・小林 春美,・織田 涼・高橋 康介
    • 雑誌名

      認知科学

      巻: 30(1) ページ: 8-11

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Indirect Adversarial Losses via an Intermediate Distribution for Training GANs2023

    • 著者名/発表者名
      Yang Rui、Vo Duc Minh、Nakayama Hideki
    • 雑誌名

      Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sequence-initial pointing: Spotlighting what just happened as a cause of a new sequence2023

    • 著者名/発表者名
      Yasui Eiko
    • 雑誌名

      Discourse Studies

      巻: 25 号: 3 ページ: 409-429

    • DOI

      10.1177/14614456221132464

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] サッカー指導場面での「身体的実演」に見られるコーチと選手の相互行為2023

    • 著者名/発表者名
      林 誠・安井 永子
    • 雑誌名

      小宮 友根・黒嶋 智美(編)実践の論理を描く:相互行為のなかの知識・身体・こころ 勁草書房

      巻: - ページ: 158-175

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Japanese onomatopoeia in bodily demonstrations in a traditional dance instruction: A resource for synchronizing body movements2023

    • 著者名/発表者名
      Yasui Eiko
    • 雑誌名

      Journal of Pragmatics

      巻: 207 ページ: 45-61

    • DOI

      10.1016/j.pragma.2023.02.002

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Unsupervised Domain Adaptation for Person Re-Identification Via Individual-Preserving and Environmental-Switching Cyclic Generation2023

    • 著者名/発表者名
      Verma Astha、Subramanyam A.V.、Wang Zheng、Satoh Shin'ichi、Shah Rajiv Ratn
    • 雑誌名

      IEEE Transactions on Multimedia

      巻: 25 ページ: 364-377

    • DOI

      10.1109/tmm.2021.3126404

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Improving Noised Gradient Penalty with Synchronized Activation Function for Generative Adversarial Networks2022

    • 著者名/発表者名
      Rui Yang, Raphael Shu, Hideki Nakayama
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E105.D 号: 9 ページ: 1537-1545

    • DOI

      10.1587/transinf.2022EDP7019

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2022-09-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Character-centric Story Visualization via Visual Planning and Token Alignment2022

    • 著者名/発表者名
      Chen Hong、Han Rujun、Wu Te-Lin、Nakayama Hideki、Peng Nanyun
    • 雑誌名

      Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)

      巻: - ページ: 8259-8272

    • DOI

      10.18653/v1/2022.emnlp-main.565

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Stochastically Flipping Labels of Discriminator’s Outputs for Training Generative Adversarial Networks2022

    • 著者名/発表者名
      Rui Yang, Duc Minh Vo, Hideki Nakayama
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 103644-103654

    • DOI

      10.1109/access.2022.3210130

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] 「英語教育」の指標的類像として見る「英語の授業」2022

    • 著者名/発表者名
      榎本 剛士
    • 雑誌名

      ポエティクスの新展開:プルリモーダルな実践の詩的解釈に向けて ひつじ書房

      巻: - ページ: 251-277

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Towards Causality Inference for Very Important Person Localization2022

    • 著者名/発表者名
      Xiao Wang, Zheng Wang, Wu Liu, Xin Xu, Qijun Zhao, Shin'ichi Satoh
    • 雑誌名

      Proceedings of the 30th ACM International Conference on Multimedia (ACMMM)

      巻: - ページ: 6618-6626

    • DOI

      10.1145/3503161.3548014

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Reference-Guided Texture and Structure Inference for Image Inpainting2022

    • 著者名/発表者名
      Liu Taorong、Liao Liang、Wang Zheng、Satoh Shin'Ichi
    • 雑誌名

      IEEE International Conference on Image Processing(ICIP 2022)

      巻: - ページ: 1996-2000

    • DOI

      10.1109/icip46576.2022.9897592

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature2022

    • 著者名/発表者名
      Wang Zhixiang、Ji Xiang、Huang Jia-Bin、Satoh Shin'ichi、Zhou Xiao、Zheng Yinqiang
    • 雑誌名

      CVPR202

      巻: - ページ: 17773-17782

    • DOI

      10.1109/cvpr52688.2022.01727

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Multiple Object Tracking from appearance by hierarchically clustering tracklets.2022

    • 著者名/発表者名
      Andreu Girbau, Ferran Marques, Shin'ichi Satoh
    • 雑誌名

      BMVC

      巻: - ページ: 362-362

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Weakly-Supervised Learning With Complementary Heatmap for Retinal Disease Detection2022

    • 著者名/発表者名
      Meng Qier、Liao Liang、Satoh Shin'Ichi
    • 雑誌名

      IEEE Transactions on Medical Imaging

      巻: 41 号: 8 ページ: 2067-2078

    • DOI

      10.1109/tmi.2022.3155154

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion2022

    • 著者名/発表者名
      Liao Liang、Chen Wenyi、Xiao Jing、Wang Zheng、Lin Chia-Wen、Satoh Shin'ichi
    • 雑誌名

      IEEE Transactions on Image Processing

      巻: 31 ページ: 3525-3540

    • DOI

      10.1109/tip.2022.3172208

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Vehicle Counting in Very Low-Resolution Aerial Images via Cross-Resolution Spatial Consistency and Intraresolution Time Continuity2022

    • 著者名/発表者名
      Zhao Quan、Xiao Jing、Wang Zheng、Ma Xujie、Wang Mi、Satoh Shin'ichi
    • 雑誌名

      IEEE Transactions on Geoscience and Remote Sensing

      巻: 60 ページ: 1-13

    • DOI

      10.1109/tgrs.2022.3174815

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Capturing Small, Fast-Moving Objects: Frame Interpolation via Recurrent Motion Enhancement2022

    • 著者名/発表者名
      Hu Mengshun、Xiao Jing、Liao Liang、Wang Zheng、Lin Chia-Wen、Wang Mi、Satoh Shin'Ichi
    • 雑誌名

      IEEE Transactions on Circuits and Systems for Video Technology

      巻: 32 号: 6 ページ: 3390-3406

    • DOI

      10.1109/tcsvt.2021.3110796

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Discovering regression-detection bi-knowledge transfer for unsupervised cross-domain crowd counting2022

    • 著者名/発表者名
      Liu Yuting、Wang Zheng、Shi Miaojing、Satoh Shin’ichi、Zhao Qijun、Yang Hongyu
    • 雑誌名

      Neurocomputing

      巻: 494 ページ: 418-431

    • DOI

      10.1016/j.neucom.2022.04.107

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] On Assisting Diagnoses of Pareidolia by Emulating Patient Behavior2022

    • 著者名/発表者名
      Zhu Zhaohui、Kastner Marc A.、Satoh Shin’ichi
    • 雑誌名

      MultiMedia Modeling: 28th International Conference, MMM 2022

      巻: - ページ: 299-310

    • DOI

      10.1007/978-3-030-98358-1_24

    • ISBN
      9783030983574, 9783030983581
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Personalized Fashion Recommendation Using Pairwise Attention2022

    • 著者名/発表者名
      Trakulwaranont Donnaphat、Kastner Marc A.、Satoh Shin’ichi
    • 雑誌名

      MultiMedia Modeling: 28th International Conference, MMM 2022

      巻: - ページ: 218-229

    • DOI

      10.1007/978-3-030-98355-0_19

    • ISBN
      9783030983543, 9783030983550
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sign language, what is it? : an ESCAP guide towards legal recognition of sign languages in Asia and the Pacific.2022

    • 著者名/発表者名
      Yutaka Osugi , Aiko Akiyama, Yuenwa,San.
    • 雑誌名

      United Nations ESCAP

      巻: -

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Historical relationships between numeral signs in Japanese Sign Language, South Korean Sign Language and Taiwan Sign Language2022

    • 著者名/発表者名
      Sagara Keiko
    • 雑誌名

      East Asian Sign Linguistics

      巻: - ページ: 7-36

    • DOI

      10.1515/9781501510243-002

    • ISBN
      9781501510243
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 相互行為中の身体動作を対象としたマルチモーダル連鎖分析から身体記号学へ2024

    • 著者名/発表者名
      高梨 克也・ 坂井田 瑠衣・ 安井 永子・ 山本 敦・ 榎本 剛士
    • 学会等名
      第48回社会言語科学会研究大会[ワークショップ]
    • 関連する報告書
      2023 実績報告書
  • [学会発表] tracrin2.0: 会話データの視覚表現の整形支援手法の検討2024

    • 著者名/発表者名
      牧野 遼作・ 菊地 浩平・ 堀内 隆仁
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会(SLUD)第100回研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 文部科学省助成事業『身体記号学』(国立情報学研究所坊農研究室・東京大学中山研究室)2024

    • 著者名/発表者名
      坊農 真弓
    • 学会等名
      第22回手話言語研究セミナー
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] 手話コーパスによる「見る」を含意する日本手話の類義語の研究2024

    • 著者名/発表者名
      平 英司・ 坊農 真弓・ 岡田 智裕
    • 学会等名
      第49回日本手話学会大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] マルチモーダル記号論、および、その実装可能性について2024

    • 著者名/発表者名
      榎本 剛士・ 中川佳保
    • 学会等名
      第8回 大阪大学豊中地区 研究交流会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Referring Image Segmentation via Joint Mask Contextual Embedding Learning and Progressive Alignment Network .2024

    • 著者名/発表者名
      Ziling Huang, Shin'ichi Satoh
    • 学会等名
      The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)[Main Conference]
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 日本手話と台湾手話における語彙の歴史的変遷および台湾手話の現状.2023

    • 著者名/発表者名
      相良 啓子
    • 学会等名
      開発途上国における社会発展と国家と手話の関係をめぐる課題研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 言語人類学からのマルチモーダル記号論2023

    • 著者名/発表者名
      榎本 剛士
    • 学会等名
      コミュニケーションの自然誌研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Beyond Domain Gap: Exploiting Subjectivity in Sketch-Based Person Retrieval2023

    • 著者名/発表者名
      Lin Kejun, Zhixiang Wang, Zheng Wang, Yinqiang Zheng, Shin'ichi Satoh
    • 学会等名
      ACM Multimedia
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Diachronic change and Variation within and between sign languages in Japan, Taiwan and South Korea: The impact of language contact2023

    • 著者名/発表者名
      Keiko Sagara
    • 学会等名
      National Chung Cheng University, Taiwan
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] From Scarcity to Understanding: Transfer Learning for the Extremely Low Resource Irish Sign Language2023

    • 著者名/発表者名
      Ruth Holmes, Ellen Rushe, Mathieu De Coster, Maxim Bonnaerens, Shin'ichi Satoh, Akihiro Sugimoto, and Anthony Ventresque
    • 学会等名
      The 11th Workshop on Assistive Computer Vision and Robotics,in conjunction with ICCV2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Multimodal analysis of joint attention in remote co-creative design process2023

    • 著者名/発表者名
      Rui Sakaida, Nam-Gyu Kang
    • 学会等名
      25th International Conference on Human-Computer Interaction.
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Poetics of Cheering: Multimodal Achievement of Phaticity in a Japanese Junior-High School Pep Rally2023

    • 著者名/発表者名
      Takeshi Enomoto
    • 学会等名
      The 18th International Pragmatics Conference.
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Toward the Development of Sign Language Studies in Asia2023

    • 著者名/発表者名
      Keiko Sagara
    • 学会等名
      XIX World Congress of the World Federation of the Deaf
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] WalkingDynamicsH36M: a Benchmarking Dataset for Long-term Motion and Trajectory Forecasting2023

    • 著者名/発表者名
      Cecilia Curreli, Andreu Girbau, Shin'ichi Satoh
    • 学会等名
      The 5th IEEE/CVF CVPR Precognition Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Online Cross-Signing Project Between the United Kingdom and Japan: First Phase of Data Collection2023

    • 著者名/発表者名
      Mayumi Bono, Robert Adam
    • 学会等名
      Online Proceedings of JSAI-isAI2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Finger Braille as a Personal Medium: Exploring Communication Methods for Deafblind People Based on Computer-Mediated Communication Studies2023

    • 著者名/発表者名
      Kanato Ochiai, Mayumi Bono
    • 学会等名
      Online Proceedings of JSAI-isAI2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] オンラインクロスサイン:共有表現・共有言語がないろう者同士はいかにしてコミュニケーションするのか―2023

    • 著者名/発表者名
      坊農 真弓
    • 学会等名
      第47回社会言語科学会研究大会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] ウィズコロナ・アフターコロナ時代のビデオ電話におけるクロスサイン現象の探究[特別講演]2023

    • 著者名/発表者名
      ロバート・アダム, 坊農 真弓
    • 学会等名
      第21回手話言語研究セミナー
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] Integrating Historical Sign Language Database Design and Historical Linguistics for Tracing Etymological and Morphological Changes.2023

    • 著者名/発表者名
      Ted Supalla, Yutaka Osugi
    • 学会等名
      Linguistic Society of America 97th Annual Meeting
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 指さしと相互行為:会話における指さしの多様な働きと指示の達成 [基調講演]2022

    • 著者名/発表者名
      安井 永子
    • 学会等名
      48回日本手話学会大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Boosting Image Retrieval by Diffusion2022

    • 著者名/発表者名
      Shin'ichi Satoh
    • 学会等名
      SoICT2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Variation within and between sign languages in Japan, Taiwan and South Korea: The impact of language contact.2022

    • 著者名/発表者名
      Keiko Sagara, Nick Palfreyman
    • 学会等名
      15th Biennial Desert Linguistics Society (HDLS15)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] “Does it feel spacious?”: Negotiations between the visual and non-visual world.2022

    • 著者名/発表者名
      Yasusuke Minami, Nisisawa HiroYuki, Mitsuhiro Okada, Rui Sakaida
    • 学会等名
      7th Copenhagen Multimodality Day
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Incorporating External Knowledge for Vision and Language Systems.2022

    • 著者名/発表者名
      Hideki Nakayama
    • 学会等名
      2nd Workshop on Trends and Advances in Machine Learning and Automated Reasoning for Intelligent Robots and Systems (IROS2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Diachronic change in Japanese Sign Language, Taiwan Sign Language and South Korean Sign Language: Focus on kinship terms.2022

    • 著者名/発表者名
      相良 啓子
    • 学会等名
      The 14th Theoretical Issues in Sign Language Research conference (TISLR14).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] あなたは対話を楽しんでいますか?:対話における内面状態推定の課題と展望2022

    • 著者名/発表者名
      岡田 将吾
    • 学会等名
      人工知能学会 言語・音声理解と対話処理研究会(SLUD)第95回研究会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 手話通訳場面におけるアクセシビリティ実践の研究2022

    • 著者名/発表者名
      菊地 浩平
    • 学会等名
      日本認知科学会第39回大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 機械学習によるメディア画像処理:大規模学習データセットに基づく機械学習手法の威力とその限界2022

    • 著者名/発表者名
      佐藤 真一
    • 学会等名
      第41回日本医用画像工学会大会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [図書] 日本手話の歴史的研究-系統関係にある台湾手話、韓国手話の数詞、親族表現との比較から-2023

    • 著者名/発表者名
      相良 啓子
    • 総ページ数
      368
    • 出版者
      ひつじ書房
    • ISBN
      4823412214
    • 関連する報告書
      2023 実績報告書
  • [図書] Chapter 13. Utterance unit annotation for the Japanese Sign Language Dialogue Corpus: Towards a method for detecting interactional boundaries in spontaneous sign language dialogue, Wehrmeyer, Ella. (Ed.),Advances in Sign Language Corpora [SCL 108]2023

    • 著者名/発表者名
      Mayumi Bono, Tomohiro Okada, Kouhei Kikuchi,Rui Sakaida, Victor Skobov, Yusuke Miyao and Yutaka Osugi.
    • 総ページ数
      389
    • 出版者
      John Benjamins Publishing Company
    • ISBN
      9789027213457
    • 関連する報告書
      2023 実績報告書
  • [図書] 23章 共在相互行為において自らを空間づけること・自らの向きを定めること エスノメソドロジー・会話分析ハンドブック (pp. 292-3092023

    • 著者名/発表者名
      アダム・ケンドン 著/坊農 真弓・牧野 遼作(訳)チブルカみお(翻訳協力)
    • 総ページ数
      492
    • 出版者
      新曜社
    • ISBN
      9784788517943
    • 関連する報告書
      2023 実績報告書
  • [図書] 適応することば [日本手話] 菊澤律子・吉岡乾(編)しゃべるヒト:ことばの不思議を科学する (pp. 248-255)2023

    • 著者名/発表者名
      相良 啓子
    • 総ページ数
      326
    • 出版者
      文理閣
    • ISBN
      4892599247
    • 関連する報告書
      2023 実績報告書
  • [図書] 色々の名称とことば [日本手話言語] 菊澤律子・吉岡乾(編)しゃべるヒト:ことばの不思議を科学する (pp. 233-238)2023

    • 著者名/発表者名
      大杉 豊・坊農 真弓
    • 総ページ数
      326
    • 出版者
      文理閣
    • ISBN
      4892599247
    • 関連する報告書
      2023 実績報告書
  • [図書] 色々に数えることば [日本手話] 菊澤律子・吉岡乾(編)しゃべるヒト:ことばの不思議を科学する2023

    • 著者名/発表者名
      相良 啓子
    • 総ページ数
      326
    • 出版者
      文理閣
    • ISBN
      4892599247
    • 関連する報告書
      2023 実績報告書
  • [図書] 会話の連鎖組織 菊澤律子・吉岡乾(編)しゃべるヒト:ことばの不思議を科学する (pp. 84-95)2023

    • 著者名/発表者名
      坊農 真弓
    • 総ページ数
      326
    • 出版者
      文理閣
    • ISBN
      4892599247
    • 関連する報告書
      2023 実績報告書
  • [図書] 障害理解のリフレクション2023

    • 著者名/発表者名
      佐藤 貴宣、栗田 季佳 (担当:分担執筆, 範囲:第6章 「同じ世界を知る」ことはいかにして可能か: 視覚障害者の歩行訓練から)
    • 総ページ数
      384
    • 出版者
      ちとせプレス
    • ISBN
      4908736308
    • 関連する報告書
      2022 実績報告書
  • [図書] 手話言語学のトピック:基礎から最前線へ2023

    • 著者名/発表者名
      岡田 智裕
    • 総ページ数
      292
    • 出版者
      くろしお出版
    • ISBN
      4874249280
    • 関連する報告書
      2022 実績報告書
  • [図書] ポエティクスの新展開 : プルリモーダルな実践の詩的解釈に向けて2022

    • 著者名/発表者名
      片岡, 邦好・武黒 麻紀子・榎本 剛士
    • 総ページ数
      312
    • 出版者
      ひつじ書房
    • ISBN
      4823411447
    • 関連する報告書
      2022 実績報告書
  • [図書] 認知科学講座3 心と社会 第4章 日常生活場面の相互行為分析2022

    • 著者名/発表者名
      高梨 克也・坂井田 瑠衣
    • 総ページ数
      272
    • 出版者
      東京大学出版会
    • ISBN
      4130152033
    • 関連する報告書
      2022 実績報告書
  • [図書] 深層学習からマルチモーダル情報処理へ2022

    • 著者名/発表者名
      中山 英樹・二反田 篤史・田村 晃裕,・井上 中順・牛久 祥孝
    • 総ページ数
      235
    • 出版者
      サイエンス社
    • ISBN
      478191554X
    • 関連する報告書
      2022 実績報告書
  • [備考] 言語相互行為における身振りと手話を対象とした身体記号学

    • URL

      https://research.nii.ac.jp/EmSemi/index.html

    • 関連する報告書
      2023 実績報告書 2022 実績報告書
  • [学会・シンポジウム開催] 身体記号学第一回国際ワークショップ(EmSemi2023)2023

    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2022-05-25   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi