| Project Area | Embodied Semiotics: Understanding Gesture and Sign Language in Language Interaction |
|---|
| Project/Area Number |
22H05012
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (B)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (I)
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
Bono Mayumi 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高梨 克也 滋賀県立大学, 人間文化学部, 教授 (30423049)
中山 英樹 東京大学, 大学院情報理工学系研究科, 教授 (00643305)
菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
|
|---|
| Project Period (FY) |
2022-05-20 – 2025-03-31
|
| Project Status |
Completed (Fiscal Year 2024)
|
| Budget Amount *help |
¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2024: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
|
|---|
| Keywords | 手話コーパス / 身振りコーパス / 深層学習 / 言語学 / 相互行為研究 / 自然言語処理 / 画像処理 / マルチモーダル言語処理 / 形式意味論 / 身体記号学 / 国際手話 / マルチモーダル記号論 / モダリティ横断 / マルチモーダル対話翻訳 / AI / 人工知能 / 身振り / 手話 / マルチモーダル処理 |
|---|
| Outline of Research at the Start |
本領域研究は，会話における身振りや手話といった，記号としての特徴が未だ明確ではない事象を研究対象に，言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする．領域全体として，音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指す．成果として，マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し，マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする．
|
| Outline of Final Research Achievements |
The Administrative Group has been responsible for providing a forum for information sharing and discussion in this field of research. Specifically, we planned to hold monthly online meetings from the first to the final year of the project to share issues of concern to both the humanities and science and engineering fields, deepen mutual understanding of research methods and trends in different fields, and steadily accelerate progress in this field of research. As a result, the following activities were carried out: 22 times general meetings, 27 times 'Embodied Semiotics Radio' introducing members within the field, 11 times 'Embodied Semiotics Seminars' sharing the latest developments in each research group, seven paper-reading clubs, nine study sessions, two public events organised by the Embodied Semiotics, Transformative Research Area (B), one international symposium of the Japanese Society for Artificial Intelligence, and two retreats in Karuizawa.
|
| Academic Significance and Societal Importance of the Research Achievements |
本領域研究は，人文系の言語学者と言語哲学者のみならず，理工系の人工知能研究者との共同研究によって進められる．人工知能分野では，記号システム内のシンボルがどのようにして実世界の意味と結び付けられるか，またそれをAIがどのように認識するかという，「シンボルグラウンディング問題」に注目が集まっており，パースなどの言語哲学者が議論してきた記号と対象の関係の問題に回帰していく傾向が見られる．本総括班の学術的意義と社会的意義は，人文系と理工系の境界がない研究環境を参加する研究者に提供し，有機的に結びつく場を創造する点にある．本総括班の活動はこれまでに例をみない共同研究が生まれる研究成果に結びついている．
|
