2023 Fiscal Year Research-status Report
Development of a communication support interface to promote spontaneous and active communication in children with severe multiple disabilities.
| Project/Area Number |
23K11979
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 障害者支支援 / 重度重複 / インタフェース / 機械学習 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
重度重複障害を持った人は、発話、表情や身振り等の対人関係のコミュニケーションが困難な場合が多く、自分の意見を伝える事が困難なため、小さい時から周囲の意見に同調させられる事が多かった。このため、多くの人は自分の持つコミュニケーションの可能性を諦めてしまい、成人になっても受動的態度となる事が多かった。しかし、何らかの方法で「自分の意思を他人に伝えられる＝コミュニケーション」が取れる事に気づけば、自分が本来持っている自発的意思（能動的態度）に気づく可能性がある。その気づきを与えるデバイスとして、機械学習による音声認識を用いた家電製品をコントロールする、重度重複障害を持った人用のコミュニケーション支援用インタフェースの試作を行った。
本年度試作したシステムは、単語の発声を従来のスイッチ操作に相当するトリガーとし、スマートライトの色、オンオフを制御するスマートホームモデルとした。このスマートホームのような家電製品を制御対象とした理由は、操作と制御結果がいつも一対一で不変な為である。これは会話を用いたコミュニケーションと比較して、機器の制御は入力と結果がライトの色が変わる等、一対一の結果として可視化されて表現されるので、障害を持った人にも操作に対する結果が分かりやすく、自発的コミュニケーションを体感できる可能性が高いと考えたからである。ここで問題になったのが、重度重複障害を持った人は、健常者では問題無く行える簡単な発話でも障害が原因となり事実上困難な場合が多く、通常の健常者向け音声認識システムでは使用が困難であった。そこで、本研究では、自然言語処理を用いて単語だけで制御できるユーザインタフェースの開発を行い、この問題を解決した。しかし、このシステムを用いて自己のコミュニケーション能力に気づく事が可能かどうかはまだ検証できていないため、今後はこの検証を行う必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
重度重複障害を持った人とのコミュニケーションは、長年の経験を積んだ支援者においてもその意図が不明な場合が多く、経験の浅い支援者ではコミュニケーション確立が困難であった。そこで、従来の人間対人間のコミュニケーションを基礎とし、WEBカメラを用いて撮影された腕や指の動作を記録したモーションヒストリー動画にディープラーニング・アルゴリズムを用いて意図性抽出を試みた。ここでは重度重複障害を持った人の手指の動作が、自身の意思によるものか、あるいは不随意運動に伴う意思性を持たないものかという判別を客観的に評価するため、WEBカメラで撮影した動画にオプティカルフロー・アルゴリズムを用いてコミュニケーション中の手指の運動特性（モーションヒストリー）を測定するシステムを開発していた。
しかしにオプティカルフローを用いたシステムでは、WEBカメラと測定対象となる手・指の空間的位置が固定されている必要があり、寝返り等で体や腕が移動すると両者の空間位置にずれが発生して測定ポイントがずれてしまい、正確な位置検出ができず、学習モデルの基礎となるデータが測定できないという問題が発生していた。
そこでこの問題を解決するため、WEBカメラで撮影した動画からリアルタイムで手指のパターンを検出するディープラーニングを用いた画像認識システムを試作した。このシステムではWEBカメラと測定対象となる手・指の空間位置に対して比較的高い自由度を得る事が出来たが、手を握った状態と手を開いた状態のようにある程度パターンに差が無いと正確な検出が出来なかった。しかし重度重複障を持った人にとって、手を握った状態と手を開いた状態をコントロールする事は困難であり、このインタフェースでも問題があった。そこで新しく筋電センサを導入し、指先の数ミリ程度の微小な動作でも検出出来るユーザインタフェースの開発を目指す事にした。
|
| Strategy for Future Research Activity |
上記で述べたように「オプティカルフローによる空間位置測定」や「ディープラーニングを用いた画像認識」では、重度重複障害を持った人の手指の正確な動作測定が困難である事が分かった。これらの問題点を解決するには、測定対象となる部位（指）と測定センサにおいて空間の絶対位置に制限が無い事、指先の数ミリ程度の微小な動作でも検出出来る精度がある事が必要になる。そこでこれらの問題点を解決するために、筋電センサの導入を試みる。筋電センサは筋肉が収縮する際に発生する微弱な電気信号を測定するものである。この信号の振れ幅情報からは筋活動量つまり相対的な力の強さが、また周波数成分からは使用される筋の疲労度などが推定出来る。現時点では、健常者限定ではあるが、筋電を操作情報として扱い電動義手やパワーアシストスーツの制御も行われている。このため、筋電図の振幅から、重度重複障害を持った人においても手指の動作を行ったかどうかの判断が可能になると考えれらる。
実際の測定に際しては重度重複障害を持った人のQOLを低下させないように、無線タイプの筋電センサの導入を予定している。更に筋電センサで測定された値がタブレットなどでモニタリングできれば、重度重複障害を持った人が筋電図を視覚的、更にデータを加工する事で聴覚的にも理解し、指先の動作（筋活動）をコントロールする筋電図バイオフィードバックも可能になる。このフィードバックが重度重複障害を持った人に操作に対する情報を与えるので、従来のスイッチのようなユーザインタフェースでは実現出来なかった自分が本来持っている自発的意思（能動的態度）に気づく可能性を与えるデバイスとなると考えれる。
今後、筋電センサの導入にあたっては、筋電センサの選定だけでなく、1）手指の操作に伴う「表面筋電図を計測する筋」の決定、2）筋線維の走行を確認し、電極設置部位を決める等を並行して行う必要がある。
|
| Causes of Carryover |
今回、当初予定していた旅費が以下の理由で執行できず、使用額に変更が生じてしまった。当初の予定では、本学とタイのチェンマイ大学、台湾の国立嘉義大学で共同開催される「第2回香川大学・チェンマイ大学・国立嘉義大学合同シンポジウム」において本件の発表を予定しており、この旅費等を計上していた。しかし、上記の「今後の研究の推進方策」で述べたように、当初の研究内容では想定していた結果を得る事が出来ず、国際シンポジウムにおいて発表するには不十分な結果しか得られなかった。そのため、本件の内容で発表が行えず、当該年度は参加を見送りとした。
今後の使用計画に当たっては、2024年にタイのチェンマイ大学で開催される「第３回香川大学・チェンマイ大学・国立嘉義大学合同シンポジウム」に本研究で参加を申し込みが完了している。もし参加が認められれば、本テーマで発表予定である。さらに、学会に関しては、本年度の日本産業技術教育学会全国大会に本研究のテーマで参加申し込みを完了している。これ以外にも2024年12月に東京で開催される「5th International Disability Inclusion Symposium」にも参加を予定している。このように、当初予定より学会参加を充実させる形で計画を見直す事で使用額の変更に対応させている。
|
Research Products
(5 results)
