人工知能技術と開放型MR装置を用いた低コストなものづくり技能学習システムの開発

Research Project

Project/Area Number	20K02810
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 09040:Education on school subjects and primary/secondary education-related
Research Institution	Hiroshima Institute of Technology
Principal Investigator	寺西大広島工業大学, 情報学部, 准教授 (50237004)
Co-Investigator(Kenkyū-buntansha)	松本慎平広島工業大学, 情報学部, 教授 (30455183) 竹野英敏広島工業大学, 情報学部, 教授 (80344828)
Project Period (FY)	2020-04-01 – 2023-03-31
Project Status	Granted (Fiscal Year 2021)
Budget Amount *help	¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000) Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywords	暗黙知 / 開放式MR / 球面SOM / 解説エージェント / 低コスト実装 / 技能計測 / 技術教育 / 人工知能 / エージェント / MR / VR
Outline of Research at the Start	課題(1)ものづくり技能の集積と伝承が必要とされる切削・研磨、組立加工、板金加工、計測・測定の技能を対象に、非接触型モーションセンサなどを用いて「暗黙知」を伝達できる開放式MR型の学習支援システムを開発する。課題(2)先行研究で開発した、特定技能に特化した暗黙知の抽出・可視化・分類を行う人工知能技術を改良し、他の技能へ適用する。課題(3)プログラミング教育に利用される解説エージェント機能のものづくり学習に適した解説コンテンツ、ならびに開放式MRに適した提示手法の開発を行う。課題(4)開発したシステム現場ですでに導入されているPCなどの教育現状の既存設備を最大限利用した低コスト実装に取り組む。
Outline of Annual Research Achievements	本年度の取り組みについて，本研究の4つの課題に分けて述べる．課題(1)の「初学者用開放式MR型ものづくり技能学習システムの開発と検証」について，ものづくり技能の集積と伝承の必要性の高い，切削・研磨組立加工，板金加工，計測・測定の４分野のうち，昨年度のやすりがけに続いて重要な，はけ塗り技能を対象に開放式MR型の学習支援システムについて，塗布面に接触するはけの形状を直接画像で捉え，それを用いて塗布状態を仮想化して，実際の面に重畳表示する方式について，試作検討した．課題(2)「暗黙知・形式知の抽出・可視化・分類のための人工知能技術の開発と検証」について，先行研究のやすりがけ(切削・研磨)技能に特化した暗黙知の抽出・可視化・分類を行う球面自己組織化特徴マップ(SOM)の改良を行った．具体的には，処理に最も時間を要する自己組織化計算を高速化するためのGPGPUでの計算実装に取り組んだ．昨年度の取り組みの球面SOMで得られた分類結果からファジィクラスタリングにより，学習者の習得度の数値化を試みた．また，鉄工やすりによる平面仕上げにおいての非熟練者の脳活動の計測を通した知見を得た．課題(3)「ものづくり技能学習，開放式MRに適した解説エージェントの開発と検証」の解説エージェントを用いた教材提示において，動画と同等以上の学習効果が得られ，軽量データで実装できるPowerPointスライドでの教材提示方式の開発を進めた．課題(4)「ものづくり技能学習システムの低コスト実装」では，PCなどの教育現状の既存設備を最大限利用した低コスト実装として，上記課題(1)のはけ塗り状態の重畳表示の提示方法について，小型プロジェクタまたは底面設置LCDによる簡易型提示の試作に取り組んでいる．また比較対象としての従来型のMR装置の基礎検討から，MR表示についての基礎知見を得た．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 新型コロナウィルス感染防止のため，被験者を募った実証実験が，難しくなっているため．学科・大学の諸事情により教育業務負担量が想定を上回り，研究時間が圧縮を受けたため
Strategy for Future Research Activity	課題(1)「初学者用開放式MR型ものづくり技能学習システムの開発と検証」について，開放式MR型の学習支援システムを試作し，有効性を検証する．やすりがけ技能については，非接触型モーションセンサとディスプレイを用いた「暗黙知」を提示し，はけ塗り技能については，仮想塗布を実体面に重畳表示する方式とする．課題(2)「暗黙知・形式知の抽出・可視化・分類のための人工知能技術の開発と検証」について，人工知能技術として，球面SOMおよびファジィクラスタリングを適用して，やすりがけ(切削・研磨)およびはけ塗り技能に特化した暗黙知の抽出・可視化・分類を行う．課題(3)「ものづくり技能学習、開放式MRに適した解説エージェントの開発と検証」について，ものづくり学習に適した解説コンテンツを軽量データで実装できるPowerPointスライドでの教材提示方式，ならびに開放式MRに適した提示手法の開発を進める．課題(4)「ものづくり技能学習システムの低コスト実装」について，上記(1～3)で開発したシステムをPCなど，教育現場の既存設備を最大限利用した低コスト実装に取り組む．具体的には，学習支援システムの計測・表示部については安価な非接触計測デバイスや，小型プロジェクタでの重畳表示による低コスト化，人工知能技術の表示部についてはExcelなどのOfficeソフトウェアで標準的に利用できるVBA言語やJavaScriptによる実装を進める．開発したシステムについて被験者による有効性を検証する必要があるが，コロナウィルスの感染状況によっては実施が困難となる．