| 研究課題/領域番号 |
19K03178
|
|---|
| 研究機関 | 岐阜聖徳学園大学 |
|---|
研究代表者 |
伊藤 敏 岐阜聖徳学園大学, 経済情報学部, 教授 (80130946)
|
|---|
| 研究分担者 |
鷲野 嘉映 岐阜聖徳学園大学, 看護学部, 研究員 (90220855)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 科学教育 / 顔検出 / 顔の特徴点 / Webページで運用 |
|---|
| 研究実績の概要 |
学習者が自分自身の行動を数値データとして取得して、数値処理が可能になる教材作成を目的とした。2019年度で機械学習ライブラリイを用いて「顔の特徴点座標」を取得し、頭頂部につけた慣性センサと同時計測をすることで、「顔の動き」を正しくとらえていることを確かめた。開発環境はPythonを用いた。
2020年度は、2019年度に開発発表をしたシステムを用いて教材として利用可能な形で仮の運用を目指したが、COVID-19蔓延のため、対面を伴う実践的研究が困難になった。そこで、Windows環境で、USBメモリーを用いたPython環境を作成し、その環境でPythonのライブラリイdlibを用いた環境を作成し、Net経由で環境構築を含めて運用が可能なことを確かめた。ただし、この方法の場合、学習者は個別で「顔検出・特徴点座標取得」の環境を構築する必要があり、コンピュータ操作（USBメモリーにPython環境構築、Pythonの理解）に一定程度の力量が要求されるため、汎用的な運用には困難を伴うと予想された。
そのため、「顔の特徴点座標取得」に技術的力量を要求しないシステムとすることを目指し、開発環境をjavascriptに変更した。Webページにアクセスをして、パソコンに接続されたUSBカメラからWebページ上の「シャッタボタン」を押すことで、学習者が指定した時点での静止画像表示し、表示された画像から「顔検出特徴点座標」を得て、テキストボックスへ座標値を出力することをすべてjavascriptで開発した。これにより、指定されたWebページへカメラ付きパソコンでアクセスをすることで、学習者が指定した画像の「顔の特徴点座標」を数値として取得できるようにした。このシステムを運用することで、COVID-19の蔓延状況下でもWeb経由での教材作成が可能であると考えられる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当初は2019年度にPythonで開発をした「顔の特徴点座標取得」の技術を対面授業で運用し、学習効果を検証する予定であった。ここまでで得られた成果は2020年9月ミャンマーで開催の国際会議で採択され発表の予定であったが、学会が2021年2月20日に延期され、さらにミャンマーの政情変化により出張ができず、現時点で未発表である。
Python環境での運用は対面の場合、技術的サポートが可能であり、運用に大きな障害になることはない。予定したUSBメモリースティック学習環境構築も確立をした。しかしCOVID-19の蔓延のため、対面実践が実施できなくなり、開発環境をjavascriptに変更した。この開発環境変更により、指定されたWebページへカメラ付きパソコンでアクセスをすることで、Webページ上に表示されたUSBカメラ画像から「シャッタボタン」を押すことで、学習者が指定した時点での静止画像表示し、表示された画像から「顔検出特徴点座標」を得て、テキストボックスへ座標値を出力することが可能になった。数名の学習者に依頼をして、作成したシステムを利用して「顔の特徴点座標」を表計算ソフトで処理することを試み、散布図による顔の表示までは困難なく運用できることを確かめた。すなわち、特定の技術的スキルを要求することなく「顔の特徴点座標」を取得して処理可能である環境を構築した。
一方で、構築したシステムの有用性や学習者による検証が未実施である。また、学会などへ報告をし、様々な立場からの研究者のご検討をいただく機会を作ることができていない。多様なご意見を通じた検討がなされていないため、「やや遅れている」と評価した。COVID-19の蔓延に伴い実施が困難な事案であり、今後の工夫が必要と思われる。
|
| 今後の研究の推進方策 |
USBカメラから得られる画像から「顔の特徴点座標値」を提供するWebページを作成した。この環境を用いて、この得られた数値から、鼻の頂点、両目尻で構成される3点の三角形の向きや面積の算出や、顔全体の上下左右flip、回転などの操作とその操作の行列による扱いなどの教材を作成する。
顔の「うなずき」や「顔の向き」の動的検出は、解析対象の特徴点を限定することで運用可能な教材を目指す。
これらの開発した環境を用いて、Webを利用したリモート教材の作成をし、ドキュメントの提供をする。
また、構築したシステムに関し学会などで報告をして、研究者のご検討をいただく機会を作る。
|
| 次年度使用額が生じた理由 |
Pythonで構築した「顔の特徴点座標」数値出力システムの発表を予定していた国際会議が中止となり、予定していた旅費を使用しなかった。および国内での学会発表も、できず旅費を使用しなかった。これにより次年度使用額(B-A)がゼロより大きくなった。
一方で、当初の目的である「顔の特徴点座標」の数値出力システム構築はPythonおよびWeb上(javascript利用）で実現できている。しかし、COVID-19の状況から、構築したシステムの検証のために、規模の大きな実践活動はむつかしいと思われる。そのため、現状の開発では利用者が最も多いと想定されるWindows10で検証を行っているが、より汎用性を持たせるため、他のコンピュータOSで検証が必要と思われる。Macなどの購入に本補助金を使用する。
|
