2023 Fiscal Year Research-status Report

Development of a sketch-based plant identification tool using deep learning for image retrieval and its utilization in science learning

Research Project

Project/Area Number	22K02981
Research Institution	Joetsu University of Education
Principal Investigator	谷友和上越教育大学, 大学院学校教育研究科, 准教授 (60547040)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	AI / 機械学習 / スケッチ / 理科教材 / 植物
Outline of Annual Research Achievements	本研究は、ＡＩが花のスケッチ画を判別し、描かれている植物の種名を答える「花スケッチ判別器」を開発すること、及びこの判別器を将来的にＩＣＴ教材として中学校理科の授業で活用することを目的としている。昨年度（令和４年度）までに、春に身の回りで見られる草花13種の教師画像を蓄積し、機械学習モデルを構築した。このモデルに、紙に描いた植物のスケッチをスキャナーで電子化して読み込ませたところ、ＡＩの種名正答率は30-40％と低調であった。そこで本年度（令和５年度）は、判別対象種を一旦6種（オオイヌノフグリ、シロツメクサ、タンポポ、ハルジオン、スミレ、カタバミ）に絞り、教師画像の質の改善に焦点を当てて研究に取り組んだところ、70％程度の正答率が得られるようになった。また、本年度は、ＷＥＢブラウザから「花スケッチ判別器」を簡単に扱えるようユーザーインターフェイスの構築を試みた（ＷＥＢアプリ化）。作成したＷＥＢアプリは、名前を知りたい植物をタブレットとタッチペンを使ってスケッチし、送信ボタンを押すと、画像データがサーバＰＣに送られ、サーバ内部でＡＩが種名を判定し、判定結果をタブレットに返信する仕組みとした。昨年度、近隣のJ中学校第1学年を対象に、理科「いろいろな生物とその共通点」の学習において、植物と動物のスケッチを紙とタブレットに描く授業実践を行い、対象学級の全生徒にアンケート調査を実施した。本年度にアンケート結果を分析したところ、タブレットへの描画時に、細部の描写や点描に苦心する傾向が認められた。しかし、授業者が描画力や表現技法を評価したところ、タブレットを用いても、紙へのスケッチと遜色ない評価点が得られた。よって、上述のＷＥＢアプリを教材活用した際に、タブレットへの描画方法を事前指導することで、所定の学習効果が見込めることが予想される。今後、具体的な教材活用方法の検討を進めたい。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 開発中の「花スケッチ判別器」は、当初３年間で20種程度の花の判別能力を持たせることを目標としていた。昨年度、草花13種の教師画像を蓄積し、機械学習モデルを構築したところ、ＡＩによる種名正答率は30-40％にとどまった。そこで今年度は、判別種を6種に絞った上で、教師画像を新調・精選したり、これまでの教師画像に加筆・修正を施したりすることで、ＡＩによる種名正答率を68％に高めることができた。判別能力が低いまま種数を増やしても、判別器としての役割を果たせないため、今年度の取り組みによって正答率が増大したことは、一つの進捗であったと捉えている。教師画像に加筆・修正を行う過程で、描画の線の太さや色の濃さ、構図のバリエーションが機械学習の結果に及ぼす影響について分析できたことも収穫であった。また、当初の計画において、本年度から整備予定であったユーザーインターフェイスの構築を予定通り進めることができ、ＷＥＢブラウザから「花スケッチ判別器」が簡単に扱える仕組みを一通り完成させるに至った。これら判別器の改良とユーザーインターフェイスの整備状況に関して、日本生物教育学会で発表した。さらに、近隣の中学校において、紙とタブレット端末に生物のスケッチを描く授業実践後に実施したアンケート調査の内容を分析し、タブレット端末にスケッチを描く学習活動の有用性や課題等を明らかにした。この分析結果を上越教育大学研究紀要に報告した。
Strategy for Future Research Activity	次年度（令和６年度）が研究の最終年度となる。次年度は、「花スケッチ判別器」の種名の正答率を70％程度で維持しながら、判別対象種を増やしたいと考えている。当初目標では20種程度の判別を目指していたが、現在の進捗状況からすると、10種から15種程度に留まることが予想される。種数が当初予定を下回ることの原因は、モノクロの線画から成るスケッチ画像は、予想以上に種名判別の決め手となる特徴に乏しく、機械学習の際の特徴量が種間で差別化できなかったことにある。通常、スケッチには色を塗らないが、開発したＷＥＢアプリにおいては、スケッチの際に、花の色情報も記録できるような機能が付加できないか検討したい。スケッチの線画情報と色情報とを組み合わせることで、AIの正答率の向上が見込めると考える。この他、種名判別率を向上させるためには、生徒が描く（であろう）スケッチ画と、AIに学習させる教師画像の構図や質感がなるべく同質となるように、教師画像を調整する必要がある。この作業についても取り組む予定である。また、ＣＮＮ畳み込みニューラルネットワークと呼ばれる機械学習アルゴリズムについても改良の余地があるか検討を進める。ユーザーインターフェイス（ＷＥＢアプリ）については、前述の色情報の登録機能に加え、タブレット端末のカメラで撮影した花写真をスケッチ領域の隣に表示させる機能を実装することを目指す。加えて、開発教材を活用した中学校理科「いろいろな生物とその共通点」の単元の授業モデルを策定したい。その際、現行の学習指導要領が掲げる「資質・能力の三つの柱」を満たす設計とする。研究成果は、学会や学術誌等を通じて社会に発信していく所存である。
Causes of Carryover	当初、人件費・謝金として30,000円を見込んでおり、大学院生のアルバイトとして、新規に花画像を撮影し、画像から輪郭を抽出する作業や、教師画像作成のための加筆・修正作業等にあたってもらう予定であった。しかし、本年度はＡＩの判別可能種を増やさず、既存の教師画像を修正しながら、種名の正答率を向上させる作業に注力したため、当初予定していた謝金が不要となった。この分と前年度（令和4年度）の未使用額（24,941円）を物品費に充て、有効活用を図ったが、当初予定よりも安価に購入できた物品があったこと等により、旅費、その他経費と合わせ、29,131円の残額が生じた。残額については、次年度（令和６年度）にＰＣ周辺機器や文具等の消耗品の購入に充てる予定である。