2022 Fiscal Year Annual Research Report
Development of residual teeth recognition models with federated learning
| Project/Area Number |
22J01135
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
清野 雄多 岐阜大学, 工学部, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2022-04-22 – 2025-03-31
|
| Keywords | 医療AI / 身元確認 / 機械学習 / セマンティックセグメンテーション / 物体検知 |
|---|
| Outline of Annual Research Achievements |
【研究の目的】
東日本大震災のような大きな災害では、多くの遺体が発生する。しかし腐敗や損壊などの理由で、遺体の身元が特定できない場合がある。そのような場合、遺体の歯科所見を利用して身元を特定する。歯科所見とは、歯が何本あるのか、どの歯が残っているのか、どのような治療がされているかなどの情報である。そして遺体から得た歯科所見を近隣の歯科医院のカルテと照合することで身元を特定する。しかし歯科所見の採得、記録、照合の作業は歯科医師による手作業であり、多大な時間と労力を必要とし、正確性の面でも課題がある。そこで本研究では、口腔内写真（口の中の写真）を撮影し、その写真から自動的に歯科所見を検知する人工知能（artificial intelligence; AI）の開発を目的とした。
【研究実績の概要】
一般的に人工知能の開発には数多くのデータが必要である。本研究では、大きく2つのデータを用いる。1つはコンピュータグラフィクス（computer graphics, CG）で再現した口腔内写真と、実際の人間から得た口腔内写真である。これらをCGデータとリアルデータと呼ぶが、リアルデータは実際の臨床上得られたものであるため、ピントが合っていない写真、明るすぎる・暗すぎる写真、撮り直しによるほぼ同一の写真など、AIのデータセットに不適切な写真が多く見られた。本年度はこれらの写真から研究に必要な写真の選定に多くの時間を費やした。
データの選定と並行してアノテーションも行った。アノテーションとは、例えば写真に映る歯や治療痕を塗りつぶすことで、AIに認識してほしい対象を正解データとして用意する作業である。
アノテーションが100-200枚済んだ段階で、実験的にAI開発を行ったが精度は低かった。これはデータ数が不十分であることが原因と考えられるため、次年度以降もアノテーションを継続していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では、大きく2つのデータを用いる。1つはコンピュータグラフィクス（computer graphics, CG）で再現した口腔内写真と、実際の人間から得た口腔内写真である。これらをCGデータとリアルデータと呼ぶが、リアルデータは実際の臨床上得られたものであるため、ピントが合っていない写真、明るすぎる・暗すぎる写真、撮り直しによるほぼ同一の写真など、AIのデータセットに不適切な写真が多く見られた。
そこで画像の整理のためのAI開発が必要となった。具体的には、ピントが合っているかどうか、明暗、患者の顔貌が写っていないか、口腔内写真以外の写真でないかなどを判定するAIである。PythonライブラリであるOpenCVや既存の機械学習モデルを利用することである程度写真の自動選定が可能になったが、不十分なところも多く、大部分は研究者が目視で写真の選定を行うこととなった。
しかしながら、データは今後も増加していくため、その都度目視で選定を行うことは非効率的である。増え続けるデータのために、データを整理するためのAI開発が必要である。本年度はそれらのAIの開発と写真の選定を並行して行ったために研究の進捗がやや遅れる結果となった。
|
| Strategy for Future Research Activity |
データの整理を自動的に行うAIの開発が必要である。まずは口腔内写真ではない写真（例えば、義歯のみの写真など）を自動的に除外するシステムの開発を行う。現在は、歯科医師である研究者が目視でデータの整理を行っているが、これにより「必要な写真」と「不要な写真」に分けられる。この結果からAIを作成することでデータ整理のためのAI開発を行うことができる。
同じようにアノテーションのためのAI開発を行う予定である。現在、Photoshopなどのグラフィックアプリケーションとペンタブレットを利用し、手作業による教師データの作成を行っている。今後はまず歯の領域を認識するAIの開発を行う予定である。それに対して、どのような治療がされているか、材料は何かなどの情報を研究者が追加していく。
また現在、実験的に開発している機械学習モデルはTransformerを利用したものである。Transformerは比較的大きなモデルであり、その学習には数多くのデータが必要であることが報告されている。そのためTransformer以外の小さなモデルも検討し、より少ないデータでの開発も検討する必要がある。
|
