2022 Fiscal Year Research-status Report
The potential for innovation in achieving sustainability through Official Development Assistance (ODA)
| Project/Area Number |
21K01672
|
|---|
| Research Institution | Hitotsubashi University |
|---|
Principal Investigator |
七丈 直弘 一橋大学, ソーシャル・データサイエンス教育研究推進センター, 教授 (30323489)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ODA / CRS / 内容分析 / キーワード分析 / GPT-3 / Transformer / BERT |
|---|
| Outline of Annual Research Achievements |
貧困、格差、気候変動などのグローバルな課題に対処するため、公式開発援助（ODA）プロジェクトの効果的な実施と評価がますます重要になっている。各国のODAの実施状況を分析することは、これらのプロジェクトの影響を理解し、その効果を高めるために不可欠である。そこで本研究では、経済協力開発機構（OECD）が編纂した債権者報告システム（CRS）のマイクロデータに基づくODAプロジェクトの内容分析と分類に焦点を当てている。
これまでの研究では、主にキーワードベースの方法とTransformerベース（BERT）の方法を用いたプロジェクト分類を実施した。今年は、OpenAIのGPT-3モデルを用いたコンテンツ分析と分類の新しいアプローチを導入し、利用可能性を検討した。キーワードベース、BERTベース（この２つは従来手法）、およびGPT-3ベースの3つの方法の分類精度を比較するとともに、ODAプロジェクトの個別のコンテンツ分析における潜在的な可能性を評価した。
研究の結果、3つの方法すべてが分類精度の面で同程度の性能を示した。ただし、GPT-3ベースのアプローチは、コンテンツ分析の特定の側面で明確な利点があった。具体的には、GPT-3はプロジェクト説明内のよりニュアンスのある情報を捉えることができ、個々のODAプロジェクトの目標、活動、および期待される成果に関するより深い洞察を提供する公算がある。
さらに、GPT-3ベースのアプローチは、プロジェクト説明の長さや複雑さのバリエーションに対する適応力が高いことが示された。この柔軟性は、さまざまなODAプロジェクトや、異なる援助国から提供されるプロジェクト説明の質の差異に対処する上で特に有利となる。
結論として、キーワードベースおよびBERTベースの方法は、引き続きODAプロジェクトのコンテンツ分析および分類に有用なツールであるが、GPT-3ベースのアプローチの導入により、より深い分析が可能となる可能性が示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本プロジェクトは、ODAプロジェクトの内容分析・分類においてキーワードベース、BERTベース、GPT-3ベースの3つの方法の分類精度を比較しており、適切な研究デザインを確立してOECDのCRSデータから代表的なサンプルを選定している。各方法を用いてプロジェクトの分類を行い、人間がコーディングしたゴールドスタンダードと比較することで、3つの方法が比較可能な性能を示すことが分かり、特にGPT-3がより深い洞察を提供する能力があることを明らかにした。さらに、GPT-3はプロジェクト説明の長さや複雑さに対応する柔軟性が高く、ODAプロジェクトの多様性や異なる援助国から提供されるプロジェクト説明の質の差異に対処する上で有利であることが示された。これらの結果から、本プロジェクトは「おおむね順調に進んでいる」と評価され、今後の研究ではこれらの方法を統合し、開発研究の他の領域への適用可能性を調査することができる。
|
| Strategy for Future Research Activity |
本研究の今後の実施方針として、まずGPT-4を導入し、既存のGPT-3ベースのモデルと比較して分類性能の向上を評価し、最新の技術を活用してODAプロジェクトの分類精度を向上させる。次に、セクター別および地域別分析を行い、各セクター（例：教育、保健、インフラなど）や地域（例：アフリカ、アジア、ラテンアメリカなど）の特性を反映した分類モデルを開発し、ODAプロジェクトの多様性を適切に捉えることを目指す。最後に、分類結果を可視化し、インタラクティブなデータ分析ツールを開発することで、研究者や実務家が直感的に分析できるようにする。これらの取り組みを段階的に進めることで、ODAプロジェクト分類の精度向上と効果的な情報伝達を実現し、開発援助の効果を最大化することを目指す。
|
| Causes of Carryover |
本研究では、オープンデータとオープンソースソフトウェアの利用、AIを活用した自動化による人件費削減などにより当初計画していたよりもより少ない費用で研究を遂行することができている。具体的には、OECDから提供される公開されたCRSデータを使用し、データ収集にかかるコストを削減した。また、オープンソースのAI技術を活用することで、独自の技術開発に伴う費用を抑えることができた。さらに、AIを利用した自動化により、人手によるデータ分析やコーディング作業が大幅に削減され、人件費の節約につながった。今後は、以上によって生じた資金をクラウドコンピューティング代金と教師データ作成のための人件費に割り振ることにより、成果の最大化を図る。
|
