| Project/Area Number |
24K15654
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90020:Library and information science, humanistic and social informatics-related
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
伊東 栄典 九州大学, 情報基盤研究開発センター, 准教授 (90294991)
|
|---|
| Project Period (FY) |
2024-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 機械学習 / 画像処理 / マンガ / キャラクタ / 画像分類 / パターン認識 / マンガ画像 |
|---|
| Outline of Research at the Start |
近年，海賊版マンガサイトによるマンガ公開が問題である。海賊版マンガ抑制のため，マンガ画像から，マンガのタイトル・巻数・話数・キャラクタ名・著者名の判別を，機械学習で実現する。判別精度が十分ならば，迷惑メールフィルタのような海賊版マンガフィルタを実現でき，海賊版サイトの抑止となる。キャラクタ判別機の精度が高ければ，マンガ画像を利用する動画再生における利益の一部を著作者や権利者へ還元することが可能になる。
研究活動では以下に示す３つの実現する予定である。
【1】データ集積
【2】マンガページからタイトル・巻・話・ページの判別
【3】キャラクタ画像からのキャラクタ特定
|
| Outline of Annual Research Achievements |
本研究では【1】データ集積，【2】ページ画像からのタイトル・巻・話・ページの判別，【3】キャラクタ画像からのキャラクタ特定の実現を目指す。【１】では小型PCを購入し、個人で購入したマンガからのページ画像収集と、海賊版サイトからのページ収集を行った。また近年増加しつつあるマンガの無断公開動画についても調査した。
【2】および【3】のために、ノートPC「M3 Macbook Air」と、GPU付きサーバのアプライド製「Be-Clia Linux PC」を購入した。ノートPCはプログラム開発と、研究発表用に用いた。サーバにはNVIDIA社の「RTX A4000」GPUがあるため、画像処理と画像の機械学習を短時間で処理でき、作業効率が向上した。機械学習とデータ処理のプログラムはPython言語で開発した。Python言語からGPUが使えるように、サーバのOS (Ubuntu24.04) を設定した。
研究の具体的成果を示す。【2】については、高精度でページ判定を行う手法を開発した。ただし処理の高速化については課題が残る。【3】について、2024年度にはキャラクタの顔部分を検出する手法と、検出した顔画像が誰であるかを特定する手法を検いした。顔部分の検出は、人間であれば95%以上の高精度で検出できるモデルを構築した。マンガにはロボット、宇宙人、獣人、モンスターなど人間ではないキャクタも存在する。これら人間以外のキャラクタの顔検出は今後の課題である。顔画像が誰であるかの判別では、学習済み人物の場合は95%以上の高精度で判断するキャラクタ判別モデルを構築できた。未学習キャラクタの判別は今後の課題である。顔の類似度によるクラスタリングも試みたけれど、クラスタリングは上手く出来ていない。今後も検討を進める予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では【1】データ集積，【2】ページ画像からのタイトル・巻・話・ページの判別，【3】キャラクタ画像からのキャラクタ特定の実現を行う。
【1】のマンガデータ集積は、徐々に集めている。2024年度に、自身が所有する電子マンガから、ページ画像をキャプチャして蓄積した。集めたページ数は25万以上である。所有する電子マンガからのページ画像収集は今後も継続する。
【2】については、既に提案した手法が高精度を示しており、海賊版マンガ判定には十分な性能である。ただし海賊版マンガでは、ページ画像の断片化（画像を区切り、ブラウザ表示の際に統合）、ノイズ混入が進められている。これらの断片化やノイズに対応した手法を検討する必要がある。
【3】のキャラクタ特定は重要である。現在の海賊版マンガはYouTube等の動画サービスで展開されている。そのため判別対象をマンガページ画像としない手法が必要で、そのためには「キャラクタ特定」が有効であろう。2024年度に「登場人物の顔部分検出」と、顔画像が誰であるかの「キャラクタ判別」を試みた。人間キャラクタの顔部分検出は、Average Precision は 0.8488、既知キャラクタのキャラクタ判別のAccuracy は 0.9269で、高い精度を実現できている。ただし人間以外のキャラクタ（ロボットや動物など）からの顔部分検出や、新規登場人物などの未知キャラクタの判別は出来ていない。これらは今後の課題である。
|
| Strategy for Future Research Activity |
引き続き、海賊版マンガページ画像のノイズ対応と、マンガキャラクタの顔部分判定およびキャラクタ判別も進める。2025年度以降は、マンガ画像から作者が誰であるのかの「絵柄判定」手法と、キャラクタの顔画像からの属性推定による「キャラクタ類似度」計算手法を検討する。
人間であれば、マンガを一目見ると「ジブリ、藤子不二雄、鳥山明、…」など作者が誰かを推定できる。絵柄判別手法の詳細は未だ考えていないため、大枠だけ記載する。有名なマンガ家で、タイトル数やタイトルごとのページ数が多いマンガを複数取得する。マンガからキャラクタの顔画像を機械的に取得する。取得したキャラクタ顔画像に、タイトルと作者名だけをつけて、CNNモデルで「作者名」を判別するモデルを学習させる。作者を判別するモデルを作れば、「絵柄」の数値化が可能ではないかと考えている。
次にマンガの登場キャラクタの類似度を算出する手法も検討する。キャラクタの属性と、作者の絵柄を数値で表現できれば、登場人物の類似度が計算できる。登場キャラクタの属性として、年齢や性別（老弱男女）、髪の毛（髪の色、髪型、髪の長さ）、服装やアクセサリなどが考えられる。属性と絵柄の情報が得られれば、類似度を計算できる。類似度を計算できれば、モデルが学習していない未知のキャラクタについても、作者が誰であるかを推定できるだろう。
これらの研究を進める予定である。
|
