2019 Fiscal Year Annual Research Report
| Project/Area Number |
18H03266
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
片桐 滋 同志社大学, 理工学部, 教授 (40396114)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 篤 名古屋市立大学, 大学院システム自然科学研究科, 教授 (50396206)
渡辺 秀行 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 連携研究員 (40395091)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | パターン認識 / ベイズ境界 / 最小分類誤り確率状態 / 汎化問題 / 未知標本耐性 |
|---|
| Outline of Annual Research Achievements |
サポートベクターマシン（SVM）分類器が持つサブパラメータに異なる値を用いて予め作成しておいた多数のパターン分類器の中から，最適な分類器を選択する「ベイズ境界性に基づく最適パターン分類器選択（BBS: Bayes Boundary-ness-based optimal pattern classifier Selection）法」を開発し，国際誌論文として公表した．そこには，「ベイズ境界付近においては偏りも分散も小さな事後確率推定値をベイズ境界性尺度の計算に供し得る」というBBS法の数理的分析の結果も合わせて紹介することができた．
BBS法の評価には真のベイズ境界あるいはベイズ誤り値が必要であるが，実世界データのそれらは原理的に不明である．一方，ベイズ誤り値は，オリジナルのパターン特徴空間に固有であり，分類器（およびそこに含まれる特徴写像器）によって変わるものではない．この点も踏まえ，評価実験の信頼性を高めるため，SVMなどの複数の型の分類器を対象に十分な繰り返しを伴う交差検証法を行い，多数のデータベースに関するベイズ誤り値の正確な推定を行った．この実験の中で，大幾何マージン最小分類誤り学習法やカーネル最小分類誤り学習法，SVMなどにおける幾何マージン最大化や，パターン生成能力を反映する正則化がベイズ境界性の向上と一定程度の関係があることを示唆する結果を得た．
予め多数の学習結果を必要とするBBS法の欠点を補うべく，損失最小化を経て直接的に分類器のベイズ境界性を高める新しい識別学習法「最大ベイズ境界性（MBB: Maximum Bayes Boundary-ness）学習法」の基礎を構築し，その有効性を明らかにした．MBB法は，通常の識別学習法と異なり，損失の基準となる教師信号そのものも推定値となる．このやっかいな問題を定形化する枠組みとして強化学習を利用する検討も行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ベイズ境界性に着目する本研究は，分布推定やベイズ誤り値推定に基づく従来手法と全く異なるアプローチをとっているためか，研究成果の理解を得るために予想外に大きな努力を強いられている．このため，期首の想定よりも対外発表に遅れが生じているが，手法およびその関連技術に関する理解を着実に深め，評価実験の信頼性も格段に向上させることができている．
以上の結果として，国際誌論文として公表したBBS法の欠点である「予め多数の分類器を準備する必要性」を克服したMBB法の開発に歩を進めることができ，また長時間の膨大な計算を必要とはしたものの，慎重に設定した交差検証法を用いたベイズ誤り値の推定実験等を通し，比較的最近の学習原理である「幾何マージン最大化」や本研究で独自に着想を得た「パターン生成能力を直接反映する正則化」が，ベイズ境界性の向上と関連を持ち得るとの示唆を得るに至っている．これらの成果は，いずれも国際学会や国内学会において発表済みである．
オリジナルの（高次元）パターン空間内でベイズ境界性を計算するBBS法と異なり，MBB法は，ベイズ境界性を1次元の写像空間において行う．この後者の手法は，前者と比べ圧倒的に計算量が少なく，学習の高速化を可能とするのみならず，より信頼度の高いベイズ境界性の推定にもつながり得る．この1次元空間における新しい推定法についても，既に国際会議論文として採択されるに至っている（発表は2020年度予定）．
MBB法の損失における教師信号そのものが推定値であることは，損失の最小化にとって極めてやっかいな問題である．間欠的な教師信号推定を組み込むことで，MBB法がほぼ期待通りのベイズ境界性の向上を達成し得ることを明らかにしてはきたが，手法の信頼性や有効性の一層の向上は必要である．今期，そのための新しい定形化の枠組みに強化学習を利用する検討にも着手することができた．
|
| Strategy for Future Research Activity |
1次元写像空間においてベイズ境界性を推定する高速なBBS法の信頼性と精度との向上を目指し，写像空間の作り方やその空間におけるソフトなk近傍則の改良を継続する．また，その成果はMBB法の性能向上にも利用し，本研究アプローチ全体の完成度を高める．
今期の「パターン生成能力を直接反映する正則化」の研究には，可変長パターンの代表である音声パターンを用いた．そこの成果とベイズ境界性に関するMBB法等とを統合し，固定次元のみならず可変長のパターンの分類にも適用可能な，ベイズ境界性に着目した最適分類器学習法の構築を目指す．
また，MBB法における間欠的な教師信号推定の手続きを強化学習の観点から再定形化し，MBB法の操作性の一層の向上や，MBB法による結果のより深い数理的理解の獲得を目指す．
種々の異なる写像を伴う分類器どうし，あるいは特徴写像を行わない分類器と特徴写像を伴う分類器との比較研究を通し，ベイズ境界性の性質に関する理解の深化と各種の分類器のベイズ境界達成能力（ある種の容量）の分析を行う．また，それらの結果を基に，特徴写像に伴うベイズ境界の不変性の理解をさらに深め，加えて，パターン認識が目指すべき理想である「ベイズ誤りが小さな特徴の自動的発見」を可能とする手法の構築にも挑戦する．
一般に，ベイズ誤りの過小推定（有限個の学習標本に過適応した推定ベイズ境界）は，真のベイズ誤りが小さい時は許容され易い．一方，現行のBBS法やMBB法は，そうした小ベイズ誤り状態からベイズ境界性を正しく推定することに多少の弱点を持つ．偏りが比較的許容され得る（小ベイズ誤りの）場面においては，現行のBBS法等でも既に一定程度の実用性を持つことも期待できる．しかし，学習法が高い汎用性を持つべきことは明らかであり，BBS法やMBB法の改良においては，この小ベイズ誤りに関わるそれらの弱点の克服に特に留意する．
|
