人間機械融合視覚による質感認識能力拡張

Planned

Project Area	Analysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number	20H05958
Research Category	Grant-in-Aid for Transformative Research Areas (A)
Allocation Type	Single-year Grants
Review Section	Transformative Research Areas, Section (IV)
Research Institution	Osaka University
Principal Investigator	岩井大輔大阪大学, 基礎工学研究科, 准教授 (90504837)
Co-Investigator(Kenkyū-buntansha)	伊藤勇太東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
Project Period (FY)	2020-11-19 – 2025-03-31
Project Status	Granted (Fiscal Year 2021)
Budget Amount *help	¥101,140,000 (Direct Cost: ¥77,800,000、Indirect Cost: ¥23,340,000) Fiscal Year 2021: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000) Fiscal Year 2020: ¥27,170,000 (Direct Cost: ¥20,900,000、Indirect Cost: ¥6,270,000)
Keywords	拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学
Outline of Research at the Start	人の視覚に機械視覚を融合することで、人間の質感認識能力を飛躍的に向上させることを目標とする。機械視覚は、人の視覚よりもはるかに高い時空間・波長解像度で光の伝播を捉え、実物から放射される光線場を精緻に分解できる。そこで本研究では、機械視覚が捉える質感情報を人の知覚できる形に変換して視界に与え、人の外界モデルをアップデートすることで、深奥質感の生成に迫る。具体的には、実物から放射される光線場を、人間の目に届く直前で直接操作する装着デバイス（光変調眼鏡）を開発し、それによって人の質感認識能力を向上させることができるか、を明らかにする。
Outline of Annual Research Achievements	本年度は、（１）実物反射光から、直接・間接反射成分を分離し、それを人の視界に直接与えることのできる、質感分離スコープの開発と、（２）光線を加算および減算することのできる光変調眼鏡の開発を行うことを、当初の目標としていた。（１）コンピュテーショナルフォトグラフィ分野において、複数枚の空間高周波パタン画像を順次切り替え投射することで実物反射光から直接・間接反射成分を分離する技術が提案されている。この技術では、実物への投影結果を一旦カメラですべて観測し、計算機処理によってディジタル的に分離を行っている。一方、本研究課題では、分離された光線を、裸眼で観察できる質感分離スコープを実現する。本年度は、白色と黒色のチェッカパタンで構成される空間高周波な2値パタンを実物に投影し、白色投影エリアを透過型液晶により視界から遮蔽するシステムを構築し、黒色投影エリアに漏れ出した間接反射成分のみを観察系に通過させる試作システムを構築した。カメラを用いて観測した結果、間接成分のみを観測できる光学系になっていることが確認できた。（２）光学シースルー型頭部搭載ディスプレイ（加算）に、液晶シャッタ（遮蔽）を組み合わせる光学系を実装した。また、分光情報を取得するセンサを統合し、外界の光線情報に応じて観察者に提示する像を切り替えることのできる試作デバイスを構築した。同デバイスの一応用として、利用者のサーカディアンリズムを乱さないよう、提示像および外界の明るさを調節するシステムを構築し、常に適切な照度を保つ拡張現実環境が実現できたことを確認した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本年度の2つの当初目標それぞれについて、研究がおおむね順調に進展したと考えている。（１）直接・間接反射成分を分離する質感分離スコープの試作システムが構築でき、実際に分離結果をカメラで観測することができた。現状では、装置が複雑で人が直接観察することはできないが、原理検証が完了していることから、当初の予定通り進捗していると考えている。2021年5月開催の第65回システム制御情報学会研究発表講演会にて、この成果を報告発表する予定である。（２）加算と遮蔽を組み合わせた光学シースルー型頭部搭載ディスプレイの試作システムが構築でき、サーカディアンリズムという実問題へ適用し、有効性を確認できた。今回、減算としては遮蔽のみで色フィルタは未実装ではあるものの、初年度としては十分に進捗したものと考えている。この成果は、人間拡張に関する主要な国際会議であるAugmented Humans 2021にて口頭発表を行った。
Strategy for Future Research Activity	本年度の結果をうけて、質感分離スコープと光変調眼鏡の開発を以下のように推進する。（１）質感分離スコープについては、装置が複雑で人が直接観察することができなかったことが、本年度試作システムの問題であった。さらに、一般的なプロジェクタを用いていたため、チェッカパタン投影の更新に時間がかかり、人が観察する場合はフリッカを知覚する可能性があった。また、照射パタンと遮蔽パタンとの空間的な位置ずれにより、望ましくない縞模様が生じていた。そこで、次年度は、装置のスリム化・パタン間の空間的位置ずれの解消・高速プロジェクタの導入による高速パタン切り替え、の3点の技術開発を中心に取り組む。これにより、アーチファクトやフリッカなしの分離結果を、人が裸眼で直接観察できる系を構築することを目指す。（２）光変調眼鏡では、減算ディスプレイとして遮蔽だけでなく、LCoSデバイスを用いた偏光干渉による色フィルタもカスケード接続するシステムを構築する。実物の多種多様な質感成分（光沢、直接・間接反射、蛍光、偏光等）が変調された見えを観察できるようにすることを目指す。並行して、質感提示で重要な「陰影」をフォトリアリスティックに再現する技術と、自然な質感変調で不可欠となる焦点ボケを再現する技術の構築を目指す。