質感と情動のためのイメージング科学技術
情動を理解しリアルな質感を再現する
――人の脳が画像の質感をどう認識するかを調査し、多様な産業を支えるための知見を提供する。
研究キーワード:質感工学、画像センシング、視覚心理学
© iStock.com/wacomkaインターネットで商品を注文して、ネット上の商品画像から受ける印象とはまるで違う品物が届いたとしたら、商品を買った人はがっかりするはずだ。多くの大手eコマース企業が、製品を個人の好みに応じて表示させたり、電話やバーチャル・リアリティ・ヘッドセットで買い物を手助けしたりできるように、技術開発の投資を増やしている。その一方で、どれだけリアルにデジタル処理画像を描写できるかが大きな課題となっている。
工学研究院の准教授で、本研究プロジェクトのメンバーである平井経太は、「リアリティの高い描写を行うためには、人間の認識の仕方に対して慎重に配慮しなければなりません」と話す。人が物質を認識する仕方は、物理現象だけでなく、認知とも関係している可能性があるためだ。
心の目の複雑な作用を分析しようと、本研究プロジェクトでは、エンジニア・心理学者・医学者・認知科学者など、多様な分野の研究者が結集している。
近年、平井らのチームは、テクスチャー評価のための新たなシステムを開発し、参加者からの意見を反映して一つのアルゴリズムを考え出した。これにより、デジタル画像上で凹凸がある布素材にツヤや色を重ね合わせ、よりリアリティのあるデジタル表現を生成することが可能になる。
アルゴリズム開発の一つの狙いは、スマートデバイス上のデジタル処理により、写真のようなリアリティのある布素材の質感を確認することにある。このアルゴリズムは、オンラインショッピングに役立つだけではなく、急速に進歩するデジタル成形技術にも応用できる可能性がある。例えば、デジタル処理によりツヤや使い込んだ感じの陰影を布や物に印刷したり、デジタル設計された3D製品を製造したりすることができる。研究チームでは、化粧品や医薬品など多様な産業に貢献することを目指している。
脳によるフィルタリング
このような多分野の研究者グループでの研究の一つに、質感そのものについて調べる研究がある。人が布素材を見る時、そこに印刷された模様や陰影などの大まかなデザインは見えていても、その質感によっては、細部の見え方がぼやけてしまうことがある。これとは対照的に、同じ素材を表現した高解像度のデジタル画像を見ると、細部まで鮮明に見えすぎて不自然に感じられることもある。この点を調べるため、研究チームは素材の質に応じた見え方を再現する様々なぼやけ加減の「ぼかし」フィルターを開発し、画像がどれくらい自然に見えるか評価する実験を通して、フィルターの微調整を行った。
別のチームによる研究では、色に対する私たちの認識が、その次元性に関する理解によって影響を受けることが明らかになった。同じ人が同じ画像を見た場合でも、画像を2次元と解釈するか、3次元と解釈するかによって、色が異なって見えるという。さらに、画像を見るのが片目なのか両目なのか、画像や見る人の頭が動いているかどうかによっても、画像を自然に感じる度合が変化する。平井によれば、このような研究は、より優れたスマートデバイスを開発するための鍵になるという。「見え方についての理解が深まることで、例えば、色管理システムを改善して、ディスプレイ、カメラ、プリンターなど、様々なデバイス間での色の再現をより正確にできる可能性があります」（平井）。
さらに、本研究プロジェクトの成果は、ソニーやパナソニック、キヤノン、ニコンなどの大手企業が製造する全方向3Dカメラシステムやバーチャル・リアリティ・ヘッドセットなど、最先端のイメージング技術に役立てられることが期待されている。化粧品や自動車塗装への応用可能性についても検討されており、1つのチームでは既に、医療診断において特筆すべき結果を出している。
その研究チームでは、シンプルなデジタル一眼レフ(DSLR)カメラで撮影した画像を用い、皮膚のヘモグロビンの光学特性について詳細に調べた結果、心拍数とその変動を99パーセントの精度で測定できることが分かった。
非侵襲的な医療診断から、単純なスマートフォンアプリを用いた身体運動の理解向上まで、 広範な用途への応用が期待されている。
（CHIBA RESEARCH 2020より）Members
推進責任者
| 研究者名 | 役職名 | 専門分野 |
|---|---|---|
| 津村 徳道 | 准教授（工学研究院） 全体統括 |
質感工学、情動工学、情報画像工学 |
中核推進者（学内研究グループ構成員）
| 研究者名 | 役職名 | 専門分野 |
|---|---|---|
| 堀内 隆彦 | 教授（工学研究院） | 色彩工学、パターン認識 |
| 平井 経太 | 准教授（工学研究院） | 色彩情報処理 |
| 溝上 陽子 | 准教授（工学研究院） | 視覚情報処理 |
| 今泉 祥子 | 准教授（工学研究院） | 情報セキュリティ |
| 桑折 道済 | 准教授（工学研究院） | 材料工学 |
| 矢田 紀子 | 助教（工学研究院） | 情報工学 |
| 松香 敏彦 | 教授（人文科学研究院） | 行動科学 |
| 吉村 健佑 | 特任教授（医学部附属病院） | 医療管理学、医療情報学、精神神経学 |
| 徳永 留美 | 准教授（国際学術研究院） | 色彩工学、視覚情報処理 |
| 雨宮 歩 | 助教（看護学研究院） | 看護理工学 |
| 中村 一希 | 准教授（工学研究院） | 高機能材料、光物性測定 |
| 小槻 峻司 | 准教授（環境リモートセンシング研究センター） | AI、ビックデータ解析、数値モデリング・シミュレーション |
| 井上 信一 | 特任准教授（グローバルプロミネント研究基幹） | 光学、計測システム、モデリング |
| 花里 真道 | 准教授（予防医学センター） | 健康な都市・建築、公衆衛生 |
| 椎名 達雄 | 准教授（工学研究院） | 光計測、光学データ解析 |
| 小室 信喜 | 准教授（統合情報センター） | 無線通信、無線センサネットワーク、環境センシング |
| 櫻田 大也 | 講師（薬学研究院） | 社会薬学、レギュラトリーサイエンス |
| 佐藤 弘美 | 助教（工学研究院） | 視覚心理，情動メカニズム |
研究成果報告（2017年〜2019年）
本プロジェクトは，2017年の改組によって新たに組織された大学院融合理工学府イメージング科学コースの全専任教員5名によって計画され，実物体の質感を正確にユーザの手元で再現する質感イメージング技術の実用化を目標として，コース一丸となってスタートした研究育成プログラムである。
推進研究の純粋学術的見地からの達成状況は，学術論文誌に掲載された論文数(5名の中核推進者の合計)が，プログラム開始前3年間の39編から，プログラム期間中の3年間で87編へ倍増したことに顕著に表れている。当初の計画書に記載した研究計画に対して，十分に活動が進捗した。例えば計画書において，「質感を正確にユーザの手元で再現するための質感イメージング技術の実用化は急務である」として，研究対象を「質感の画像再現だけではなく，将来的に可能となるであろう実物体の質感生成までを見据えている」としていた。3年間のプログラム期間中に，推進研究計画であった質感情報の画像への埋め込みの実現などの課題解決に加えて，新たに３Ｄプリンタを扱う企業と共同研究を推進することによって，任意の透明感の質感を有する人肌を３Ｄプリンタで生成する技術開発までも達成した。さらに，当初計画していたイメージング技術の研究分野にとどまらず，行動科学，情報工学，材料工学の専門家を中核推進者に，さらに医学・医工学の専門家を連携研究者にそれぞれ加えることによって，計画以上の課題解決に取り組むことができ，学際的なアプローチを加速することができた。
また，プログラム期間中に，国内外研究ネットワークを積極的に構築した。本学卒業生を中心とした12名の企業研究者を連携研究者としてスタートしたが，プログラム期間中に30名の企業研究者にアドバイザーを依頼して質感イメージング研究に関係する情報共有を推進し，オープンラボや意見交換会を実施した。また，海外の連携研究者2名については，本プログラムが協賛した質感に関する国際ワークショップにおいて千葉大学に招聘して議論を深めるとともに，各国で実施している質感プロジェクトとの連携を模索し，ネットワークの拡大を行った。特に，本プログラムに関係している研究室が，後述の複数の国際的な大学院教育プログラムへの参画が決定し，研究に加えて教育プログラムの国際ネットワーク拡大も図った。加えて，プログラム期間中に，アジアや欧州を中心とした学生や研究者交流を実施した。
プログラム期間中には，アカデミアのみならず，産業界とのネットワークも積極的に構築することによって，多くの企業との共同研究が個々の中核推進者によって積極的に推進され，社会実装およびイノベーション創出的見地での成果も期待以上に得られた。例えば，本プログラムで開発した非接触の情動のモニタリング技術に関して，複数の企業と商品開発を実施した。また，質感は産業界において付加価値となることから，化粧品業界や印刷業界を始めとした複数の企業において商品化が検討された。イノベーション創出的見地に関して，情動工学の分野では，COIプログラム拠点「精神的価値が成長する感性イノベーション拠点」に参画し，イノベーション創出の活動が進捗した。
その他，特筆すべき成果として，若手人材育成に力を入れてきたことが挙げられる。継続して実施しているAsia Student Workshopを通じて，アジア各国の学生を受け入れて質感関連の教育を実施してきた．また，新たに構築した大学院教育プログラムとして，2019年度からノルウェーが主体国となって実施している「修士課程の学生を対象とした質感に関する教育プロジェクト」に本プログラム関連の研究室が参画することが決定し，2020年度から複数名の修士課程学生が質感研究で短期および中期の海外留学を計画するに至った。また，2020年度からフィンランドが主体国となって実施している「近未来クロスリアリティ技術を牽引する光イメージング情報学国際修士プログラム」にも本プログラム関連の研究室が参画することが決定し，将来的なダブルディグリー制度の構築を開始した。