植物の表面色の変化は。生長の順調さや病気の有無といった生育状態を表すことが多い。そのため。農作物においては。農園の画像を収集することで果実や葉の着色変化や損傷。害虫の有無。剪定などの農作業の痕跡。生長速度などを把握することが可能である。
本講演では。農園での画像収集を行うフィールドモニタリングシステムを中心として。農業におけるイメージングの様々な事例を紹介する。また。ディープラーニングを用いた果実の生育状態評価や。画像をベースとしたコミュニケーションシステム。アノテーション管理システムといった。収集した農園画像の具体的な応用例について説明する。

イメージセンサはデジタルカメラに加え、ライフサイエンス、産業計測、車載、医用・医薬・健康、農業・食品、防災・防犯、宇宙・環境・資源探索等、様々な分野で広く利用されている。これらの分野では、多様な現象を可視化・分析するために紫外-可視-近赤外光の広光波長帯域に対して高感度であり、強い光が照射されたとしても特性が変化しない高い耐光性を有するイメージセンサが求められている。
本講演では、上記のニーズに応えるべく東北大学にて研究開発を行っている、広光波長帯域・高感度・高耐光性CMOSイメージセンサ技術とそれを用いた分光イメージングへの応用展開を紹介する。
先進半導体プロセス技術を適用した高感度・高耐光性フォトダイオードを導入することで、190-1100nmの広光波長帯域における高い感度と、分光分析機の製品寿命10年超相当の積算紫外光量を照射したとしても光感度、暗電流の劣化が生じない高い耐光性との同時実現に成功したCMOSイメージセンサ技術を紹介する。また、近赤外吸光を用いた非侵襲血糖値センシングや紫外光を用いた環境汚染物質の二次元・リアルタイム・高精度モニタリング等を簡便に行うことが出来るセンシングシステムの創出を目指して開発を行っている分光イメージングへの応用展開の事例を紹介する。

近年、自動運転に向けた安心・安全の要望高まりを背景に、車載向けセンシング技術開発が活発化している。特に夜間や悪天候など環境耐性の強いセンシング技術に注目が集まっている。本講演では、カメラとLiDARの技術進展に注目し、遠距離までをカバーずる物体検知技術に関し、最近弊社より発表した直接TOF(Time of Filght)方式を用いた遠距離物体検知の技術を含んで、その進展を概観する。

屋外における近距離から中距離（数m～20m程度）レンジでの光飛行時間（TOF=time-of-flight）距離画像計測を可能とするハイブリッド方式と呼ぶTOFイメージセンサについて講演する。デュ―ティ比の小さい短時間パルス変調光を用い、マルチタップ（3タップ、4タップ、8タップ）のロックインピクセル及び、サブフレームによるレンジシフトを組み合わせることで多数の連続した時間窓を形成し、光パルスが入る時間窓位置に基づく直接的TOF計測と隣接時間窓間の光電荷の差による間接的TOF計測とによるハイブリッド方式とすることで、比較的長距離かつ強い太陽光等の背景光が存在する中で、高い分解能でのTOF計測が可能となる。その原理と達成可能な距離分解能の計算結果、及び試作したTOFイメージセンサによる測定結果を示して、提案方式の屋外中距離TOFイメージセンサにおける有用性及び応用分野について解説する。

一般的なカメラに用いられるセンサは，グローバルシャッタと呼ばれる電子シャッタを持つ．グローバルシャッタでは，センサのすべての画素が同期して露光開始や終了を行うことで，ある瞬間の映像を一枚の静止画として記録し，これを高速に繰り返すことで，静止画の連続として動画を撮影する．また，近年のCMOSイメージセンサでは，特に静止画用のセンサとしてローリングシャッタを採用するセンサが一般的になっている．ローリングシャッタは，画像の行読み出しタイミングと露光が同期しているシャッタ方式で，行毎に順次露光される．そのため，画像の上部と下部で露光タイミングが異なることから，動画撮影において像が歪むという欠点を持つが，回路が簡略化できセンサ内のフォトダイオードの面積を最大限にとれることから感度が高いという利点がある．これらグローバルシャッタやローリングシャッタを備えた通常センサは，いずれもナイキストサンプリングに基づく均等サンプリングを前提としているため，すべての画素は均等な間隔でサンプリングされ，時間的にも均等な時間間隔でサンプリングされることを前提に設計されている．つまり従来のイメージセンサでは，これらの設計上の想定から外れる露光パターンやタイミングでの画像取得は事実上不可能であった．一方で，圧縮センシングによる動画撮影やTime-of-Flight(TOF)型デプスカメラなどの高機能画像センシングが注目され，これらを対象とした特殊なCMOSイメージセンサが提案されている．例えば露光制御を画素毎に自由に設定できるもの[1]や，マルチタップやマルチバケットと呼ばれる複数電荷蓄積[2]を可能とするセンサなどが提案され，一部は市販されている．本稿では，これらの新しい露光制御が可能なイメージセンサをプログラマブルセンサと呼び，その新しいセンサを用いたコンピュテーショナルフォトグラフィの応用について紹介する．

Non-contact heart rate (HR) and its variability (HRV) measurements using CMOS image sensors (CIS) are greatly attractive for the driver emotion monitor demanded by the next generation automotive security applications. Previous works employed standard red, green and blue (RGB) Bayer pattern sensors or a special red, green, blue, cyan and orange (RGBCO) sensor for remote HRV measurement by using ambient light. In these methods, relatively stable visible-band illuminations are essential for carrying the effective HR signals. However, the light condition could hardly be satisfied for a moving vehicle, in particular, which is passing through the tunnels or along the night streetlights, in these cases the driver HR detection becomes puzzled due to the extremely weak visible-band intensity under low-visible-light conditions. Moreover, the image signal processing (ISP) algorithms involved in the presented methods would also increase further the computing system complexity in an intelligent car. To address these issues, this paper proposes a time-resolved image sensor with two-tap near infrared (NIR) lock-in pixels using lateral electric field charge modulators (LEFMs). The remote HR detection is realized in both non-visible-light and fluctuant ambient-light brightness environments owing to the NIR sensitive response and background light (BGL) cancelling function achieved by the lock-in pixel operation in association with a non-visible NIR-modulated auxiliary light source. The proposed method is implemented without complicated ISP power consumptions.

CMOSイメージセンサを使用した非接触心拍数（HR）およびその変動性（HRV）測定は、次世代自動車セキュリティアプリケーションで要求されるドライバ感情モニタにとって非常に魅力的です。これまでの研究では、周囲の光を用いて、赤、緑、青（RGB）のベイヤー・パターン・センサー、赤、緑、青、シアン、オレンジ（RGBCO）センサーを使用して遠隔HRV測定を行っていました。これらの方法では、有効なHR信号を搬送するために、比較的安定した可視帯域照明が不可欠である。しかし、トンネルや夜間の街灯を通っている移動車両では、光の状態をほとんど満足することができず、運転者HRの検出は、可視光条件である。さらに、提示された方法に関わる画像信号処理（ISP）アルゴリズムは、インテリジェント・カーのコンピューティング・システムの複雑さをさらに増大させる。これらの問題に対処するために、本研究では、横電界電界変調器を用いた2タップ近赤外（NIR）ロックインピクセルを用いた時間分解イメージセンサを提案している。遠隔HR検出は、非可視NIR変調された補助光に関連してロックインピクセル動作によって達成されるNIR感受性応答およびバックグラウンド光取消機能のために、非可視光および変動周囲光輝度環境の両方で実現される光源。提案された方法は、複雑なISP消費電力なしに実装される。