Nothing Special   »   [go: up one dir, main page]

JP7074482B2 - 画像処理装置、撮像システム、移動体、および画像処理方法 - Google Patents

画像処理装置、撮像システム、移動体、および画像処理方法 Download PDF

Info

Publication number
JP7074482B2
JP7074482B2 JP2018005942A JP2018005942A JP7074482B2 JP 7074482 B2 JP7074482 B2 JP 7074482B2 JP 2018005942 A JP2018005942 A JP 2018005942A JP 2018005942 A JP2018005942 A JP 2018005942A JP 7074482 B2 JP7074482 B2 JP 7074482B2
Authority
JP
Japan
Prior art keywords
image
outdoor
controller
camera
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018005942A
Other languages
English (en)
Other versions
JP2019125942A (ja
Inventor
匡司 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018005942A priority Critical patent/JP7074482B2/ja
Priority to PCT/JP2019/000107 priority patent/WO2019142675A1/ja
Priority to EP19740975.8A priority patent/EP3742719A4/en
Priority to CN201980006852.2A priority patent/CN111567028B/zh
Priority to US16/958,364 priority patent/US11551340B2/en
Publication of JP2019125942A publication Critical patent/JP2019125942A/ja
Application granted granted Critical
Publication of JP7074482B2 publication Critical patent/JP7074482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B1/00—Details of electric heating devices
    • H05B1/02—Automatic switching arrangements specially adapted to apparatus ; Control of heating devices
    • H05B1/0227—Applications
    • H05B1/023—Industrial applications
    • H05B1/0236—Industrial applications for vehicles
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00—Ohmic-resistance heating
    • H05B3/84—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/58—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9586—Windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理装置、撮像システム、移動体、および画像処理方法に関する。
従来、移動体のウィンドウシールドの曇りを判定する技術が提案されている。例えば、特許文献１には、ウィンドウシールドを介した撮像によって生成された画像の明度分布に基づいて、ウィンドウシールドの汚れおよび曇りを判定することが記載されている。これにより、移動体の運転者によって操作されることなく、ウィンドウシールドの曇りを除去するための装置が作動し、運転者の利便性が高められている。
特開平２－１３０４５５号公報
しかしながら、移動体に搭載された撮像装置によって生成された画像の明度分布は、時間帯、天候、被写体、照明等の周辺環境によって大きく変化する。すなわち、移動体に搭載された撮像装置によって生成された画像において、明度分布はウィンドウシールドの曇りのみによって変化するのではないため、明度分布に基づいて正確に曇りを判定することが困難であることがある。
本開示は、画像を生成する撮像装置およびそれらを撮像する光路上の光学部材の異常を周辺環境によらず正確に判定することができる画像処理装置、撮像システム、移動体、および画像処理方法を提供する。
本開示の画像処理装置は、第１受信部と、第２受信部と、コントローラと、を備える。前記第１受信部は、第１撮像装置が撮像する第１画像を受信する。前記第２受信部は、前記第１撮像装置と同時に撮像を行う第２撮像装置が撮像し、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像である。前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である。
本開示の撮像システムは、第１撮像装置と、第２撮像装置と、画像処理装置とを備える。前記第１撮像装置は、第１画像を生成する。第２撮像装置は、前記第１撮像装置と同時に撮像を行い、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を生成する。前記画像処理装置は、第１受信部と、第２受信部と、コントローラと、を含む。前記第１受信部は、前記第１画像を受信する。前記第２受信部は、前記第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像である。前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である。
本開示の移動体は、第１撮像装置と、第２撮像装置と、画像処理装置とを備える。前記第１撮像装置は、第１画像を生成する。前記第２撮像装置は、前記第１撮像装置と同時に撮像を行い、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を生成する。前記画像処理装置は、第１受信部と、第２受信部と、コントローラと、を含む。前記第１受信部は、前記第１画像を受信する。前記第２受信部は、前記第２画像を受信する。前記コントローラは、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像である。前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である。
本開示の画像処理方法は、画像処理装置が実行する画像処理方法である。前記画像処理装置は、第１撮像装置が撮像する第１画像を受信する。前記画像処理装置は、前記第１撮像装置と同時に撮像を行う第２撮像装置が撮像し、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を受信する。前記画像処理装置は、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定する。前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像である。前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である。
本開示の一実施形態によれば、画像を生成する撮像装置およびそれらを撮像する光路上の光学部材の異常を環境によらず正確に判定することができる。
図１は、本開示の一実施形態の撮像システムを搭載した移動体の例を示す図である。 図２は、図１に示す撮像システムの機能ブロック図である。 図３は、図２に示す室外カメラの機能ブロック図である。 図４は、図２に示す室内カメラの機能ブロック図である。 図５は、室外カメラが曇っている場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。 図６は、室外カメラおよびウィンドウシールドが曇っていない場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。 図７は、室外カメラが故障している場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。 図８は、ウィンドウシールドが曇っている場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの他の例を示す図である。 図９は、室内カメラが故障している場合の室外カメラ画像および室内カメラ画像の輝度ヒストグラムの一例を示す図である。 図１０Ａは、図２に示す画像処理装置による制御の手順の一部を示すフローチャートである。 図１０Ｂは、図２に示す画像処理装置による制御の手順の一部を示すフローチャートである。 図１１は、室外カメラ画像または室内カメラ画像の、エッジに交差する方向における任意の基準点からの所定の方向の距離にある画素の輝度を示す図である。
以下、本開示の第１実施形態について、図面を参照して説明する。
本開示の第１実施形態にかかる撮像システム１は、図１に示すように、移動体２に搭載される。撮像システム１は、図２に示すように、第１撮像装置としての室外カメラ３と、第２撮像装置としての室内カメラ４と、画像処理装置５と、加熱装置６と、洗浄装置７と、室外カメラ用表示装置８（第１表示装置）と、室内カメラ用表示装置９（第２表示装置）等を含んで構成される。以降において、室外カメラ３および室内カメラ４を単に「撮像装置」と称することがある。
室外カメラ３は、移動体２の室外を撮像するように移動体２の外側に取り付けられる。室外カメラ３は、移動体２のウィンドウシールド２１を介さずに室外の被写体を撮像することによって画像（第１画像）を生成する。以降において、室外カメラ３によって生成された画像を「室外画像」という。ウィンドウシールド２１は、移動体２の室外と室内とを隔てる可視光に対して透過性を有する光学部材である。ウィンドウシールド２１は、リアガラス、フロントガラス、サイドウィンドウ等を含んでよい。例えば、室外カメラ３は、図１に示したように移動体２の後方の被写体を撮像するように該移動体２に取り付けられたリアカメラであってよい。室外カメラ３は、リアカメラに限定されず、例えば、移動体２の前方または側方の被写体を撮像するように該移動体２に取り付けられたカメラであってよい。
室外カメラ３は、図３に示すように、第１光学系３１（光学系）と、第１撮像素子３２と、第１画像処理プロセッサ３３と、第１制御プロセッサ３４と、第１ＣＡＮ（Controller Area Network）トランシーバ３５と、第１通信部３６と、加熱部３７と、洗浄部３８と、を含んで構成される。
第１光学系３１は、１つ以上のレンズを含んで構成される。第１光学系３１は、被写体から入射した光を第１撮像素子３２の撮像面において被写体像として結像させる。レンズは、広角レンズを採用しうる。レンズは、魚眼レンズを用いてよい。
第１撮像素子３２（撮像素子）は、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等で構成される。第１撮像素子３２は、第１光学系３１が構成するレンズの光軸ＯＸに垂直に取り付けられる。第１撮像素子３２は、被写体像を撮像して、画像を生成する。具体的には、第１撮像素子３２は、第１光学系３１によって結像された被写体像を光電変換することによって第１画像を生成する。
第１画像処理プロセッサ３３は、第１撮像素子３２による光電変換によって生成された画像に対して各種の画像処理を行う画像処理専用のプロセッサであり、例えばＩＳＰ（Image Signal Processor）等により構成される。第１画像処理プロセッサ３３は、第１撮像素子３２の制御、第１光学系３１の補正、ノイズ低減等の処理を行う。第１光学系３１に含まれるレンズが広角レンズである場合、第１画像処理プロセッサ３３は、広角レンズにより画像に発生した歪みを補正してよい。
第１制御プロセッサ３４は、室外カメラ３の種々の制御を実行する部分であり、ソフトウェアプログラムに従い処理を実行する、ＭＰＵ（Micro Processing Unit）等のプロセッサを含んで構成することができる。
第１ＣＡＮトランシーバ３５は、ＣＡＮ通信を介して移動体２を制御するＥＣＵ（Engine Control UnitまたはElectric Control Unit）と情報を送受信するためのインターフェースである。ＥＣＵは、例えば移動体２に関連して使用される被制御装置を制御することにより、移動体２の走行を制御することができる。被制御装置には、例えば、エンジン、モータ、トランスミッション、カーエアコンディショナ、パワーウィンドウ、カーナビゲーションシステム、カーオーディオ、ヘッドアップディスプレイ等を含んでよいが、これらに限られない。
第１通信部３６は、画像処理装置５と情報を送受信するためのインターフェースである。第１通信部３６が画像処理装置５と通信するにあたって用いられる通信方式は、近距離の無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、ＮＦＣ（Near Field Communication）、ＴｒａｓｆｅｒＪｅｔおよびＺｉｇＢｅｅ等を含んでよい。
加熱部３７は、画像処理装置５の制御に基づいて第１光学系３１を加熱する。加熱部３７は、画像処理装置５から加熱信号が受信されると、公知の方法により第１光学系３１を加熱してよい。
洗浄部３８は、画像処理装置５の制御に基づいて第１光学系３１を洗浄する。洗浄部３８は、画像処理装置５から洗浄信号が受信されると、公知の方法により第１光学系３１を洗浄してよい。
室内カメラ４は、移動体２の室内に取り付けられる。室内カメラ４は、移動体２のウィンドウシールド２１を介して室外の被写体を撮像することによって室内カメラ画像（第２画像）を生成する。室内カメラ４は、該室外カメラ３の撮像範囲の少なくとも一部を撮像範囲に含むように画像を生成する。以降において、室内カメラ４によって生成された画像を「室内画像」という。例えば、室外カメラ３がリアカメラである場合、ウィンドウシールド２１はリアウィンドウであってよい。
室内カメラ４は、例えば、図１に示したように移動体２の後方の被写体を撮像するように該移動体２に取り付けられた室内ミラー用カメラである。室内カメラ４は、室内ミラー用カメラに限定されず、例えば、移動体２の前方または側方の被写体を撮像するように該移動体２に取り付けられたカメラであってよい。室内カメラ４は、図４に示すように、第２光学系４１と、第２撮像素子４２（撮像素子）と、第２画像処理プロセッサ４３と、第２制御プロセッサ４４と、第２ＣＡＮトランシーバ４５と、第２通信部４６とを含んで構成される。第２光学系４１、第２撮像素子４２、および第２画像処理プロセッサ４３は、それぞれ第１光学系３１、第１撮像素子３２、および第１画像処理プロセッサ３３と類似であるため、説明が省略される。第２制御プロセッサ４４、第２ＣＡＮトランシーバ４５、および第２通信部４６は、それぞれ第１制御プロセッサ３４、第１ＣＡＮトランシーバ３５、および第１通信部３６と同一であるため、説明が省略される。
画像処理装置５は、図２に示したように、第１受信部５１と、第２受信部５２と、コントローラ５３と、送信部５４とを含んで構成される。
第１受信部５１は、室外カメラ３によって生成された室外カメラ画像を受信する。第１受信部５１が室外カメラ３と通信するにあたって、第１通信部３６が用いる通信方式に対応する通信方式が用いられる。
第２受信部５２は、室内カメラ４によって生成された室内カメラ画像を受信する。第２受信部５２が室内カメラ４と通信するにあたって、第２通信部４６が用いる通信方式に対応する通信方式が用いられる。第２受信部５２は、第１受信部５１を兼ねてもよいし、第１受信部５１とは別の受信部であってもよい。
コントローラ５３は、例えばＣＰＵ等のプロセッサであってよい。コントローラ５３は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ５３は、複数の集積回路を組み合わせて構成されてもよい。コントローラ５３は、画像処理装置５の動作を統括的に制御して各種の機能を実現する。
コントローラ５３は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分（以下において、単に「共通部分」と呼ぶ）に基づいて、室外カメラ画像または室内カメラ画像の異常を判定する。室外カメラ画像と室内カメラ画像との撮像範囲における共通部分は、以下において、適宜単に「共通部分」と呼ばれる。室外カメラ画像の異常は、例えば、室外カメラ３の第１光学系３１に異物が付着していたり、室外カメラ３が故障していたりすることによって発生する画像の異常である。室内カメラ画像の異常とは、例えば、移動体２のウィンドウシールド２１に異物が付着していたり、室内カメラ４が故障していたりすることによって発生する画像の異常である。異物は、例えば、曇り、汚れを含む。コントローラ５３が実行する室外カメラ画像または室内カメラ画像の異常の判定についての詳細は後述する。
送信部５４は、コントローラ５３による室外カメラ画像または室内カメラ画像の異常の判定に基づいて、各種の制御信号をＣＡＮ通信等の通信ネットワークを介して洗浄装置７および加熱装置６に送信する。送信部５４は、コントローラ５３による室外カメラ画像または室内カメラ画像の異常の判定に基づいて、室外カメラ用表示装置８及び室内カメラ用表示装置９に各種の画像を、通信ネットワークを介して送信する。送信部５４が実行する各種の制御信号および画像の送信の詳細は後述する。
加熱装置６は、コントローラ５３の制御に基づいてウィンドウシールド２１を加熱する。加熱装置６は、公知の方法によりウィンドウシールド２１を加熱してよい。例えば、加熱装置６は、ウィンドウシールド２１に接触して配置された熱線を備え、加熱を命令するための加熱信号を受信すると、熱線が加熱されてよい。これにより、ウィンドウシールド２１に付着した異物が除去されうる。
洗浄装置７は、コントローラ５３の制御に基づいてウィンドウシールド２１を洗浄する。洗浄装置７は、公知の方法によりウィンドウシールド２１を洗浄してよい。例えば、洗浄装置７は、液体洗剤を収容し、洗浄を命令するための洗浄信号を受信すると、ウィンドウシールド２１に液体洗剤を射出してよい。洗浄装置７は、ワイパーを備え、洗浄を命令するための洗浄信号を受信すると、あるいは液体洗剤が射出されると、ワイパーをウィンドウシールド２１に摺接させてよい。これにより、ウィンドウシールド２１に付着した汚れが除去されうる。
室外カメラ用表示装置８は、画像処理装置５から送信された画像を表示する。具体的には、室外カメラ用表示装置８は、画像処理装置５から室内カメラ画像が送信されると、該室内カメラ画像を表示する。室外カメラ用表示装置８は、画像処理装置５から室外カメラ画像が送信されると、該室外カメラ画像を表示する。
室内カメラ用表示装置９は、画像処理装置５から送信された画像を表示する。具体的には、室内カメラ用表示装置９は、画像処理装置５から室内カメラ画像が送信されると、該室内カメラ画像を表示する。室内カメラ用表示装置９は、画像処理装置５から室外カメラ画像が送信されると、該室外カメラ画像を表示する。
ここで、画像処理装置５のコントローラ５３が実行する、室外カメラ画像または室内カメラ画像の異常の判定について詳細に説明する。コントローラ５３は、室外カメラ画像および室内カメラ画像それぞれの各画素の所定の特徴を示す画素特徴値に基づいて異常を判定する。画素特徴値は、例えば、輝度である。以降において、コントローラ５３は、室外カメラ画像および室内カメラ画像の輝度に基づいて異常を判定するとして説明する。画素特徴値は、輝度に限られず、例えば彩度または明度であってよい。
コントローラ５３は、第１受信部５１によって受信された室外カメラ画像の共通部分における、輝度の分布（画素特徴値の分布）を示す輝度ヒストグラム（第１ヒストグラム）を生成する。コントローラ５３は、第２受信部５２によって受信された室内カメラ画像の共通部分における輝度分布を示す輝度ヒストグラム（第２ヒストグラム）を生成する。コントローラ５３が第２ヒストグラムを生成する対象となる室内カメラ画像と、第１ヒストグラムを生成する対象となる室外カメラ画像とがそれぞれ生成された時刻は所定時間内である。所定時間は、室外カメラ３の撮像範囲における環境と室内カメラ４の撮像範囲における環境との差異が、異物の影響による画像の異常の判定に影響を及ぼさないと見込まれる時間である。例えば、室外カメラ画像と室外カメラ画像とは、略同時に生成されてよい。
コントローラ５３は、室外画像特性値（第１画像特性値）および室内画像特性値（第２画像特性値）に基づいて異常を判定する。室外画像特性値は、室外画像の共通部分における輝度の特性を示す値である。室外画像特性値は、例えば、図５に示すような、室外カメラ画像の輝度の分布の広さを示す室外分布幅Ｗ１（第１分布幅）である。室内画像特性値は、室内画像の共通部分における画素分布の特性を示す値である。室内画像特性値は、例えば、室内カメラ画像の輝度の分布の広さを示す室内分布幅Ｗ２（第２分布幅）である。
室外分布幅Ｗ１は、例えば、図５に示すような、室外カメラ画像において輝度の高い所定割合の画素と輝度の低い所定割合の画素とを除いた輝度のうち、最高輝度Ｌ１maxから、最低輝度Ｌ１minを引いた値である。室内分布幅Ｗ２は、輝度の高い所定割合の画素と輝度の低い所定割合の画素とを除いた輝度のうち、最高輝度Ｌ２maxから、最低輝度Ｌ２minを引いた値である。所定割合は、例えば、１０％である。
コントローラ５３は、室外カメラ画像および室内カメラ画像に基づいて分布幅比率Ｒ（画像特性比率）を算出する。分布幅比率Ｒは、室外カメラ画像と室内カメラ画像とにおける輝度の分布の差異を示す値である。分布幅比率Ｒは、例えば、室外分布幅Ｗ１と室内分布幅Ｗ２との比率である。本実施形態では、分布幅比率Ｒは、室外分布幅Ｗ１の室内分布幅Ｗ２に対する比率Ｗ１／Ｗ２であるとして説明し、分布幅比率Ｒを分布幅比率Ｗ１／Ｗ２と記載する。
具体的には、コントローラ５３は、室外カメラ画像および室内カメラ画像に基づいて、それぞれ第１ヒストグラムおよび第２ヒストグラムを生成する。コントローラ５３は、第１ヒストグラムおよび第２ヒストグラムに基づいて、それぞれ室外分布幅Ｗ１および室内分布幅Ｗ２を算出する。そして、コントローラ５３は、室外分布幅Ｗ１に対する室内分布幅Ｗ２の比率を算出することによって分布幅比率Ｗ１／Ｗ２を算出する。
ここで、第１ヒストグラムおよび第２ヒストグラムの例について図５～図９を参照して説明する。
ウィンドウシールド２１に異物が付着していない場合、時間帯、天候、被写体、照明等の周辺環境にもよるが、例えば図５および図６に示すように、室内カメラ画像の輝度は、例えば該輝度が８ビットで表されるＡ／Ｄ変換値である場合に０から２５５までの範囲にわたって分布する。このとき、室外カメラ３の第１光学系３１にも異物が付着していなければ、図６に示したように室外カメラ画像の輝度の分布は室内カメラ画像の輝度の分布に類似する。したがって、分布幅比率Ｗ１／Ｗ２は、１を含む所定範囲（例えば、０．９～１．１）にあると見込まれる。一方、室外カメラ３の第１光学系３１に異物が付着している場合、光が第１光学系３１を透過しにくいため、または、光が異物により散乱されるため、第１撮像素子３２に到達する光量の減少、または、撮像される画像のコントラストの低下が起こる。そのため、図５に示したように、室外カメラ画像の輝度は、室内カメラ画像の輝度に比べて狭い範囲に分布する。したがって、分布幅比率Ｗ１／Ｗ２は、１より小さく、さらに、第１光学系３１に異物が付着していない場合の分布幅比率Ｗ１／Ｗ２に比べて小さい。
室外カメラ３が故障している場合、第１撮像素子３２が正常に画像を生成することができない。多くの場合、故障した室外カメラ３の画像は、全面が輝度略０の黒色となる。そのため、図７に示すように、室外カメラ画像の輝度は、図５に示した場合に比べてより狭い範囲に分布する。室外分布幅Ｗ１は、図５に示した場合に比べてより小さい。この場合、室内カメラ４が故障していず、かつウィンドウシールド２１に異物が付着していなければ、分布幅比率Ｗ１／Ｗ２は、図５に示した場合に比べてより小さい。
第１光学系３１に異物が付着していない場合、周辺環境にもよるが、図８に示すように、室外カメラ画像の輝度は、例えば該輝度が８ビットで表されるＡ／Ｄ変換値である場合に０から２５５までの範囲にわたって分布する。一方、ウィンドウシールド２１に異物が付着している場合、光がウィンドウシールド２１を透過しにくいため、または、光が異物により散乱されるため、室内カメラ４の第２撮像素子４２に到達する光量の減少、または、撮像される画像のコントラストの低下が起こる。そのため、室内カメラ画像の輝度は、室外カメラ画像の輝度に比べて狭い範囲に分布する。この場合、分布幅比率Ｗ１／Ｗ２は、１より大きく、さらに、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
室内カメラ４が故障している場合、第２撮像素子４２が正常に画像を生成することができない。そのため、室内カメラ画像の輝度は図９に示すように、図８に示す場合に比べてより狭い範囲に分布する。この場合、室内分布幅Ｗ２が図８に示した場合に比べてより小さい。このとき、室外カメラ３が故障していず、第１光学系３１に異物が付着していなければ、分布幅比率Ｗ１／Ｗ２は、図８に示す場合に比べてよりさらに大きい。
このように分布幅比率Ｗ１／Ｗ２は、撮像装置の故障または光学部材への異物付着による室外カメラ画像または室内カメラ画像の異常によって変化する。これを利用して、コントローラ５３は、分布幅比率Ｗ１／Ｗ２に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。そして、コントローラ５３は、室外カメラ画像または室内カメラ画像の異常の判定結果に基づいて、各種の処理を行う。以降において、コントローラ５３による異常の判定および各種の処理について詳細に説明する。
まず、コントローラ５３が、室外異物判定値Ｋ１（第１値）および室外カメラ故障判定値Ｋ２（第２値）を用いて、室外カメラ画像の異常を判定する例について説明する。室外異物判定値Ｋ１は、０より大きく１より小さい値である。室外異物判定値Ｋ１は、予めの実験により第１光学系３１に異物が付着している場合、または、室外カメラ３が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最大値である。室外カメラ故障判定値Ｋ２は、０より大きく、室外異物判定値Ｋ１より小さい値である。室外カメラ故障判定値Ｋ２は、予めの実験により、室外カメラ３が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最大値である。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ３の故障または第１光学系３１への異物付着によって室外カメラ画像に異常があると判定する。
コントローラ５３は、室外カメラ画像に異常があると判定すると、室外カメラ３の第１光学系３１の異物を除去するための異物除去制御を行う。異物除去制御には、第１光学系３１の加熱および洗浄が含まれる。
具体的には、コントローラ５３は、室外カメラ３の加熱部３７が第１光学系３１を加熱するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、送信部５４によって室外カメラ３に第１光学系３１の加熱を命令するための加熱信号を送信してよい。
コントローラ５３は、室外カメラ３の洗浄部３８が第１光学系３１を洗浄するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、送信部５４によって室外カメラ３に第１光学系３１の洗浄を命令するための洗浄信号を送信してよい。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であるか否かを判定してよい。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３の故障によって室外カメラ画像に異常がある、すなわち室外カメラ３に異常があると判定してよい。
コントローラ５３は、室外カメラ３に異常があると判定した場合、室外カメラ３の故障を示す室外故障情報を室外カメラ用表示装置８に送信してよい。コントローラ５３は、室内カメラ画像を室外カメラ用表示装置８に送信してよい。コントローラ５３は、室内カメラ画像から室外カメラ３の撮像範囲を切り出してよい。コントローラ５３は、室内カメラ画像が室外カメラ３によって撮影された場合の歪み、明るさ、コントラストとなるように、歪み、明るさ、コントラスト等を補正してよい。コントローラ５３は、補正された室内カメラ画像を室外カメラ用表示装置８に送信してよい。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であり、室外カメラ故障判定値Ｋ２より大きいと判定した場合、第１光学系３１への異物付着によって室外カメラ画像に異常があると判定してもよい。この場合、コントローラ５３は、第１光学系３１に異物が付着していることを示す光学系異物情報を室外カメラ用表示装置８に送信してよい。室外カメラ用表示装置８は、光学系異物情報を受信し、表示してよい。
次に、コントローラ５３が、ウィンドウ異物判定値Ｋ３（第３値）および室内カメラ故障判定値Ｋ４（第４値）を用いて室内カメラ画像の異常を判定する例について説明する。ウィンドウ異物判定値Ｋ３は、１より大きい値である。ウィンドウ異物判定値Ｋ３は、予めの実験によりウィンドウシールド２１に異物が付着しているか、室内カメラ４が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最小値である。室内カメラ故障判定値Ｋ４は、ウィンドウ異物判定値Ｋ３より大きい値である。室内カメラ故障判定値Ｋ４は、予めの実験により、室内カメラ４が故障している場合に算出されると見込まれる分布幅比率Ｗ１／Ｗ２の最小値である。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ４の故障またはウィンドウシールド２１への異物付着によって室内カメラ画像に異常があると判定する。
コントローラ５３は、室内カメラ画像に異常があると判定すると、ウィンドウシールド２１の異物を除去するための異物除去制御を行う。異物除去制御には、ウィンドウシールド２１の加熱および洗浄が含まれる。
具体的には、コントローラ５３は、加熱装置６がウィンドウシールド２１を加熱するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、加熱装置６にウィンドウシールド２１の加熱を命令するための加熱信号を送信してよい。
コントローラ５３は、洗浄装置７がウィンドウシールド２１を洗浄するよう異物除去制御を行ってよい。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、洗浄装置７にウィンドウシールド２１の洗浄を命令するための洗浄信号を送信してよい。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であるか否かを判定する。コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４の故障によって室内カメラ画像に異常がある、すなわち室内カメラ４に異常があると判定する。
コントローラ５３は、室内カメラ４に異常があると判定した場合、室内カメラ４の故障を示す室内故障情報を室内カメラ用表示装置９に送信してよい。コントローラ５３は、室外カメラ画像を室内カメラ用表示装置９に送信してよい。コントローラ５３は、室外カメラ画像から室内カメラ４の撮像範囲を切り出し、室外カメラ画像が、室内カメラ４によって撮影された場合の歪み、明るさ、コントラストとなるように、歪み、明るさ、コントラスト等を補正してよい。コントローラ５３は、補正された室外カメラ画像を室内カメラ用表示装置９に送信してよい。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であり、室内カメラ故障判定値Ｋ４未満であると判定した場合、ウィンドウシールド２１への異物付着に起因して室内カメラ画像に異常があると判定してもよい。この場合、コントローラ５３は、ウィンドウシールド２１に異物が付着していることを示すウィンドウ異物情報を室内カメラ用表示装置９に送信してよい。室内カメラ用表示装置９は、ウィンドウ異物情報を受信し、表示してよい。
続いて、図１０Ａおよび図１０Ｂに示すフローチャートを参照して、コントローラ５３による画像処理方法について説明する。コントローラ５３は、第１受信部５１が室外カメラ画像を受信し、第２受信部５２が室内カメラ画像を受信し、室外カメラ画像と室内カメラ画像とがそれぞれ撮像された時刻が所定時間内であった場合に処理を開始する。
まず、コントローラ５３は、分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１１）。具体的には、コントローラ５３は、第１受信部５１によって受信された室外カメラ画像に基づいて第１ヒストグラムを生成する。そして、コントローラ５３は、第１ヒストグラムに基づいて室外分布幅Ｗ１を算出する。コントローラ５３は、第２受信部５２によって受信された室内カメラ画像に基づいて第２ヒストグラムを生成する。そして、コントローラ５３は、第２ヒストグラムに基づいて室内分布幅Ｗ２を算出する。そして、コントローラ５３は、室外分布幅Ｗ１の室内分布幅Ｗ２に対する比率である分布幅比率Ｗ１／Ｗ２を算出する。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１２）。
コントローラ５３は、ステップＳ１２で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、室外カメラ３の加熱部３７が第１光学系３１を加熱するよう制御する（ステップＳ１３）。
コントローラ５３は、第１光学系３１の加熱後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１４）。
コントローラ５３は、ステップＳ１４で算出された第１光学系３１の加熱後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１５）。
コントローラ５３は、ステップＳ１５で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、室外カメラ３の洗浄部３８が第１光学系３１を洗浄するよう制御する（ステップＳ１６）。
コントローラ５３は、第１光学系３１の洗浄後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ１７）。
コントローラ５３は、ステップＳ１７で算出された第１光学系３１の洗浄後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であるか否かを判定する（ステップＳ１８）。
コントローラ５３は、ステップＳ１８で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であるか否かを判定する（ステップＳ１９）。
コントローラ５３は、ステップＳ１９で分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３に異常があると判定する。そして、コントローラ５３は、室外カメラ故障情報を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２０）。
コントローラ５３は、室内カメラ画像を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２１）。このとき、コントローラ５３は、室内カメラ画像を補正し、送信部５４によって補正された室内カメラ画像を送信してよい。コントローラ５３は、室内カメラ画像を、送信部５４によって室内カメラ用表示装置９に送信してよい。
コントローラ５３は、ステップＳ１９で分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２より大きいと判定した場合、第１光学系３１への異物の付着を示す光学系異物情報を送信部５４によって室外カメラ用表示装置８に送信する（ステップＳ２２）。
コントローラ５３は、ステップＳ１２、ステップＳ１５、またはステップＳ１８で分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１より大きいと判定した場合、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する（ステップＳ２３）。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、加熱装置６がウィンドウシールド２１を加熱するよう制御する（ステップＳ２４）。
コントローラ５３は、ウィンドウシールド２１の加熱後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ２５）。
コントローラ５３は、ステップＳ２５で算出された、ウィンドウシールド２１の加熱後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを判定する（ステップＳ２６）。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、洗浄装置７がウィンドウシールド２１を洗浄するよう制御する（ステップＳ２７）。
コントローラ５３は、ウィンドウシールド２１の洗浄後の分布幅比率Ｗ１／Ｗ２を算出する（ステップＳ２８）。
コントローラ５３は、ステップＳ２８で算出された、ウィンドウシールド２１の洗浄後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であるか否かを再び判定する（ステップＳ２９）。
コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であるか否かを判定する（ステップＳ３０）。
コントローラ５３は、ステップＳ３０で分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４に異常があると判定する。そして、コントローラ５３は、室内カメラ故障情報を送信部５４によって室内カメラ用表示装置９に送信する（ステップＳ３１）。
コントローラ５３は、送信部５４によって室外カメラ画像を室内カメラ用表示装置９に送信する（ステップＳ３２）。このとき、コントローラ５３は、室外カメラ画像を補正し、送信部５４によって補正された室外カメラ画像を送信してよい。コントローラ５３は、室外カメラ画像を、送信部５４によって室外カメラ用表示装置８に送信してよい。
コントローラ５３は、ステップＳ３０で分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４未満であると判定した場合、送信部５４によって、ウィンドウ異物情報を室内カメラ用表示装置９に送信する（ステップＳ３３）。
以上説明したように、第１実施形態によれば、画像処理装置５は、室外カメラ画像を受信する第１受信部５１と、室内カメラ画像を受信する第２受信部５２とを備える。さらに、画像処理装置５は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分に基づいて、室内カメラ画像または室外カメラ画像の異常を判定するコントローラ５３を備える。カメラによって生成された画像は周辺環境の影響によって大きく変化するため、１つの画像のみに基づいて、カメラの故障、あるいは光学部材への異物付着によって画像に異常があるか否かを判定することは困難である。例えば、１つのカメラによって生成された画像が全体的に黒に近い色合いで表されていた場合、被写体が黒に近い色合いであるためか、あるいは光学部材が曇っているためかを判定することは困難である。例えば、１つのカメラによって生成された画像が全体的に黒に近い色合いで表されていた場合、被写体が黒に近い色合いであるためか、カメラが故障しているためかを判定することは困難である。これに対して、第１実施形態の室外カメラ画像と室内カメラ画像とは撮像範囲における共通部分において周辺環境が同一である。そのため、画像処理装置５は、室内カメラ画像と室外カメラ画像とを比較することによって正確に異常を判定することができる。
第１実施形態によれば、室外カメラ画像は、ウィンドウシールド２１を介さずに被写体を撮像して生成される。室内カメラ画像は、ウィンドウシールド２１を介して被写体を撮像して生成される。このため、ウィンドウシールド２１に汚れ、曇り等の異物が付着している場合、室内カメラ画像の共通部分は、ウィンドウシールド２１を介さない撮像によって生成される室外カメラ画像の共通部分とは異なる画像となる。したがって、第１実施形態の画像処理装置５は、同一の周辺環境で生成された室内カメラ画像と室外カメラ画像とを比較することによってウィンドウシールド２１の異物付着に起因した異常を判定することができる。
第１実施形態によれば、画像処理装置５は、分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合、室外カメラ画像に異常があると判定し、第１光学系３１の異物除去制御を行う。このため、室外カメラ画像の異常が取り除かれうる。
第１実施形態によれば、画像処理装置５は、異物除去制御後の分布幅比率Ｗ１／Ｗ２が室外異物判定値Ｋ１以下であると判定した場合に、該分布幅比率が室外カメラ故障判定値Ｋ２以下であると判定すると、室外カメラ３に異常があると判定する。これにより、画像処理装置５は、室外カメラ画像の故障を示す室外故障情報を室外カメラ用表示装置８に送信することができる。室外カメラ用表示装置８は室外故障情報を表示することができる。したがって、移動体２の運転者は、室外カメラ３の故障を認識する。そして、運転者は、室内カメラ４によって生成された室内カメラ画像により移動体２の室外の状況を注意して確認したり、早期に室外カメラ３を修理したりすることによって安全に運転することができる。
第１実施形態によれば、画像処理装置５は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、室内カメラ画像に異常があると判定し、第２光学系４１またはウィンドウシールド２１の異物を除去するための異物除去制御を行う。このため、画像処理装置５が、室内カメラ画像の異常が取り除かれうる。
第１実施形態によれば、画像処理装置５は、異物除去制御後の分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、該分布幅比率が室内カメラ故障判定値Ｋ４以上であると判定すると、室内カメラ４に異常があると判定する。これにより、画像処理装置５は、室内カメラ画像の故障を示す室内故障情報を室内カメラ用表示装置９に送信することができる。室内カメラ用表示装置９は室内故障情報を表示することができる。したがって、移動体２の運転者は、室内カメラ４の故障を認識する。そして、運転者は、室内カメラ画像の代わりに、室外カメラ画像により移動体２の室外の状況を注意して確認したり、早期に室内カメラ４を修理したりすることによって安全に運転することができる。
第１実施形態によれば、画像処理装置５は、室外カメラ３に異常があると判定された場合、室内カメラ画像に基づいた画像を室外カメラ用表示装置８に送信する。これにより、移動体２の運転者は、室外カメラ画像を参照することができない代わりに、室内カメラ画像によって室外の状況を認識することができる。画像処理装置５は、室内カメラ４に異常があると判定された場合、室外カメラ画像に基づいた画像を室内カメラ用表示装置９に送信する。これにより、移動体２の運転者は、室内カメラ画像を参照することができない代わりに、室外カメラ画像によって室外の状況を認識することができる。
続いて、本開示の第２実施形態について説明する。
第２実施形態においては、第１実施形態と異なる構成のみについて説明する。第２実施形態において説明を省略する構成については第１実施形態と同一である。
第１実施形態において、室外画像特性値は、室外画像の輝度分布の広さを示す室外分布幅Ｗ１であった。室内画像特性値は、室内画像の輝度分布の広さを示す室内分布幅Ｗ２であった。しかし、第２実施形態において、室外画像特性値は、図５に示したような、室外カメラ画像の輝度の最大度数Ｆ１（第１最大度数）である。室内画像特性値は、室内カメラ画像の輝度の最大度数Ｆ２（第２最大度数）である。画像特性比率は、最大度数Ｆ２の最大度数Ｆ１に対する比率である最大度数比率Ｆ２／Ｆ１である。
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光の量は少なくなる。そのため、室外カメラ画像の輝度分布において、低い輝度に対応する度数が高くなる。一方、室内カメラ４に異物が付着していなければ、異物による光の量の減少に伴う、低い輝度に対応する度数の増加は少ない。この場合、最大度数比率Ｆ２／Ｆ１は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、最大度数比率Ｆ２／Ｆ１は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
したがって、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、最大度数比率Ｆ２／Ｆ１に基づいて室外カメラ画像の異常を判定してよい。第２実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第１実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、最大度数比率Ｆ２／Ｆ１に基づいて室内カメラ画像の異常を判定してよい。第２実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第１実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
以上説明したように、第２実施形態によれば、画像処理装置５は、室外カメラ画像と室内カメラ画像との撮像範囲における共通部分に基づいて、室内カメラ画像または室外カメラ画像の異常を判定する。このため、第１実施形態と類似して、室内カメラ画像または室外カメラ画像の異常を正確に判定することができる。
また、第２実施形態によれば、画像処理装置５は、最大度数比率Ｆ２／Ｆ１に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。最大度数Ｆ１が最大度数Ｆ２に比べて大きい場合、室外カメラ３の故障または異物の付着に起因して室外カメラ画像に異常があると推定されえる。最大度数Ｆ１が最大度数Ｆ２に比べて小さい場合、室内カメラ４の故障またはウィンドウシールド２１への異物付着に起因して室外カメラ画像に異常があると推定されえる。したがって、画像処理装置５は、室内カメラ画像または室外カメラ画像の異常を正確に判定することができる。
続いて、本開示の第３実施形態について図面を参照して説明する。
第３実施形態においては、第１実施形態と異なる構成のみについて説明する。第３実施形態において説明を省略する構成については第１実施形態と同一である。
第３実施形態において、室外画像特性値は、室外カメラ画像に含まれる被写体間の境界のエッジ幅ＷＥ１（第１エッジ幅）である。室内画像特性値は、室内カメラ画像に含まれる被写体間の境界のエッジ幅ＷＥ２（第２エッジ幅）である。画像特性比率は、室内カメラ画像のエッジ幅ＷＥ２の、室外カメラ画像のエッジ幅ＷＥ１に対する比率であるエッジ幅比率ＷＥ２／ＷＥ１である。
エッジ幅ＷＥ１およびエッジ幅ＷＥ２は、それぞれ室外カメラ画像および室内カメラ画像のコントラストの低さを示す値である。エッジ幅ＷＥ１およびエッジ幅ＷＥ２は、エッジ領域で輝度が変化する領域の幅である。エッジ領域は、室外カメラ画像および室内カメラ画像のうち一方の画像から公知の方法により抽出されたエッジを含む領域、および他の画像における該領域に対応する領域である。
具体的には、室外カメラ画像からエッジ領域が抽出された場合、室外カメラ画像のエッジ領域は抽出されたエッジ領域である。この場合、室内カメラ画像のエッジ領域は、室外カメラ画像のエッジ領域に対応する領域である。エッジ領域が室内カメラ画像から抽出された場合、室外カメラ画像のエッジ領域は抽出されたエッジ領域である。この場合、室内カメラ画像のエッジ領域は、室外カメラ画像のエッジ領域に対応する領域である。
図１１は、エッジに交差する方向における、基準点から距離に応じた画素の輝度を示す図である。図１１を参照して説明すると、画素特徴値が変化する領域は、輝度が、上限側輝度（上限側特徴値）と下限側輝度（下限側特徴値）との間にある領域である。したがって、エッジ幅ＷＥ１は、室外カメラ画像のエッジ領域における上限側輝度に対応する位置Ｐ１maxと、下限側輝度に対応する位置Ｐ１minとの差である。上限側輝度は、例えば、エッジ領域における最高輝度に１より小さい所定係数（例えば、０．８）を乗じた輝度である。下限側輝度は、エッジ領域における最低輝度に１より大きい所定係数（例えば、１．２）を乗じた輝度である。例えば、エッジ幅ＷＥ２は、室内カメラ画像の、エッジ領域に対応する領域における上限側輝度に対応する位置Ｐ２maxと、下限側輝度に対応する位置Ｐ２minとの差である。
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光が散乱および／または吸収されるため、室外カメラ３に異物が付着していない場合に比べて輝度のコントラストが低くなる。したがって、室外カメラ画像のエッジ幅ＷＥ１は、室外カメラ３に異物が付着している場合、異物が付着していない場合に比べて大きい。一方、ウィンドウシールド２１に異物が付着していない場合、異物による光の量の減少に伴う、室内カメラ画像のコントラストの低下は少なく、室内カメラ画像のエッジ幅ＷＥ２は大きくならない。したがって、室外カメラ３に異物が付着しており、ウィンドウシールド２１に異物が付着していない場合、エッジ幅比率ＷＥ２／ＷＥ１は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、エッジ幅比率ＷＥ２／ＷＥ１は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
したがって、コントローラ５３は、室外カメラ画像および室内カメラ画像それぞれからエッジを公知の方法によって抽出する。コントローラ５３は、室外カメラ画像および室内カメラ画像のいずれかからエッジ領域が抽出されると、該エッジ領域に基づいてエッジ幅ＷＥ１およびエッジ幅Ｗ２を算出する。具体的には、コントローラ５３は、室外カメラ画像からエッジ領域が抽出されると、該エッジ領域に基づいてエッジ幅ＷＥ１を算出する。コントローラ５３は、室内カメラ画像のエッジ領域に対応する領域に基づいてエッジ幅ＷＥ２を算出する。そして、コントローラ５３は、エッジ幅比率ＷＥ２／ＷＥ１を算出する。
さらに、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室外カメラ画像の異常を判定してよい。第３実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第１実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室内カメラ画像の異常を判定してよい。第３実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第１実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
以上説明したように、第３実施形態によれば、画像処理装置５は、エッジ幅比率ＷＥ２／ＷＥ１に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。光学部材に汚れ、曇り等の異物が付着することによって、画像のコントラストは低下する。したがって、コントラストによって変動するエッジ幅ＷＥ１およびＷＥ２を用いることによって、画像処理装置５は、室外カメラ画像または室内カメラ画像の異常を判定することができる。
続いて、本開示の第４実施形態について図面を参照して説明する。
第４実施形態においては、第３実施形態と異なる構成のみについて説明する。第４実施形態において説明を省略する構成については第３実施形態と同一である。
第４実施形態において、室外画像特性値は、図１１に示したような、室外カメラ画像のエッジレベルＬＥ１（第１エッジレベル）である。室内画像特性値は、室内カメラ画像のエッジレベルＬＥ２（第２エッジレベル）である。画像特性比率は、室内カメラ画像のエッジレベルＬＥ１の、室外カメラ画像のエッジレベルＬＥ２に対する比率であるエッジレベル比率ＬＥ１／ＬＥ２である。
エッジレベルＬＥ１およびエッジレベルＬＥ２は、室外カメラ画像のコントラストの低さを示す値である。例えば、エッジレベルＬＥ１は、室外カメラ画像のエッジ領域において輝度の変化率が所定値以上となる領域の最大輝度（最大の画素特徴値）と最小輝度（最小の画素特徴値）との差であってよい。エッジレベルＬＥ２は、室内カメラ画像のエッジ領域において輝度の変化率が所定値以上となる領域の最大輝度と最小輝度との差であってよい。輝度の変化率は、例えば、各画素の輝度と、該画素にエッジと交差する方向に隣接する画素の輝度との差である。第４実施形態におけるエッジ領域は、第３実施形態におけるエッジ領域と同一である。
室外カメラ３に異物が付着している場合、該異物によって室外カメラ３に到達する光が異物によって散乱するため、室外カメラ３に異物が付着していない場合に比べて輝度のコントラストが低くなる。したがって、室外カメラ画像のエッジレベルＬＥ１は、室外カメラ３に異物が付着している場合、異物が付着していない場合に比べて小さい。一方、ウィンドウシールド２１に異物が付着していない場合、異物による光の散乱に伴う、室内カメラ画像のコントラストの低下は少なく、室外カメラ画像のエッジレベルＬＥ１は小さくならない。したがって、エッジレベル比率ＬＥ１／ＬＥ２は、室外カメラ３に異物が付着していない場合に比べて小さい。類似して、ウィンドウシールド２１に異物が付着しており、室外カメラ３に異物が付着していない場合、エッジレベル比率ＬＥ１／ＬＥ２は、ウィンドウシールド２１に異物が付着していない場合に比べて大きい。
したがって、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室外カメラ画像の異常を判定してよい。第４実施形態における室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２は、それぞれ第３実施形態の室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２とは異なる値であってよい。コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室内カメラ画像の異常を判定してよい。第４実施形態におけるウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４は、それぞれ第３実施形態のウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４とは異なる値であってよい。
以上説明したように、第４実施形態によれば、画像処理装置５は、エッジレベル比率ＬＥ１／ＬＥ２に基づいて室外カメラ画像または室内カメラ画像の異常を判定する。光学部材に汚れ、曇り等の異物が付着することによって、該光学部材を透過する光を撮像することによって生成される画像のコントラストは低下する。したがって、コントラストによって変動するエッジレベル比率ＬＥ１およびＬＥ２を用いることによって、画像処理装置５は、室外カメラ画像または室内カメラ画像の異常を判定することができる。
続いて、本開示の第５実施形態について説明する。
第５実施形態においては、第１実施形態と異なる構成のみについて説明する。第５実施形態において説明を省略する構成については第１実施形態と同一である。
第１実施形態において、コントローラ５３は、室外画像特性値および室内画像特性値に基づいて室外カメラ画像または室内カメラ画像の異常を判定した。これに対して、第５実施形態において、コントローラ５３は、室外カメラ画像の共通部分を二値化した室外二値化画像と、室内カメラ画像の共通部分を二値化した室内二値化画像とに基づいて室外カメラ画像または室内カメラ画像の異常を判定する。具体的には、コントローラ５３は、室外二値化画像の各画素と、室内二値化画像の対応する画素とがそれぞれ一致しているか否かを判定する。コントローラ５３は、一致している画素数の、全体の画素数に対する比率である一致率を算出する。コントローラ５３は、一致率が閾値以下であった場合、室外二値化画像と室内二値化画像とのいずれかに異常があると判定してよい。
以上説明したように、第５実施形態によれば、画像処理装置５は、室外二値化画像と室内二値化画像との撮像範囲における共通部分に基づいて異常を判定する。室外カメラ画像と室内カメラ画像とのいずれにも異常がなければ、室外二値化画像と室内二値化画像とにおける対応する各画素は一致することが多い。しかし、光学部材に汚れ、曇り等の異物が付着することによって、画像の輝度は低くなる。すなわち、光学部材への異物付着に起因して一致率は低下する。したがって、画像処理装置５は、室外二値化画像と室内二値化画像との撮像範囲における共通部分に基づいて異常を判定することができる。
上述の実施形態における「移動体」は、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
上述の実施形態において、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以下であると判定した場合、室外カメラ３に異常があると判定したが、この限りではない。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室外カメラ故障判定値Ｋ２以上であり、かつ室外分布幅Ｗ１が第１故障値Ｋ５以下である場合に室外カメラ３に異常があると判定してよい。
上述の実施形態において、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であると判定した場合、室内カメラ４に異常があると判定したが、この限りではない。例えば、コントローラ５３は、分布幅比率Ｗ１／Ｗ２が室内カメラ故障判定値Ｋ４以上であり、かつ室内分布幅Ｗ２が第２故障値Ｋ６以下である場合に室内カメラ４に異常があると判定してよい。
室外カメラ３が故障している場合、時間帯、天候、被写体、照明等の周辺環境によらず、図７に示したように室外カメラ画像の輝度の分布範囲は狭いことが見込まれる。したがって、室外分布幅Ｗ１に基づいてより正確に室外カメラ３の故障を判定することができる。類似して、室内分布幅Ｗ２に基づいてより正確に室内カメラ４の故障を判定することができる。
上述の実施形態において、第１撮像装置は室外カメラ３であり、第２撮像装置は室内カメラ４であるがこれに限られない。例えば、第１撮像装置および第２撮像装置はいずれも室外カメラ３であってよい。この場合、コントローラ５３は、分布幅比率Ｗ１／Ｗ２がウィンドウ異物判定値Ｋ３以上であると判定した場合、ウィンドウシールド２１ではなく第２光学系４１への異物付着に起因して、第２撮像装置によって撮像された画像（第２画像）に異常があると判定する。コントローラ５３は、第２撮像装置に異常があると判定すると、ウィンドウシールド２１ではなく第２光学系４１の異物を除去するための異物除去制御を行ってよい。
上述の実施形態において、室外カメラ３は加熱部３７および洗浄部３８を備えるとしたがこれに限られない。例えば、室外カメラ３は加熱部３７および洗浄部３８を備えず、室外カメラ３の近傍に室外カメラ３とは別の機器である加熱器および洗浄器が設けられてもよい。この場合、コントローラ５３は、加熱信号および洗浄信号を室外カメラ３にではなく、それぞれ加熱器および洗浄器に送信することによって該加熱器および該洗浄器を制御してよい。そして、加熱器は加熱信号を受信すると第１光学系３１を加熱してよい。洗浄器は、洗浄信号を受信すると第１光学系３１を洗浄してよい。
上述の実施形態において、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱して洗浄したが、これに限られない。例えば、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱して、洗浄しなくてもよい。例えば、コントローラ５３は、第１光学系３１およびウィンドウシールド２１をそれぞれ加熱せず、洗浄してもよい。コントローラ５３は、加熱または洗浄させることによって異物除去制御を行ったが、これに限られない。コントローラ５３は、任意の方法により第１光学系３１およびウィンドウシールド２１に付着した異物を除去してよい。
上述の実施形態では、コントローラ５３は、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて室外カメラ画像の異常を判定した後に、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて室内カメラ画像の異常を判定したが、これに限られない。例えば、コントローラ５３は、ウィンドウ異物判定値Ｋ３および室内カメラ故障判定値Ｋ４を用いて室内カメラ画像の異常を判定した後に、室外異物判定値Ｋ１および室外カメラ故障判定値Ｋ２を用いて室外カメラ画像の異常を判定してもよい。
１ 撮像システム
２ 移動体
３ 室外カメラ（第１撮像装置）
４ 室内カメラ（第２撮像装置）
５ 画像処理装置
６ 加熱装置
７ 洗浄装置
８ 室外カメラ用表示装置（第１表示装置）
９ 室内カメラ用表示装置（第２表示装置）
３１ 第１光学系
３２ 第１撮像素子
３３ 第１画像処理プロセッサ
３４ 第１制御プロセッサ
３５ 第１ＣＡＮトランシーバ
３６ 第１通信部
３７ 加熱部
３８ 洗浄部
４１ 第２光学系
４２ 第２撮像素子
４３ 第２画像処理プロセッサ
４４ 第２制御プロセッサ
４５ 第２ＣＡＮトランシーバ
４６ 第２通信部
５１ 第１受信部
５２ 第２受信部
５３ コントローラ
５４ 送信部

Claims (18)

  1. 第１撮像装置が撮像する第１画像を受信する第１受信部と、
    前記第１撮像装置と同時に撮像を行う第２撮像装置が撮像し、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を受信する第２受信部と、
    前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を備え、
    前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像であり、
    前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である、
    画像処理装置。
  2. 前記第１画像と前記第２画像とは同時に撮像された画像である、請求項１に記載の画像処理装置。
  3. 前記コントローラは、前記第１画像の前記共通部分における特性を示す第１画像特性値および前記第２画像の前記共通部分における特性を示す第２画像特性値に基づく画像特性比率を用いて前記異常を判定する請求項２に記載の画像処理装置。
  4. 前記第１画像特性値は、前記第１画像の画素特徴値の分布の広さを示す第１分布幅であり、前記第２画像特性値は、前記第２画像の画素特徴値の分布の広さを示す第２分布幅であり、前記画素特徴値は、各画素の輝度、明度、彩度のいずれかを示すものであり、
    前記コントローラは、前記第１分布幅の前記第２分布幅に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
  5. 前記第１画像特性値は、前記第１画像の画素特徴値の分布における、度数の最大値である第１最大度数であり、前記第２画像特性値は、前記第２画像の画素特徴値の分布における、度数の最大値である第２最大度数であり、前記画素特徴値は、各画素の輝度、明度、彩度のいずれかを示すものであり、
    前記コントローラは、前記第２最大度数の、前記第１最大度数に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
  6. 前記第１画像特性値は、前記第１画像において算出されるエッジの幅である第１エッジ幅であり、前記第２画像特性値は、前記第２画像において算出される前記第１画像で算出されたエッジに対応するエッジの幅である第２エッジ幅であり、
    前記コントローラは、前記第２エッジ幅の、前記第１エッジ幅に対する比率を前記画像特性比率とし、前記画像特性比率に基づいて前記異常を判定する請求項３に記載の画像処理装置。
  7. 前記第１エッジ幅および前記第２エッジ幅は、各画素の輝度、明度、彩度のいずれかを示す値を画素特徴値とするとき、前記エッジを含むエッジ領域で前記画素特徴値が変化する領域の幅である請求項６に記載の画像処理装置。
  8. 前記画素特徴値が変化する領域は、前記エッジ領域における前記画素特徴値が、前記エッジ領域における前記画素特徴値の最小値より大きい下限側特徴値と前記エッジ領域における前記画素特徴値の最大値より小さい上限側特徴値との間にある領域である請求項７に記載の画像処理装置。
  9. 前記コントローラは、前記画像特性比率が０より大きく１より小さい第１値以下であると判定した場合、前記第１画像に異常があると判定し、前記第１画像を生成した第１撮像装置の光学系に付着した異物を除去するための異物除去制御を行う請求項３から８のいずれか一項に記載の画像処理装置。
  10. 前記コントローラは、前記第１撮像装置を洗浄または加熱させることによって異物除去制御を行う請求項９に記載の画像処理装置。
  11. 前記コントローラは、前記画像特性比率が前記第１値より低い第２値以下である場合、前記第１画像を生成する第１撮像装置に異常があると判定する請求項９または１０に記載の画像処理装置。
  12. 前記コントローラは、前記画像特性比率が１より大きい第３値以上であると判定した場合、前記第２画像に異常があると判定し、前記第２画像を生成した第２撮像装置の撮像素子に到達する光が透過する部材に付着した異物を除去するための異物除去制御を行う請求項４から８のいずれか一項に記載の画像処理装置。
  13. 前記コントローラは、前記部材を洗浄または加熱させることによって異物除去制御を行う請求項１２に記載の画像処理装置。
  14. 前記コントローラは、前記画像特性比率が前記第３値より高い第４値以上である場合、前記第２画像を生成する第２撮像装置に異常があると判定する請求項１２または１３に記載の画像処理装置。
  15. 前記コントローラは、前記第１画像に異常があると判定された場合、前記第２画像に基づいた画像を前記第１画像に異常がない場合に前記第１画像を送信する第１表示装置に送信し、前記第２画像に異常があると判定された場合、前記第１画像に基づいた画像を前記第２画像に異常がない場合に前記第２画像を送信する第２表示装置に送信する送信部を更に備える請求項１から１４のいずれか一項に記載の画像処理装置。
  16. 第１画像を生成する第１撮像装置と、
    前記第１撮像装置と同時に撮像を行い、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を生成する第２撮像装置と、
    前記第１画像を受信する第１受信部と、前記第２画像を受信する第２受信部と、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を含む画像処理装置と、を備え、
    前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像であり、
    前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である、
    撮像システム。
  17. 第１画像を生成する第１撮像装置と、
    前記第１撮像装置と同時に撮像を行い、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を生成する第２撮像装置と、
    前記第１画像を受信する第１受信部と、前記第２画像を受信する第２受信部と、前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定するコントローラと、を含む画像処理装置と、を備え、
    前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像であり、
    前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である、
    移動体。
  18. 画像処理装置が実行する画像処理方法であって、
    第１撮像装置が撮像する第１画像を受信し、
    前記第１撮像装置と同時に撮像を行う第２撮像装置が撮像し、前記第１画像の撮像範囲の少なくとも一部を共通部分として撮像範囲に含む第２画像を受信し、
    前記第１画像と前記第２画像との撮像範囲における前記共通部分に基づいて、前記第１画像または前記第２画像の異常を判定し、
    前記第１画像は、室外と室内とを隔てる光学部材を介さずに被写体を撮像して生成された画像であり、
    前記第２画像は、前記光学部材を介して前記被写体を撮像して生成された画像である、
    画像処理方法。
JP2018005942A 2018-01-17 2018-01-17 画像処理装置、撮像システム、移動体、および画像処理方法 Active JP7074482B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018005942A JP7074482B2 (ja) 2018-01-17 2018-01-17 画像処理装置、撮像システム、移動体、および画像処理方法
PCT/JP2019/000107 WO2019142675A1 (ja) 2018-01-17 2019-01-07 画像処理装置、撮像システム、移動体、および画像処理方法
EP19740975.8A EP3742719A4 (en) 2018-01-17 2019-01-07 IMAGE PROCESSING DEVICE, IMAGE ACQUISITION SYSTEM, MOBILE BODY, AND IMAGE PROCESSING METHOD
CN201980006852.2A CN111567028B (zh) 2018-01-17 2019-01-07 图像处理装置、拍摄系统、移动体、以及图像处理方法
US16/958,364 US11551340B2 (en) 2018-01-17 2019-01-07 Image processing apparatus, imaging system, mobile body, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018005942A JP7074482B2 (ja) 2018-01-17 2018-01-17 画像処理装置、撮像システム、移動体、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2019125942A JP2019125942A (ja) 2019-07-25
JP7074482B2 true JP7074482B2 (ja) 2022-05-24

Family

ID=67301434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018005942A Active JP7074482B2 (ja) 2018-01-17 2018-01-17 画像処理装置、撮像システム、移動体、および画像処理方法

Country Status (5)

Country Link
US (1) US11551340B2 (ja)
EP (1) EP3742719A4 (ja)
JP (1) JP7074482B2 (ja)
CN (1) CN111567028B (ja)
WO (1) WO2019142675A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414486B2 (ja) * 2019-11-21 2024-01-16 日立Astemo株式会社 車載ステレオカメラ
DE102020130481A1 (de) 2020-11-18 2022-05-19 Daimler Ag Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
DE112022001075T5 (de) 2021-07-29 2023-11-30 Hitachi Astemo, Ltd. Bildverarbeitungseinrichtung und bildverarbeitungssystem
US12037140B2 (en) 2022-11-22 2024-07-16 The Boeing Company System, apparatus, and method for inspecting an aircraft window

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115357A1 (en) 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
JP2009245354A (ja) 2008-03-31 2009-10-22 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
JP2011182387A (ja) 2010-02-04 2011-09-15 Casio Computer Co Ltd 撮像装置、警告方法、および、プログラム
JP2012228916A (ja) 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2014013454A (ja) 2012-07-03 2014-01-23 Clarion Co Ltd 車載用環境認識装置
JP2014043121A (ja) 2012-08-24 2014-03-13 Hitachi Automotive Systems Ltd 車載カメラ装置
CN106218587A (zh) 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备
JP2017049412A (ja) 2015-09-01 2017-03-09 富士通株式会社 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2017092753A (ja) 2015-11-12 2017-05-25 セイコーエプソン株式会社 画像処理装置、ロボットおよびロボットシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130455A (ja) 1988-11-11 1990-05-18 Nissan Motor Co Ltd ウィンドガラス面曇り検出装置
JP5056919B2 (ja) * 2009-09-29 2012-10-24 株式会社デンソー 車載光学センサカバー及び車載光学センサ装置
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN107040709A (zh) 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
JP6259482B2 (ja) * 2016-03-18 2018-01-10 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
WO2017203970A1 (ja) * 2016-05-24 2017-11-30 ソニー株式会社 車載用情報処理装置、車載用情報処理システム、情報処理方法及びプログラム
US11010934B2 (en) * 2016-12-09 2021-05-18 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115357A1 (en) 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
JP2009245354A (ja) 2008-03-31 2009-10-22 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
JP2011182387A (ja) 2010-02-04 2011-09-15 Casio Computer Co Ltd 撮像装置、警告方法、および、プログラム
JP2012228916A (ja) 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2014013454A (ja) 2012-07-03 2014-01-23 Clarion Co Ltd 車載用環境認識装置
JP2014043121A (ja) 2012-08-24 2014-03-13 Hitachi Automotive Systems Ltd 車載カメラ装置
JP2017049412A (ja) 2015-09-01 2017-03-09 富士通株式会社 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2017092753A (ja) 2015-11-12 2017-05-25 セイコーエプソン株式会社 画像処理装置、ロボットおよびロボットシステム
CN106218587A (zh) 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备

Also Published As

Publication number Publication date
WO2019142675A1 (ja) 2019-07-25
CN111567028B (zh) 2021-09-21
EP3742719A4 (en) 2021-12-01
JP2019125942A (ja) 2019-07-25
EP3742719A1 (en) 2020-11-25
CN111567028A (zh) 2020-08-21
US20210073971A1 (en) 2021-03-11
US11551340B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7074482B2 (ja) 画像処理装置、撮像システム、移動体、および画像処理方法
US10432847B2 (en) Signal processing apparatus and imaging apparatus
EP2351351B1 (en) A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
EP2618304B1 (en) Imaging apparatus, vehicle system having the same, and image-processing method
US20120188373A1 (en) Method for removing noise and night-vision system using the same
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
JP6971933B2 (ja) 画像処理装置及び撮像装置
JP6081034B2 (ja) 車載カメラ制御装置
US11514595B2 (en) Depth acquisition device and depth acquisition method including estimating a depth of a dust region based on a visible light image
CN105857180B (zh) 雾霾天车辆驾驶辅助系统及其方法
US11165932B2 (en) Imaging apparatus, imaging system, vehicle and foreign matter determination method
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
WO2020195610A1 (ja) 画像処理装置、撮像装置、移動体及び画像処理方法
JP2001111989A (ja) 車載用撮像装置
JP6933955B2 (ja) サイドミラー装置、サイドミラーシステム、および車両
US20150035982A1 (en) Image capturing device for a vehicle
JP6204844B2 (ja) 車両のステレオカメラシステム
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
JP6922700B2 (ja) 雨滴検出装置及びワイパ制御装置
US11979655B2 (en) Method to detect and overcome degradation image quality impacts
JP7219710B2 (ja) ドライバー・アシスタント・システム用のカメラ撮影を改善するための方法と装置
WO2013035320A1 (ja) 観察装置
CN118928295A (zh) 一种车窗玻璃的净化方法、装置以及存储介质
JP2021082099A (ja) 車載ステレオカメラ
CN119428448A (zh) 一种前向视野盲区辅助方法、系统、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220512

R150 Certificate of patent or registration of utility model

Ref document number: 7074482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150