Nothing Special   »   [go: up one dir, main page]

JPWO2019188389A1 - 信号処理装置、および信号処理方法、プログラム、並びに移動体 - Google Patents

信号処理装置、および信号処理方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JPWO2019188389A1
JPWO2019188389A1 JP2020510640A JP2020510640A JPWO2019188389A1 JP WO2019188389 A1 JPWO2019188389 A1 JP WO2019188389A1 JP 2020510640 A JP2020510640 A JP 2020510640A JP 2020510640 A JP2020510640 A JP 2020510640A JP WO2019188389 A1 JPWO2019188389 A1 JP WO2019188389A1
Authority
JP
Japan
Prior art keywords
boundary
distance
image
unit
distance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020510640A
Other languages
English (en)
Other versions
JP7351293B2 (ja
Inventor
琢人 元山
琢人 元山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019188389A1 publication Critical patent/JPWO2019188389A1/ja
Application granted granted Critical
Publication of JP7351293B2 publication Critical patent/JP7351293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、移動体の移動可能領域を高精度に検出することができるようにする信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。カメラで撮像した画像におけるセマンティックラベリング情報に基づいて、画像における移動体の移動可能領域の境界が存在する領域を、画像移動可能領域境界として推定し、デプスセンサにより検出された距離画像に基づいて、距離画像における移動体の移動可能領域の境界が存在する領域を、距離画像移動可能領域境界として推定し、画像移動可能領域境界、および距離画像移動可能領域境界に基づいて、移動可能領域の境界を決定し、決定された移動可能領域の境界に基づいて、環境マップを生成する。本開示は、車載システムに適用することができる。

Description

本開示は、信号処理装置、および信号処理方法、プログラム、並びに移動体に関し、特に、移動体の移動可能領域を高精度に検出できるようにした信号処理装置、および信号処理方法、プログラム、並びに移動体に関する。
車両やロボットなどの移動体を自律的に移動させる様々な技術が提案されている。
移動体の自律移動に際しては、カメラなどにより撮像される移動体の移動方向の画像から移動可能領域を検出し、検出された移動可能領域の情報に基づいて、占有格子マップなどからなるローカルマップを生成し、移動を計画する。
移動可能領域を検出する技術として、レーザレーダ（LiDARを含む）によるポイントクラウド情報（３Ｄ点群情報）とカメラにより撮像された画像を用いて、路面境界（走行可能領域）を推定する技術が提案されている（特許文献１参照）。
より具体的には、レーザレーダのポイントクラウド情報における、高さ情報に基づいて立体構造物が判定されて、占有格子マップが生成される。また、カメラにより撮像された画像に基づいて、消失点方向に延びるエッジが抽出される。そして、占有格子マップの走行可能領域の境界と画像エッジとを比較し、立体物の足元で路面境界となるエッジを抽出する。このようにして求められたエッジからなる路面境界に基づいて、移動可能領域が検出される。
特開２０１４−００６５８８号公報
しかしながら、特許文献１の技術に係る、カメラにより撮像された画像に基づいたエッジ検出は、影やノイズ等の外乱を受け易く、また、レーザレーダの偽点による占有格子マップについてもノイズによる影響を受け易い。
本開示は、このような状況に鑑みてなされたものであり、特に、高精度に移動体の移動可能領域の境界を検出するものである。
本開示の一側面の信号処理装置は、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部とを含む信号処理装置である。本開示の一側面の信号処理方法は、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定処理と、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定処理と、前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定処理とを含む信号処理方法である。
本開示の一側面のプログラムは、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部としてコンピュータを機能させるプログラムである。
本開示の一側面の移動体は、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部と前記移動可能領域境界決定部により決定された移動可能領域の境界に基づいて、環境マップを生成する環境マッピング部と、前記環境マップに基づいて行動計画を生成する計画部と、生成された前記行動計画に基づいて移動体の動作を制御する制御部とを含む移動体である。
本開示の一側面においては、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域が、ラベリング情報境界として推定され、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域が、距離画像境界として推定され、前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界が決定される。
本開示の一側面によれば、特に、高精度に移動体の移動可能領域の境界を検出することが可能となる。
本開示の移動可能領域の境界の検出方法の概要を説明する図である。 セマンティックセグメンテーションのエラーを説明する図である。 デプスセンサによる障害物の検出漏れエラーを説明する図である。 セマンティックセグメンテーションにおけるエラーとデプスセンサにおけるエラーとを考慮した移動可能領域の検出方法を説明する図である。 本開示の移動体が車両である場合の移動体制御システムの一例である車両制御システムの構成例を説明するブロック図である。 本開示の移動体がロボットである場合の移動体制御システムの一例であるロボット制御システムの構成例を説明するブロック図である。 図５または図６の状況認識部の構成例を説明する図である。 セマンティックセグメンテーションを説明する図である。 距離画像の座標変換を説明する図である。 デプス移動可能領域境界コストを説明する図である。 デプス移動可能領域境界コストの具体的な求め方を説明する図である。 画像移動可能領域境界コストを説明する図である。 移動可能領域境界の推定方法を説明する図である。 環境マップの生成方法を説明する図である。 環境マップを生成する際の距離を求める方法を説明する図である。 自動運転制御処理を説明するフローチャートである。 環境マップ生成処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．ソフトウェアにより実行させる例
＜＜１．本開示の好適な実施の形態＞＞
＜移動可能領域の境界の検出方法の概要＞
まず、図１を参照して、本開示の移動可能領域の境界の検出方法の概要について説明する。
本開示の移動体においては、単眼のカメラ１１と、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）またはレーザレーダ等、ToF（Time of Flight）、およびステレオカメラよりなるデプスセンサ１２とを含み、カメラ１１により撮像された画像と、デプスセンサ１２により検出されたポイントクラウド情報に基づいた距離画像（デプス画像）とを用いて、画像内における移動可能領域を求めて適切な環境マップを生成する。
より詳細には、図１で示されるように、カメラ１１により撮像された画像Ｐ１１に対して、画素単位で被写体の種別が分類され、分類結果に対してラベルが付与されるようにする。
図１の画像Ｐ１１で示されるような画像が撮像された場合、画像Ｐ１３で示されるように、領域Ｚ３１に属する各画素には、路面３１の種別を示すラベルが付与され、領域Ｚ３２−１，Ｚ３２−２に属する各画素には壁３２−１，３２−２の種別を示すラベルが付与され、領域Ｚ３３−１，Ｚ３３−２に属する各画素には静止構造物３３−１，３３−２の種別を示すセラベルが付与される。また、領域Ｚ３４に属する各画素に空３４の種別を示すラベルが付与され、領域Ｚ３５に属する各画素に人３５の種別を示すラベルが付与される。尚、画像におけるレンズ歪等は、事前に補正されているものとしている。
また、デプスセンサ１２により検出されるポイントクラウド情報に基づいて、各画素の画素値が被写体までの距離情報からなる距離画像Ｐ１２が得られる。
尚、図１の左下部の距離画像Ｐ１２においては、丸印で示される画素単位で、被写体までの距離情報が距離に応じた異なる明るさで表現されている。
また、距離画像Ｐ１２においては、丸印で示される距離情報からなる画素の間隔は、画像Ｐ１１の画素単位に比べて密度が低いものである。そこで、距離画像Ｐ１２については、丸印で示された画素単位の距離情報を用いて、丸印以外の画素についても、距離情報が補間生成されることで、カメラ１１と同一の解像度にされる。
また、距離画像Ｐ１２は、デプスセンサ１２の視点で検出されたポイントクラウド情報（３次元点群情報）に基づいて生成されたものであるので、各点の座標系が、カメラ１１の視点を基準とした座標系に変換される。
これにより、画素単位でラベルが付与された画像Ｐ１１と、画素単位で距離情報が付与された距離画像Ｐ１２とから、画像Ｐ１３においては、画素単位でラベルと距離情報とが付与されることになる。
すなわち、画素単位でラベルと距離情報とが付与された画像Ｐ１３に基づいて、路面、床、および平地などとして分類される領域が移動体の移動可能領域として求められる。図１の画像Ｐ１３の場合、路面３１のラベルが付与された領域Ｚ３１が移動可能領域として求められる。
移動可能領域が求められると、移動可能領域の境界の情報と、画素単位での距離情報とに基づいて、２次元の占有格子マップからなる環境マップＰ１４が求められる。図１の環境マップＰ１４においては、白色の範囲が、移動可能領域の情報と距離情報とから求められる画像Ｐ１３における路面３１のラベルが付与された領域Ｚ３１に対応する移動可能領域である。また、黒色の範囲が、移動可能領域の境界の情報と距離情報とに基づいて求められる壁３２−１，３２−２、静止構造物３３−１，３３−２、および人３５のそれぞれに対応する領域Ｚ３２−１，Ｚ３２−２，Ｚ３３−１，Ｚ３３−２，Ｚ３５に対応する障害物の領域である。さらに、グレーの範囲は、障害物により視認できない不明領域である。
本開示の移動体においては、図１で示される占有格子マップからなる環境マップＰ１４が生成されることにより、この環境マップＰ１４に基づいて、移動可能領域を認識して自律移動を実現する事が可能となる。
＜セマンティックセグメンテーションのエラー＞
次に、図２を参照して被写体の種別に応じたラベリングにおけるエラーについて説明する。
上述したように、本開示の移動体において、移動可能領域を認識可能な占有格子マップからなる環境マップを生成するにあたって、カメラ１１により撮像された画像内の被写体の種別が分類されて、画素単位で分類結果に対応するラベルが付与される。この画素単位の被写体の種別の分類結果に対応するラベルを付与する処理は、後述するセマンティックセグメンテーションにより実現される。セマンティックセグメンテーションは、ディープラーニングによる機械学習に基づいて、画素単位で被写体の種別を分類し、分類結果に基づいてセマンティックラベルが付与される処理である。このセマンティックセグメンテーションによるセマンティックラベルの付与については、画像の条件により、付与されるセマンティックラベルにエラーが発生することがある。
すなわち、路面３１のセマンティックラベルが付与された領域Ｚ３１と、壁３２−２のセマンティックラベルが付与された領域Ｚ３２−２との境界が、本来、図２の右下部における画像Ｐ１３で示されるように直線状に形成されるものとする。
ところが、画像Ｐ１１の画像における感度調整、ホワイトバランス、露出調整、およびノイズ等の撮像環境の違いにより、学習時に使用した教師画像とは異なる撮像環境との画像が用いられることで、例えば、図２の右下部における画像Ｐ１３’の実線の丸印の範囲で示されるようにエラーが生じることがある。すなわち、画像Ｐ１３’の実線の丸印の範囲においては、路面３１のセマンティックラベルが付与された領域Ｚ３１と、壁３２−２のセマンティックラベルが付与された領域Ｚ３２−２との境界が直線状に形成されず、正しくセマンティックラベルが付与されていない。
このようなセマンティックセグメンテーションのエラーは、教師画像がCG（Computer Graphics）画像であり、生徒画像が実写画像であるような場合でも生じることがある。
すなわち、教師画像における撮像環境と、生徒画像における撮像環境との間に違いが生じることにより、正しく被写体の種別を分類することができず、エラーが生じることがある。
このセマンティックセグメンテーションのエラーは、この他にも、例えば、路面に似たテクスチャである場合、路面ではないのに路面にとして認識してしまったり、暗所や逆光などで教師画像とは異なる色味で撮像されるような場合に発生し易い。
＜デプスセンサによるエラー＞
次に、図３を参照して、デプスセンサ１２によるエラーについて説明する。
デプスセンサ１２は、例えば、LiDAR、レーザレーダ、ToFセンサなどで構成されるような場合、図３で示されるように、移動体の移動方向前方に対して、垂直方向に複数の角度で配置された投光部を、水平方向および垂直方向に回転させながら、放射状の投光方向Ｌ１乃至Ｌ８のそれぞれに対してレーザ光を投光し、障害物４１，４２により反射される反射光を受光することで、投光時刻と、反射光の受光時刻との差分となる往復時間より距離を求めることで、障害物４１，４２までの距離と方向と測定するものである。
ここで、図３で示されるように、カメラ１１により画像Ｐ２１で示されるような画像が撮像される位置関係となる障害物４１，４２の存在する範囲について、デプスセンサ１２により距離画像を検出する場合、デプスセンサ１２から近い範囲については、例えば、投光方向Ｌ１乃至Ｌ５などのように、所定の密度で光が投光されることにより、所定の精度で測定することが可能である。
一方、例えば、投光方向Ｌ６乃至Ｌ８で示されるように、デプスセンサ１２から遠い範囲については、障害物４１のように大きなものであれば、投光方向Ｌ７，Ｌ８のように反射光を受光することが可能であり、その距離も測定することが可能である。
しかしながら、デプスセンサ１２から遠い範囲であって、障害物４２のように小さな障害物については、投光方向Ｌ６，Ｌ７との間になるので、距離測定そのものができない。すなわち、デプスセンサ１２において検出されるポイントクラウド情報は、デプスセンサ１２の検出位置から遠くなるほど、投光する光の密度が疎になるため、解像度の低下が生じてしまうので、障害物４２のような小さな障害物を適切に検出できない恐れがある。結果として、ポイントクラウド情報に基づいた距離画像を補間することで、高解像度化を図っても、小さな障害物は検出されないことになり、エラーとなる恐れがある。
＜セマンティックセグメンテーションにおけるエラーとデプスセンサにおけるエラーとを考慮した移動可能領域の検出方法＞
上述したように、移動可能領域を検出するにあたっては、カメラ１１により撮像される画像から得られるセマンティックセグメンテーションのエラーとデプスセンサ１２により検出される距離画像のエラーとを考慮する必要がある。
例えば、図４で示されるように、カメラ１１により撮像された画像に基づいて、セマンティックセグメンテーションにより画素単位でセマンティックラベルが付与された画像Ｐ３１に対しては、セマンティックラベルは、撮像環境やテクスチャによる影響を受けてエラーを生じることがあるが、撮像環境が整っている限り、距離については近い範囲でも遠い範囲でも比較的エラーが生じ難い。これに対してデプスセンサ１２により検出される距離画像は、図３を参照して説明したように、比較的近い範囲においてエラーが生じ難いが、遠い範囲についてはエラーが生じ易く、また、撮像環境の変化に対してのエラーは発生し難い。
そこで、セマンティックセグメンテーションを用いた、移動可能領域の境界が存在する可能性の分布からなる画像移動可能領域境界コストと、距離画像を用いた移動可能領域の境界が存在する可能性の分布からなる距離画像移動可能領域境界コストとを設定し、これらを用いることで、高精度に移動可能領域を認識できるようにする。
例えば、画像Ｐ３２で示されるように、移動可能領域の境界が存在する可能性のある領域について、距離に応じた垂直方向の幅Ｈを設定し、画像移動可能領域境界コストを設定する。尚、画像Ｐ３１のセマンティックラベルに基づいた移動可能領域の境界のコストを示す画像Ｐ３２は、以降において、単に、画像移動可能領域境界コストＰ３２と称する。
画像移動可能領域境界コストＰ３２においては、移動可能領域の境界が存在する可能性が高い範囲（境界が存在する可能性が高い範囲）を白色で表し、それ以外の領域である可能性が高い領域を黒色で表している。
図４の画像移動可能領域境界コストＰ３２においては、画像Ｐ３１で示される移動可能領域の境界（路面３１との境界）を示す点線Ｂ１に対応する、路面３１との境界に対応する点線Ｂ２を中心として、撮像位置（移動体の位置）からの距離の応じた白色の範囲の垂直方向の幅Ｈが設定される。すなわち、距離が近い領域ほどコストが低い、白色の領域（境界が存在する可能性の高い領域）の幅Ｈが大きく設定され、撮像位置（移動体の位置）からの距離が遠い領域ほど、コストが低い白色の領域の幅Ｈが小さく設定される。
これは、距離画像を用いて移動可能領域を推定する場合、距離が遠い領域ではデプスセンサ１２によるエラーが生じ易いため、距離が遠い範囲については、エラーが少ないカメラ１１により撮像された画像に基づいたセマンティックラベルを用いた移動可能領域の境界が存在する可能性の分布を採用し易くするために幅Ｈが狭く設定される。
また、距離が近い範囲については、デプスセンサ１２においてもエラーが生じ難いので、セマンティックラベルを用いた移動可能領域の境界が存在する可能性のみならず、距離画像に基づいた移動可能領域の境界が存在する可能性についても考慮するため、セマンティックラベルを用いた移動可能領域の境界の幅Ｈが広く設定される。
一方、デプスセンサ１２を視点として検出されるポイントクラウド情報から得られる距離画像Ｐ４１の座標系は、カメラ１１を視点として撮像された画像Ｐ３１の座標系と異なるため、いずれか一方の座標系に変換する。ここでは、デプスセンサ１２により検出される距離画像Ｐ４１の座標系が、カメラ１１を視点として撮像された画像Ｐ３１の座標系に変換されて、距離画像Ｐ４２に変換されるものとする。距離画像Ｐ４２は、座標変換されたポイントクラウドを画像Ｐ３１に重畳して表示したときの様子を示しており、実際には画像Ｐ４３のような低解像度の距離画像が得られる。また、デプスセンサ１２により得られる距離画像Ｐ４３の解像度は、カメラ１１により撮像される画像Ｐ３１に対して低解像度であるので、距離画像Ｐ４３における距離情報の存在しない画素位置の距離情報が必要なときは、周囲の距離情報が存在する点から補間されることにより、距離情報を生成することが可能である。
従って、画像移動可能領域境界コストＰ３２における垂直方向の幅の設定に当たっては、カメラ１１と同一の座標系で、かつ、距離画像Ｐ４３から補間により得られた距離情報が用いられ、画像Ｐ３２における境界Ｂ２上の各画素に対応する、画像Ｐ４３からの補間により生成された距離情報に基づいて、幅Ｈが設定されて、画像移動可能領域境界コストＰ３２が設定される。
また、距離画像Ｐ４３における列毎の距離情報（ポイントクラウド情報）である列単位距離情報Ｄ１に基づいて、距離と高さとの分布Ｄ１１が求められ、分布Ｄ１２で示されるように、路面３１とみなされる水平方向の分布ＤＨと、障害物とみなされる垂直方向の分布ＤＶとのバツ印で示される交点となる路面３１と障害物との境界、すなわち、移動可能領域の境界を探索して、列単位の境界の距離が求められる。
ここで、距離画像Ｐ４３により求められるデプス移動可能領域境界コストＰ４５については、距離が遠い程、デプスセンサ１２の精度が低いので、列単位に検出される距離における移動可能領域の境界の存在する可能性が低いことを示すようにコストが大きく設定される。また、デプス移動可能領域境界コストＰ４５については、距離が近い程、デプスセンサ１２の精度が高いので、列単位に検出される距離における移動可能領域の境界の存在する可能性が高いことを示すようにコストが小さく設定される。
すなわち、画像移動可能領域境界コストＰ３２は、距離が近い程、白色で示されるコストが低い、境界が存在する可能性の高い領域の幅が、大きく設定され、距離が遠い程、白色で示されるコストが低い、境界が存在する可能性の高い領域の幅が、小さく設定される。
一方、デプス移動可能領域境界コストＰ４５は、距離が近い程、デプスセンサ１２の精度が高いので、コストが低く、移動可能領域の境界が白色に近い色で示され、境界が存在する可能性の高い領域として設定され、距離が遠い程、コストが高く、黒色に近い色で示され、境界が存在する可能性の低い領域として設定される。
最終的に、画像移動可能領域境界コストＰ３２と、デプス移動可能領域境界コストＰ４５とを用いた最適化処理により統合することで、求められる移動可能領域の境界Ｐ５１が特定される。すなわち、統合移動可能領域境界Ｐ５１においては、白色で示される線状の領域が移動可能領域と、それ以外の領域との境界として求められる。すなわち、統合移動可能領域境界Ｐ５１においては、白色で示される移動可能領域の境界より下部の範囲が移動可能領域であり、境界よりも上部の範囲が移動可能領域以外の領域であることが示される。
＜移動体が車両である場合の移動体制御システムの一例である車両制御システムの構成例＞
次に、本技術が適用され得る移動体が車両である場合の移動体制御システムの一例である車両制御システムについて説明する。
図５は、本技術が適用され得る移動体制御システムの一例である車両９１の車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
尚、本開示の車両制御システム１００においては、データ取得部１０２は、撮像装置として、図１のカメラ１１を備えており、また、図２のデプスセンサ１２として、例えば、LiDAR、レーザレンジファインダ、TOFカメラ、およびステレオカメラの少なくともいずれかを備えている。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、状況認識用マップまたは環境マップとも称する）を生成する。ローカルマップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、ローカルマップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップまたは環境マップとも称する）を生成する。環境マップは、例えば、占有格子マップ（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、環境マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、環境マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５に供給する。
動作制御部１３５は、自車の動作の制御を行う。
動作制御部１３５は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。
動作制御部１３５は、動作計画部１６３により計画された自車の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
動作制御部１３５は、動作計画部１６３により計画された自車の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜移動体がロボットである場合の移動体制御システムの一例であるロボット制御システムの構成例＞
次に、移動体がロボットである場合の移動体制御システムの一例であるロボット制御システムの構成例について説明する。
図６は、ロボット１９１を制御するロボット制御システム２００の概略的な機能の構成例を示すブロック図である。
尚、図５の車両制御システム１００、および図６のロボット制御システム２００は、本技術が適用され得る移動体制御システムの一例であり、他の移動体、例えば、航空機、船舶、およびドローンなどを制御するシステムとして適用することもできる。
ロボット制御システム２００は、入力部２０１、データ取得部２０２、通信部２０３、移動体内部機器２０４、出力制御部２０５、出力部２０６、駆動系制御部２０７、駆動系システム２０８、記憶部２０９、及び、自律移動制御部２１０を備える。入力部２０１、データ取得部２０２、通信部２０３、出力制御部２０５、駆動系制御部２０７、記憶部２０９、及び、自律移動制御部２１０は、通信ネットワーク２２１を介して、相互に接続されている。通信ネットワーク２２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、ロボット制御システム２００の各部は、通信ネットワーク２２１を介さずに、直接接続される場合もある。
なお、以下、ロボット制御システム２００の各部が、通信ネットワーク２２１を介して通信を行う場合、通信ネットワーク２２１の記載を省略するものとする。例えば、入力部２０１と自律移動制御部２１０が、通信ネットワーク２２１を介して通信を行う場合、単に入力部２０１と自律移動制御部２１０が通信を行うと記載する。
また、入力部２０１、データ取得部２０２、通信部２０３、移動体内部機器２０４、出力制御部２０５、出力部２０６、駆動系制御部２０７、駆動系システム２０８、記憶部２０９、及び、自律移動制御部２１０は、それぞれ図５の入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１１１、及び、自動運転制御部１１２に対応する構成であるので、同一の機能に係る説明は適宜省略する。
データ取得部２０２は、ロボット制御システム２００の処理に用いるデータを取得する各種のセンサ等からなるセンサ群２１２を形成しており、取得したデータを、ロボット制御システム２００の各部に供給する。
例えば、データ取得部２０２は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部２０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
尚、本開示のロボット制御システム２００においては、データ取得部２０２は、撮像装置として、図１のカメラ１１を備えており、また、デプスセンサ１２として、LiDAR、レーザレンジファインダ、ToFカメラ、またはステレオカメラの少なくともいずれかを備えている。
出力制御部２０５、出力部２０６、駆動系制御部２０７、および駆動系システム２０８は、ロボットの歩行用の足やモータ等からなるアクチュエータや、それらを制御する制御機構からなるアクチュエータ群２１３を形成している。
駆動系システム２０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム２０８は、４本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを４本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
別の例では、駆動系システム２０８は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
さらに、別の例では、駆動系システム２０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
自律移動制御部２１０は、ロボット１９１の自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部２１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部２１０は、操作者・ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部２１０は、検出部２３１、自己位置推定部２３２、状況分析部２３３、計画部２３４、及び、動作制御部２３５を備える。
検出部２３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部２３１は、移動体外部情報検出部２４１、移動体内部情報検出部２４２、及び、移動体状態検出部２４３を備える。
移動体外部情報検出部２４１は、ロボット制御システム２００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部２４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部２４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部２４１は、検出処理の結果を示すデータを自己位置推定部２３２、状況分析部２３３のマップ解析部２５１、及び、状況認識部２５２、並びに、動作制御部２３５に供給する。
移動体内部情報検出部２４２は、ロボット制御システム２００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部２４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部２４２は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５２、及び、動作制御部２３５に供給する。
移動体状態検出部２４３は、ロボット制御システム２００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部２４３は、検出処理の結果を示すデータを状況分析部２３３の状況認識部２５２、及び、動作制御部２３５に供給する。
自己位置推定部２３２、状況分析部２３３、計画部２３４、および動作制御部２３５については、それぞれ図５の自己位置推定部１３２、状況分析部１３３、計画部１３４、および動作制御部１３５に対応する構成であるので、その説明は省略する。ただし、図６の状況分析部２３３においては、交通ルール認識部１５２に対応する構成が削除されている。
＜状況認識部の構成例＞
次に、図７を参照して、図５の状況認識部１５３の構成例について説明する。尚、図５の状況認識部１５３は、図６の状況認識部２５２に対応するものであるので、その説明は省略する。
上述したように、状況認識部１５３は、データ取得部１０２の検出結果のうち、単眼カメラからなるカメラ１１により撮像された画像、およびLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ToFセンサ、またはステレオカメラなどのデプスセンサ１２により検出されたポイントクラウド情報に基づいて、移動体の周囲の状況の認識に用いるローカルマップ（以下、環境マップ（または状況認識用マップ）とも称する）を生成する。環境マップ（状況認識用マップ）は、例えば、占有格子マップ（Occupancy Grid Map）より構成される。
より詳細には、状況認識部１５３は、画像キャプチャ部３０１、セマンティックセグメンテーション部３０２、画像移動可能領域境界コスト生成部３０３、移動可能領域境界推定部３０４、環境マップ生成部３０５、ポイントクラウドキャプチャ部３０６、座標変換部３０７、補間部３０８、およびデプス移動可能領域境界コスト生成部３０９より構成される。
画像キャプチャ部３０１は、カメラ１１により撮像された画像をキャプチャして（取り込んで）、レンズ歪除去等の画像補正を行った後、セマンティックセグメンテーション部３０２に出力する。
セマンティックセグメンテーション部３０２は、画像キャプチャ部３０１より供給される画像に基づいて、セマンティクセグメンテーションにより、撮像された画像について、画素単位で被写体の種別を分類し、分類結果に対応するセマンティックラベルを付与して画像移動可能領域境界コスト生成部３０３に出力する。この際、セマンティックセグメンテーション部３０２は、ディープラーニングなどの機械学習より取得された情報が格納された辞書３０２ａより適宜必要な情報を読み出して利用する。尚、セマンティックセグメンテーションについては、図８を参照して詳細を後述する。
ポイントクラウドキャプチャ部３０６は、デプスセンサ１２より供給されるポイントクラウド情報をキャプチャして（取得して）、距離画像（デプス画像）として座標変換部３０７に出力する。
座標変換部３０７は、デプスセンサ１２の視点で検出された距離画像を構成する各ポイントの空間内の座標系を、カメラ１１の視点の座標系に変換して、環境マップ生成部３０５、補間部３０８、およびデプス移動可能領域境界コスト生成部３０９に出力する。座標変換部３０７は、座標系を変換する際、キャリブレーションにより得られた情報が記録されたキャリブレーションファイル３０７ａの情報を用いて、座標系を変換する。尚、座標系の変換については、図９を参照して詳細を後述する。
デプス移動可能領域境界コスト生成部３０９は、カメラ１１の座標系に変換された距離画像を用いて、デプス移動可能領域境界コストを生成し、移動可能領域境界推定部３０４に出力する。
ここで、デプス移動可能領域境界コストとは、デプスセンサ１２により検出されたポイントクラウド情報に基づいた距離画像の情報より、移動可能領域である路面や平面などと、移動可能領域以外の領域との境界が存在する可能性を、距離画像内の位置毎のコストの分布として表現するものである。尚、デプス移動可能領域境界コストについては、図１０，図１１を参照して詳細を後述する。
補間部３０８は、カメラ１１の座標系に変換された距離画像を用いて、距離画像を構成する各ポイント間の距離情報を補間生成することで、カメラ１１により撮像される画像とほぼ同一の解像度の画素単位の距離情報からなる距離画像を生成して画像移動可能領域境界コスト生成部３０３に出力する。
画像移動可能領域境界コスト生成部３０３は、セマンティックセグメンテーション部３０２より供給される画素単位のセマンティックラベルの情報と、補間部３０８より供給されるカメラ１１により撮像される画像と同一の解像度で、かつ、同位置の座標系の画素単位の距離情報とに基づいて、画像移動可能領域境界コストを生成し、移動可能領域境界推定部３０４に出力する。
ここで、画像移動可能領域境界コストとは、カメラ１１により撮像された画像のセマンティックセグメンテーションの結果であるセマンティックラベルに基づいて、移動可能領域である路面と、それ以外の領域との境界が存在する可能性の分布を、画像内の位置毎のコストとして表現するものである。尚、画像移動可能領域境界コストについては、図１２を参照して詳細を後述する。
移動可能領域境界推定部３０４は、画像移動可能領域境界コスト生成部３０３より供給される画像移動可能領域境界コストと、デプス移動可能領域境界コスト生成部３０９より供給されるデプス移動可能領域境界コストとに基づいて、移動可能領域境界を推定し、推定結果を環境マップ生成部３０５に供給する。この際、移動可能領域境界推定部３０４は、画素単位のセマンティックラベルの分類結果、および、距離画像の情報も併せて移動可能領域境界推定部３０４に供給する。尚、画像移動可能領域境界コストと、デプス移動可能領域境界コストとに基づいた、移動可能領域境界の推定方法については、図１３を参照して、詳細を後述する。
環境マップ生成部３０５は、移動可能領域境界推定部３０４より供給される移動可能領域境界の情報、および画素単位のセマンティックラベルの情報、並びに、座標変換部３０７より供給される座標変換されたポイントクラウド情報からなる距離画像に基づいて、環境マップを生成して出力する。
移動可能領域境界の情報、画素単位の距離画像、およびセマンティックラベルの情報に基づいた、環境マップの生成方法については、図１４，図１５を参照して詳細を後述する。
＜セマンティックセグメンテーション＞
次に、図８を参照して、セマンティックセグメンテーション部３０２によるセマンティックセグメンテーションについて説明する。
例えば、カメラ１１が、図８の左部で示されるように、静止構造物３４２−１，３４２−２に左右から挟まれた空間内に路面３４１があり、その路面３４１上に人３４４が存在し、その奥に空３４３が見えるような構図となる画角Ｚ１で画像Ｐ１０１を撮像することを考える。
セマンティックセグメンテーション部３０２は、ディープラーニング等の機械学習により、図８の中央上部で示されるように、画像Ｐ１０１に基づいて、画像Ｐ１０１内の被写体を画素単位で識別し分類して、セマンティックラベルを付与する（セマンティックラベルにラベリングする）。
図８の右上部で示される画像Ｐ１０１の場合、例えば、図８の右下部のラベリング画像Ｐ１０１で示されるように、セマンティックセグメンテーションにより分類されてラベリングされる。
すなわち、ラベリング画像Ｐ１０２においては、画像内の下部における領域Ｚ５１に属する各画素が、路面３４１として分類され、領域Ｚ５２−１，Ｚ５２−２に属する画素が、それぞれ左右の静止構造物３４２−１，３４２−２として分類され、領域Ｚ５３に属する画素が、奥手の上方の空３４３として分類され、領域Ｚ５４に属する画素が、人３４４として分類されている。
セマンティックセグメンテーション部３０２は、図８の例以外にも、画像に基づいて、例えば、画像内の路面、静止構造物（壁、ガードレール、木、電柱など）、車両（自動車、トラック、バスなど）、二輪車（バイク、自転車）、人、水平バー（踏切、ETCバー、駐車場ゲートのバー）、空を画素単位で識別し、セマンティックラベルにラベリングする。
＜距離画像の座標変換＞
デプスセンサ１２の測定結果であるポイントクラウド情報は、３次元空間内における点群の座標情報であるが、この測定結果をカメラ１１により撮像された画像に重畳できるように座標系の位置関係を対応させるには、ポイントクラウド情報における座標系をカメラ１１の座標系に変換する必要がある。
例えば、図９の左上部で示される、カメラ１１により撮像される画像Ｐ１１１に対して、デプスセンサ１２の投光方向Ｌｐ毎の測距結果を重畳させることにより、画像Ｐ１１１に対応した距離画像が生成される。しかしながら、カメラ１１により撮像される画像の座標系と、デプスセンサ１２により検出される距離画像における座標系は、カメラ１１とデプスセンサ１２とのそれぞれの視点が異なるので、同一の座標系とはならない。このため、単純にカメラ１１により撮像された画像に対して、デプスセンサ１２の投光方向Ｌｐ毎の測距結果である距離情報を重畳しても、画素単位ではずれた状態で情報が重畳されることになる。
座標変換部３０７は、デプスセンサ１２とカメラ１１との相対位置、並びにカメラ１１の画像中心および焦点距離の情報を含むキャリブレーションファイル３０７ａを事前情報として取得し、このキャリブレーションファイル３０７ａの情報を利用して、以下のような演算により距離画像の座標系を変換する。
まず、座標変換部３０７は、LiDARからなるデプスセンサ１２の座標系を、カメラ１１の座標系に変換する。
すなわち、図９の右上部で示されるように、デプスセンサ１２の座標系である、座標XLiDAR（＝［xl,yl,zl］の転置行列）と、カメラ１１の座標系の撮像面Ｄ上の座標Xcam（＝［xc,yc,zc］の転置行列）との相対位置関係は、キャリブレーションにより事前情報として知られており、例えば、以下の式（１）として求められている。
Xcam＝RXLiDAR+T
・・・（１）
ここで、Rは、デプスセンサ１２とカメラ１１との間の予めキャリブレーションにより既知にされている回転を示す回転行列であり、Tは、やはりキャリブレーションにより予め既知にされている並進ベクトルである。
上述した式（１）が演算されることにより、デプスセンサ１２の座標系の情報として測定された測距結果の点Xの座標が、カメラ座標系に変換される。
次に、座標変換部３０７は、デプスセンサ１２の測距結果と、カメラ１１の撮像面上の座標系とを対応付ける。
すなわち、LiDARからなるデプスセンサ１２により検出された障害物の位置Xcam（＝［xc,yc,zc］転置）が求められると、図９の右下部で示されるように、撮像面Ｄ内における物体の撮像面Ｄの画像中心Pcを基準とした、像面内のxi座標を以下の式（２）として求めることができる。
xi＝f×xc／zc
・・・（２）
ここで、fは、カメラ１１の焦点距離である。
また、同様に、yi座標を以下の式（３）により求めることができる。
yi＝f×yc／zc
・・・（３）
結果として、撮像面Ｄ上の物体の位置を特定することができる。
すなわち、デプスセンサ１２で検出されたポイントクラウド情報（距離画像）の点の座標XLiDAR（＝[xl,yl,zl]）は、投光方向に基づいて、カメラ１１の座標系における３次元の点の座標Xcam（＝[xc,yc,zc]）に変換される。さらに、カメラ１１の座標系における３次元の点の座標Xcam（＝[xc,yc,zc]）に対応する撮像面Ｄを中心とした撮像面上の座標（xi，yi）は、式（２），式（３）により、カメラ１１の焦点距離fに基づいて算出される。
この処理により、座標変換部３０７は、図９の左下部で示されるような距離画像Ｐ１１２を生成する。
距離画像Ｐ１１２は、カメラ１１の画像と同一の画素配置とされており、上述した座標系の変換により、各画素（xi,yi）のうち、デプスセンサ１２の投光方向であり距離情報がある場合については、対応付けて距離データ（図９の右下部におけるzc）が格納されており、投光方向ではなく距離情報がない場合、例えば、０が距離のデータとして格納されている。
＜デプス移動可能領域境界コスト＞
次に、図１０を参照して、デプス移動可能領域境界コストについて説明する。
デプス移動可能領域境界コストは、デプスセンサ１２により検出される距離画像に基づいた、移動可能領域境界が存在する可能性の分布を、距離画像内の位置毎のコストとして表現するものである。
例えば、図１０の上段左側で示されるような距離画像Ｐ１２１がデプスセンサ１２により検出される場合について考える。尚、距離画像Ｐ１２１における丸印は、測距用のレーザが照射され、被写体からの反射光が測定され、その往復時間から距離が測定されたカメラ１１により撮像された画像に対応する座標上の位置を示している。ただし、距離画像Ｐ１２１における解像度は、カメラ１１により撮像される画像の解像度よりも低い。
距離画像Ｐ１２１における、移動体の移動可能領域と、移動可能領域以外の領域との境界を求めるため、デプス移動可能領域境界コスト生成部３０９は、例えば、図１０の中段左側で示されるように、距離画像Ｐ１２１より列単位の距離情報Ｄ３１を抽出する。尚、以降においては、列単位の距離情報Ｄ３１を単に列単位距離情報Ｄ３１と称する。
この場合、列単位距離情報Ｄ３１のそれぞれについて、そのいずれかに境界が存在するときには、図１０の中段右側で示されるように、列単位距離情報Ｄ３１上のいずれかに境界Ｂが存在することになる。そこで、デプス移動可能領域境界コスト生成部３０９は、距離画像Ｐ１２１における各列の列単位距離情報Ｄ３１の境界Ｂを求めることで、距離画像Ｐ１２１における移動可能領域境界を推定する。
より具体的には、列単位距離情報Ｄ３１を構成する各距離情報は、ポイントクラウド情報であるので、３次元空間における座標が求められる。そこで、デプス移動可能領域境界コスト生成部３０９は、列単位距離情報Ｄ３１を構成する各距離情報に基づいて、図１０の下段で示されるように、横軸を距離とし、縦軸を高さとする分布Ｄ３３を生成する。
図１０の下段の分布Ｄ３３で示されるように、高さが低く、距離が変化し続ける領域Ｚ１０１については、平らな移動可能領域とみなすことができる。また、高さが変化し、距離が一定の領域Ｄ１０２については、何らかの障害物が存在する、移動可能領域ではない領域とみなすことができる。
そこで、デプス移動可能領域境界コスト生成部３０９は、分布Ｄ３３より移動可能領域とみなせる領域Ｄ１０１と、移動可能領域以外の領域とみなせる領域Ｄ１０２が交わる図中のバツ印で示される位置に移動可能領域と、それ以外の領域との境界であるとみなす。
そして、デプス移動可能領域境界コスト生成部３０９は、距離画像Ｐ１２１における各列について、列単位距離情報Ｄ３１を抽出して、分布Ｄ３３を生成し、図１０の下段のバツ印に相当する位置を順次求めることで、移動可能領域と、それ以外の領域との境界を全列に対して求める。
さらに、デプス移動可能領域境界コスト生成部３０９は、求められた移動可能領域の境界となる位置のそれぞれの距離に応じてコストを設定する。すなわち、デプスセンサ１２により検出される距離画像は、図３を参照して説明したように、距離が近い程、デプスセンサ１２の信頼性が高く、距離が遠い程、デプスセンサ１２の信頼性が低い。そこで、デプス移動可能領域境界コスト生成部３０９は、図１０の上段右側で示されるようなコスト分布Ｐ１２２を求める。
すなわち、カメラ１１により撮像された画像が図４の画像Ｐ３１であるような場合、移動可能領域である路面３１との境界Ｂ１の位置において、距離が近いほど、境界である可能性が高いことを示すためコストを低くし（距離が近い程、白色に近い色で表され）、距離が遠くなるほど境界である可能性が低いことを示すためコストを高くする（距離が遠い程、黒色に近い色で表される）。
結果として、コスト分布Ｐ１２２で示されるように、距離画像に基づいて推定される、移動可能領域の境界が存在する可能性示すコストの分布が、デプス移動可能領域境界コストである。
換言すれば、デプス移動可能領域境界コストは、距離画像に基づいて推定される移動可能領域の境界が存在する領域をコストという可能性の分布で表したものである。
＜デプス移動可能領域境界コストの具体的な求め方＞
ここで、図１１を参照して、列単位距離情報Ｄ３１に基づいた分布Ｄ３３を用いた場合のデプス移動可能領域境界コストの具体的な求め方について説明する。
（第１の求め方）
第１の求め方は、まず、図１１の最上段の分布Ｗ１（分布Ｄ３３に相当）で示されるように、デプス移動可能領域境界コスト生成部３０９は、路面３１の高さに相当する所定の高さＴ１１を移動可能領域の高さとして設定する。そして、デプス移動可能領域境界コスト生成部３０９は、列単位距離情報Ｄ３１の分布Ｗ１に基づいて、所定の高さＴ１１よりも高い位置の分布について距離毎に分布を加算し、加算結果の逆数を加算コストとする。図１１の分布Ｗ１においては、障害物とみなせる領域Ｄ１１１の分布による加算結果が最も多くなるので、領域Ｄ１１１における位置（図中のバツ印の位置）における加算コストが最小となるので、移動可能領域の境界と考えることができる。
したがって、この場合、各列の、移動可能領域の境界とみなされた位置における距離情報に基づいて加算コストが設定される。
また、列単位距離情報Ｄ３１における距離に応じた距離コストがさらに設定され、距離が近いほど、境界が存在する可能性が高いことを示すように、距離コストがより小さく設定され、距離が遠いほど、境界が存在する可能性が低いことを示すように、距離コストが大きく設定される。
そして、デプス移動可能領域境界コスト生成部３０９は、最終的に、この加算コストと距離コストとに基づいて、例えば、加算コストと距離コストとの積によりデプス移動可能領域境界コストを画素単位で求める。
（第２の求め方）
第２の求め方は、まず、図１１の上から２段目の分布Ｗ２（分布Ｄ３３に相当）で示されるように、デプス移動可能領域境界コスト生成部３０９は、列単位距離情報Ｄ３１の分布Ｗ２に基づいて、平面フィッティングにより移動可能領域である路面３１に対応する平面Ｔ１２を設定する。そして、デプス移動可能領域境界コスト生成部３０９は、分布Ｗ２において、平面Ｔ１２よりも高い位置の分布について、距離毎に分布を加算し、加算結果の逆数を加算コストとする。図１１の分布Ｗ２においては、障害物とみなせる領域Ｄ１１２の分布による加算結果が最も多くなるので、領域Ｄ１１１における位置（図中のバツ印の位置）における加算コストが最小となるので、移動可能領域の境界と考えることができる。
また、デプス移動可能領域境界コスト生成部３０９は、距離コストを、第１の求め方と同様に設定し、最終的に、この加算コストと距離コストとに基づいて、例えば、加算コストと距離コストとの積によりデプス移動可能領域境界コストを画素単位で求める。
（第３の求め方）
第３の求め方は、図１１の上から３段目の分布Ｗ３（分布Ｄ３３に相当）で示されるように、デプス移動可能領域境界コスト生成部３０９は、最も近い位置にＬ字モデル（水平方向に所定の長さで、かつ、垂直方向に所定の高さのカギ状のモデル）ＬＴ１１を、Ｌ字の角が遠方となるように、かつ、分布Ｗ３のうちの移動可能領域となる平面部分にＬ字の水平方向の辺の部分をフィッティングさせる。このとき距離のコスト（以降、単に距離コストと称する）は最小値に設定される。
そして、デプス移動可能領域境界コスト生成部３０９は、列単位距離情報Ｄ３１の分布Ｗ３に基づいて、Ｌ字モデルの水平方向の辺の長さの範囲内において、Ｌ字モデルの水平方向の辺よりも高い位置に分布が存在するか否かを判定する。ここで、Ｌ字モデルＬＴ１１で示されるように、水平方向の辺よりも高い位置に分布が存在しない場合、デプス移動可能領域境界コスト生成部３０９は、距離コストを所定値だけインクリメントし、例えば、Ｌ字モデルＬＴ１２で示されるように、Ｌ字のモデルを遠方に所定値だけシフトさせる。そして、デプス移動可能領域境界コスト生成部３０９は、Ｌ字モデルの水平方向の辺の長さの範囲内において、Ｌ字モデルの水平方向の辺よりも高い位置に分布が存在するか否かを判定し、同様の処理を繰り返す。
すなわち、Ｌ字のモデルの水平方向の辺よりも高い位置に分布が存在しない状態が繰り返されると距離が順次遠くなっていき、距離コストを増大させながら、同様の処理が繰り返される。
ここで、Ｌ字モデルＬＴ１３で示されるような場合、列単位距離情報Ｄ３１の分布に基づいて、Ｌ字の水平方向の辺の長さの範囲内において、Ｌ字の水平方向の辺よりも高い位置に分布が存在することになるので、デプス移動可能領域境界コスト生成部３０９は、この位置におけるＬ字モデルＬＴ１３の角の位置（図中のバツ印）を移動可能領域の境界の候補とみなす。このとき、デプス移動可能領域境界コスト生成部３０９は、Ｌ字モデルＬＴ１３における垂直方向の辺と、分布Ｗ３の分布とのばらつきを、ばらつきコストとして算出する。
ばらつきコストは、ばらつきが小さい程小さく、移動可能領域の境界である可能性が高い値に設定され、逆に、ばらつきが大きい程、移動可能領域の境界である可能性が低い値に設定される。
そして、デプス移動可能領域境界コスト生成部３０９は、距離コストとばらつきコストとに基づいて、例えば、相互の積を総コストとして設定し、全列毎にＬ字モデルを用いた位置と総コストの分布を求める。尚、ばらつきコストは、Ｌ字の水平方向の辺よりも高い位置に分布が存在する場合にのみ求められるので、Ｌ字の水平方向の辺よりも高い位置に分布が存在せず、ばらつきコストが求められない場合については、最大値に設定する。
この結果、距離画像における列毎に、Ｌ字モデル用いたフィッティングばらつきと距離に応じたコストの分布が求められることになる。すなわち、この場合、列単位でのコスト分布、すなわち、列単位での移動可能領域の境界が存在する位置毎の確率分布としてのコスト分布が求められることになり、全列において求められることで、距離画像の各ポイント（各画素）におけるコスト分布（移動可能領域の境界が存在する可能性の分布）が求められる。
（第４の求め方）
第４の求め方は、図１１の上から４段目の分布Ｗ４で示されるように、列単位距離情報Ｄ３１における各分布のうち隣接する複数の分布毎にグループを設定し、グループ単位で属する平面を求め、グループ毎の平面に対する法線を求めるようにして、法線と水平方向のベクトルとのなす角に応じたコストを、移動可能領域の境界の存在する可能性として設定する方法である。
すなわち、図１１の上から４段目の分布Ｗ４において、デプス移動可能領域境界コスト生成部３０９は、列単位距離情報Ｄ３１のうち、平面を求めることが可能な隣接する３点の以上の距離情報からなるグループＧ１２１乃至Ｇ１２４を設定し、グループそれぞれの距離情報に基づいて求められる平面の法線ベクトルＶ１乃至Ｖ４を求める。各グループの法線ベクトルは、水平方向のベクトルであるとき、障害物により形成される面の法線ベクトルとみなせる。すなわち、分布Ｗ４においては、平面が設定されるグループＧ１２４により形成される面までの距離を移動可能範囲の境界とみなすことができる。
そこで、デプス移動可能領域境界コスト生成部３０９は、分布Ｗ４のグループＧ１２１乃至Ｇ１２４のベクトルＶ１乃至Ｖ４について、水平方向のベクトルとのなす角に応じた値、例えば、内積の逆数を法線コストとすることで、そのコスト分布を列毎に設定し、全列について求める。
そして、デプス移動可能領域境界コスト生成部３０９は、距離コストを、第１の求め方と同様に設定し、最終的に、この法線コストと距離コストとに基づいて、例えば、法線コストと距離コストとの積によりデプス移動可能領域境界コストを画素単位で求める。
＜画像移動可能領域境界コスト＞
次に、図１２を参照して、画像移動可能領域境界コストについて説明する。
画像移動可能領域境界コストは、カメラ１１により撮像された画像と、デプスセンサ１２により検出される距離画像とに基づいて求められる。
ここで、セマンティックセグメンテーション部３０２により、例えば、カメラ１１により撮像された画像から、図１２の画像Ｐ１３１で示されるようなセマンティックセグメンテーションのラベリング結果が供給される場合について考える。
このような場合、画像移動可能領域境界コスト生成部３０３は、図１２の画像Ｐ１３２で示されるような、移動可能領域の境界である路面３１の領域Ｚ３１と、それ以外の領域との境界を求める。尚、画像Ｐ１３２は、セマンティックラベルに基づいたコスト分布を示しており、移動可能領域の境界である可能性が高いほど、コストが低く、白色に近い色で表現され、それ以外の領域である可能性が高いほどコストが高く、黒色に近い色で表現される。すなわち、画像Ｐ１３２においては、路面３１の領域Ｚ３１の境界そのものが白色で表現されるような分布とされている。
また、このとき、補間部３０８は、カメラ１１の座標系に座標変換された、デプスセンサ１２により検出された、距離画像Ｐ１４１を用いた補間により、カメラ１１により撮像された画像と同一の解像度の距離画像Ｐ１４２を生成し、画像移動可能領域境界コスト生成部３０３に出力する。
そして、画像移動可能領域境界コスト生成部３０３は、画像Ｐ１３２における移動可能領域の境界とみなされた白色のコストが最も低い領域について、距離画像Ｐ１４２における距離に対応した垂直方向の幅Ｈを持たせることにより、画像移動可能領域境界コスト画像Ｐ１５１を生成する。
すなわち、画像移動可能領域境界コスト画像Ｐ１５１の中央付近においては、点線で示される画像Ｐ１３２における白線部分に対して、距離画像Ｐ１４２においては距離が遠いため、コストが小さい白線の垂直方向の幅Ｈ１は小さく設定される。これは、距離が遠いほど、デプスセンサ１２の精度が低下し、カメラ１１に基づいたコストの信頼性を高くみなす必要があるため、セマンティックラベルに基づいた画像移動可能領域境界コストによる影響を大きくするためである。
これに対して、画像移動可能領域境界コスト画像Ｐ１５１の左右の端部付近においては、点線で示される画像Ｐ１３２における白線部分に対して、距離画像Ｐ１４２においては距離が近いため、コストが小さい白線の幅Ｈ２は大きく設定される。これは、距離が近いほどデプスセンサ１２の精度が高いので、デプス移動可能領域境界コストによる影響を受け易くし、セマンティックラベルに基づいた画像移動可能領域境界コストの影響を抑制するためである。
すなわち、画像移動可能領域境界コストは、セマンティックラベルにより求められる移動可能領域の境界と、距離画像より得られる画素単位の距離の情報とに基づいて、距離が遠いほどセマンティックラベルにより求められる移動可能領域の境界に対して近い範囲（狭い範囲）が設定され、距離が近いほど、デプス移動可能領域境界コストにより影響を受け易くするために、セマンティックラベルにより求められる移動可能領域の境界に対して広い範囲が設定される。
結果として、コスト分布Ｐ１５１で示されるように、画像の被写体に応じて設定されるセマンティックラベルと距離画像とに基づいて推定される、移動可能領域の境界が存在する可能性を示すコストの分布が、画像移動可能領域境界コストとして求められる。
換言すれば、画像移動可能領域境界コストは、セマンティックラベルと距離画像とに基づいて推定される移動可能領域の境界が存在する領域を、コストという境界が存在する可能性の分布で表したものである。
尚、ここでは、幅Ｈで定められた範囲においては、境界が存在する可能性が高いことを示す最小コストとして、それ以外の範囲においては、最大コストとする２値化処理がなされる例について説明しているが、セマンティックラベルにより求められる移動可能領域の境界からの距離に応じてコストを変化させるようにしてもよく、例えば、垂直方向の幅Ｈについて、セマンティックラベルにより求められる移動可能領域の境界からの距離が遠くなるに従ってコストを大きくし、セマンティックラベルにより求められる移動可能領域の境界におけるコストを最小にするようにしてもよい。
＜移動可能領域境界の推定方法＞
次に、図１３を参照して、デプス移動可能領域境界コストと、画像移動可能領域境界コストとに基づいた、移動可能領域境界の推定方法について説明する。
図１０を参照して説明したデプス移動可能領域境界コストＰ１２２に対応する、図１３のデプス移動可能領域境界コストＰ１８１と、図１２を参照して説明した画像移動可能領域境界コストＰ１５１に対応する画像移動可能領域境界コストＰ１７１とが、移動可能領域境界推定部３０４に供給される場合について説明する。
この場合、移動可能領域境界推定部３０４は、デプス移動可能領域境界コストＰ１８１および画像移動可能領域境界コストＰ１７１のそれぞれの各列について、図中の垂直方向Ｖについて、列コストＤ５１，Ｄ６１を抽出する。
さらに、移動可能領域境界推定部３０４は、抽出した列コストＤ５１，Ｄ６１に基づいて、列コスト分布Ｄ５２，Ｄ６２を生成する。
例えば、図１３の画像移動可能領域境界コストＰ１７１における場合、列コスト分布Ｄ５２は、白色で表される境界が存在する可能性が高いことを示す領域が最小コストとなり、黒色で表される境界が存在する可能性が低いことを示す最大コストとなることで、矩形の分布が得られる。すなわち、画像移動可能領域境界コストＰ１７１は、セマンティックラベルに基づいて設定される境界の画素に対して、距離に応じた垂直方向の幅が設定されることにより、いずれの列コスト分布においても矩形状の分布となるが、距離に応じて設定される幅のいずれに境界が存在するのかについては不明な状態である。
また、図１３のデプス移動可能領域境界コストＰ１８１における場合、列コスト分布Ｄ６２は、白色に近いほど境界が存在する可能性が高いことを示す低コストとなり、黒色に近いほど境界が存在する可能性が低いことを示す高コストとなることで、曲線状の分布が得られる。すなわち、デプス移動可能領域境界コストＰ１８１は、距離画像におけるばらつきに応じて揺らぎが発生することにより曲線状の波形となる。
移動可能領域境界推定部３０４は、列コスト分布Ｄ５２，Ｄ６２を加算することにより、統合列コストＤ７１を生成し、最もコストが低い垂直方向の位置Ｖ１１を最適な移動可能領域の境界、すなわち、最適境界位置とみなす。尚、コストを最小化する最適境界位置を算出する手段として、動的計画法等を用いても良い。
移動可能領域境界推定部３０４は、各列について、統合列コストＤ７１を求めて、最適境界位置を求めることにより、移動可能領域境界の推定結果Ｐ１９１を生成する。尚、推定結果Ｐ１９１においては、白色部分が、移動可能領域の境界であり、すなわち、推定結果Ｐ１９１における白色部分より下の部分が移動可能領域であり、白色部分より上の部分が移動可能領域以外の領域となる。
尚、例えば、垂直方向の幅Ｈについて、セマンティックラベルにより求められる移動可能領域の境界からの距離が遠くなるに従ってコストを大きくし、セマンティックラベルにより求められる移動可能領域の境界におけるコストを最小にすることにより、列コスト分布Ｄ５２が、矩形ではなく、例えば、凸型や凹型の曲線形状となるようにしてもよい。
＜環境マップの生成方法＞
次に、図１４を参照して、環境マップの生成方法について説明する。
環境マップ生成部３０５は、例えば、図１４の左部で示されるような、移動可能領域境界の推定結果Ｐ２０１が供給されてくるような場合、列単位でカメラ１１から見た水平角度毎の列単位分布Ｄ１０１を抽出する。
ここで、図１４の移動可能領域境界の推定結果Ｐ２０１においては、下部の領域Ｚ１５１が移動可能領域であり、上部の領域Ｚ１５２が移動可能領域以外の領域であり、その境界が移動可能領域境界の推定結果となる。
従って、抽出される列単位分布Ｄ１０１は、図１４の中央部で示されるように、所定の水平角度における移動可能領域の下端の位置Ａから境界の位置Ｂまでの距離が移動体から障害物までの距離ＡＢとみなすことができる。
そこで、環境マップ生成部３０５は、図１４の右上部で示されるように、所定の水平角度における、距離ＡＢの位置を移動可能領域の境界として、環境マップＤ１１１にプロットする。環境マップ生成部３０５は、移動可能領域境界の推定結果Ｐ２０１に対する全水平角度に対して、同様の処理を繰り返すことで、図１４の右下部で示されるような環境マップＰ２１１を生成する。
尚、図１４の右下部の環境マップＰ２１１は、移動体である車両９１のカメラ１１による撮像方向である前方を、図中の上方としてみなし、かつ、移動体の進行方向を上方から見たときの障害物の配置例を示している。
＜距離ＡＢの求め方＞
次に、上述した列単位分布Ｄ１０１を用いた距離ＡＢの求め方について説明する。
ここで、カメラ１１により撮像された画像上における画素Ｐの座標が、路面３１を構成する平面Ｓ上の座標に変換されるものとする。
すなわち、図１５で示されるように、カメラ１１が画像Ｐ２３１を撮像する場合、焦点位置が画像中心（中心画素）Ｐｃであるものとし、カメラ１１の撮像位置を始点としたとき境界となる画素Ｐへの視線ベクトルＶｅは、（ｘｉ，ｙｉ，ｆ）となる。ここで、ｘｉ，ｙｉは、中心画素Ｐｃを原点としたときのカメラ１１により撮像される画像Ｄにおける画素位置であり、ｆは、カメラ１１から画像中心（中心画素）Ｐｃを焦点位置としたときの焦点距離である。
このとき、カメラ１１の視点から路面３１を構成する平面Ｓ上の画素Ｐに対応する交点Ｘｐは、以下の式（４）で示される。
Figure 2019188389
 ・・・（４）
ここで、ｓは、係数であり、スカラ量である。すなわち、カメラ１１を始点とした交点Ｘｐまでのベクトルは、視線ベクトルＶｅの係数ｓ倍となる。
また、路面を構成する平面Ｓは、以下の式（５）のように表現される。
Figure 2019188389
 ・・・（５）
ここで、Ｘは、平面Ｓ上の点の座標（ｘ，ｙ，ｚ）であり、Ｎは、平面Ｓの法線ベクトル（ｎｘ，ｎｙ，ｎｚ）であり、Tは、転置を表しており、ｄは、係数である。
すなわち、平面Ｓは、座標変換部３０７より供給される座標変換された距離画像から得られる列単位分布Ｄ１０１における位置Ａと位置Ｂとの間に存在する点の距離情報、及び、隣接する周囲の列における移動可能領域の点の距離情報を用いて、最小二乗法やＲＡＮＳＡＣ等による平面フィッティングにより、法線ベクトルＮ、及び、係数ｄを求めることができるので、平面Ｓを特定することができる。
結果として、平面Ｓから構成される路面３１の平面を特定することができる。
このため、上述した式（５）で定義される、路面を構成する平面Ｓの方程式に、式（４）を代入すると定数ｓが求められ、この定数ｓが求められることで、平面Ｓ上の交点Ｘｐの座標が求められる。
このようにして求められた路面３１を構成する平面Ｓ上の、障害物との境界の画素Ｐを位置Ａ，Ｂのそれぞれについて求めることにより、距離ＡＢを求めることが可能となる。
＜自動運転制御処理＞
次に、図１６のフローチャートを参照して、図５の車両制御システム１００における自動運転制御処理について説明する。
ステップＳ１において、検出部１３１は、データ取得部１０２により取得される各種のデータを取得し、処理に必要なデータを検出し、自己位置推定部１３２、および状況分析部１３３に出力する。すなわち、ここでは、データ取得部１０２により取得される、カメラ１１により撮像される画像、およびデプスセンサ１２によりポイントクラウド情報が、検出部１３１により検出されて、自己位置推定部１３２、および状況分析部１３３に出力される。尚、この他にも自動運転制御処理に必要とされる各種のデータが検出されて、自己位置推定部１３２、および状況分析部１３３に出力される。
ステップＳ２において、自己位置推定部１３２は、検出部１３１からの各種のデータに基づいて、自己位置を推定し、推定結果を状況分析部１３３に出力する。この際、自己位置推定部１３２は、必要に応じて状況分析部１３３からの情報も利用して、自己位置を推定する。
ステップＳ３において、状況分析部１３３は、検出部１３１および自己位置推定部１３２からの各種の情報に基づいて、自車及び周囲の状況の分析処理を行う。この際、状況分析部１３３の状況認識部１５３は、図１７のフローチャートを参照して後述する環境マップ生成処理を実行し、環境マップも生成する。
また、状況分析部１３３は、各種の情報に基づいて、自動運転の処理に必要な情報を含むマップの構築、自車の周囲の交通ルールの認識、および自車に関する状況の予測等の処理を実行し、処理結果を計画部１３４に出力する。
ステップＳ４において、計画部１３４は、状況分析部１３３より供給される環境マップを含む各種の情報に基づいて、行動計画を生成し、生成した行動計画を動作制御部１３５に出力する。
ステップＳ５において、動作制御部１３５は、行動計画に基づいて、車の動作を実現するため、駆動系制御部１０７を制御して、駆動系システム１０８を動作させる、および、ボディ系制御部１０９を制御して、ボディ系システム１１０を動作させる。
ステップＳ６において、検出部１３１は、入力部１０１が操作されて、例えば、停止ボタンが操作されるなどにより、動作の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップＳ１に戻る。すなわち、終了が指示されるまで、ステップＳ１乃至Ｓ６の処理が繰り返される。
そして、ステップＳ６において、終了が指示されたと判定された場合、処理は、終了する。
以上の処理により、車両９１の自動運転が実現される。尚、ここでは、移動体が図５で示されるように車両９１である場合について説明してきたが、移動体はこの他のものであってもよく、例えば、図６で示されるロボット１９１であってもよい。ただし、自律移動制御部２１０による自律移動制御についても、基本的な処理は、図１６のフローチャートと同様であるので、その説明は省略する。
＜環境マップ生成処理＞
次に、図１７のフローチャートを参照して、状況認識部１５３（または２５２）による環境マップ生成処理について説明する。この処理は、図１６の自動運転制御処理におけるステップＳ３における処理に対応する。
ステップＳ１１において、画像キャプチャ部３０１は、カメラ１１により撮像される画像をキャプチャし（取り込み）、セマンティックセグメンテーション部３０２に出力する。
ステップＳ１２において、セマンティックセグメンテーション部３０２は、供給された画像に対して、図８を参照して説明したように、セマンティックセグメンテーションを実行し、供給された画像における各画素について、被写体の属する種別を分類して、分類結果に基づいて画素単位でセマンティックラベルを付与し（ラベリングし）、画素単位のラベリング結果を画像移動可能領域境界コスト生成部３０３に出力する。
ステップＳ１３において、ポイントクラウドキャプチャ部３０６は、デプスセンサ１２により検出されたポイントクラウドからなる距離画像をキャプチャし（取り込み）、座標変換部３０７に出力する。
ステップＳ１４において、座標変換部３０７は、図９を参照して説明したように、デプスセンサ１２により検出されたポイントクラウド情報からなる距離画像における各座標を、カメラ１１の座標系に変換して環境マップ生成部３０５、補間部３０８、およびデプス移動可能領域境界コスト生成部３０９に出力する。
ステップＳ１５において、補間部３０８は、カメラ１１の座標系に座標変換された距離画像の各点の距離情報を用いた補間処理により、カメラ１１の解像度と同様の解像度となる距離画像を生成し、画像移動可能領域境界コスト生成部３０３に出力する。
ステップＳ１６において、画像移動可能領域境界コスト生成部３０３は、図１２を参照して説明したように、各画素のセマンティックラベルと、補間生成された距離画像とに基づいて、画像移動可能領域境界コストを生成して、移動可能領域境界推定部３０４に出力する。
ステップＳ１７において、デプス移動可能領域境界コスト生成部３０９は、図１０，図１１を参照して説明したように、距離画像に基づいて、デプス移動可能領域境界コストを生成して、移動可能領域境界推定部３０４に出力する。
ステップＳ１８において、移動可能領域境界推定部３０４は、図１３を参照して説明したように、デプス移動可能領域境界コストと、画像移動可能領域境界コストとに基づいて、最適化問題を解くことにより、移動可能領域境界を推定し（決定し）、推定結果である移動可能領域境界の情報を環境マップ生成部３０５に出力する。
ステップＳ１９において、環境マップ生成部３０５は、図１４，図１５を参照して説明したように、移動可能領域境界の情報に基づいて、環境マップを生成して出力する。
以上の処理により、セマンティックラベルと距離画像との距離情報に基づいて、高精度に移動可能領域の境界を決定することが可能となるので、高精度な環境マップを生成することが可能となり、適切な自動運転を実現することが可能となる。
すなわち、距離が遠い範囲については、カメラ１１で撮像される画像に基づいて求められるセマンティックラベルの情報に基づいて、移動可能領域の境界を求めるようにしたので、デプスセンサにより求められる距離画像を用いるよりも、移動可能領域の境界を高精度に求めることが可能となる。また、距離が近い範囲については、カメラ１１で撮像される画像に基づいて求められるセマンティックラベルの情報と、距離画像とに基づいて、移動可能領域の境界を求めるようにしたので、セマンティックセグメンテーションにおいて誤検出が発生し易いテクスチャが類似した被写体や撮像環境においても、距離画像も考慮することで、移動可能領域の境界を、高精度に求めることが可能となる。
＜＜２．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図１８は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１８におけるCPU１００１が、図５における自動運転制御部１１２、図６における自律移動制御部２１０の機能を実現させる。また、図１８における記憶部１００８が、図５，図６における記憶部１１１，２０９を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部と
を含む信号処理装置。
＜２＞ 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界が存在する領域を、前記ラベリング情報境界として推定する
＜１＞に記載の信号処理装置。
＜３＞ 前記ラベリング境界推定部は、前記ラベリング情報、および前記距離画像に基づいて、前記ラベリング情報境界を推定する
＜１＞または＜２＞に記載の信号処理装置。
＜４＞ 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
＜３＞に記載の信号処理装置。
＜５＞ 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
＜３＞に記載の信号処理装置。
＜６＞ 前記距離画像境界推定部は、前記距離画像に基づいた、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
＜１＞乃至＜５＞のいずれかに記載の信号処理装置。
＜７＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報に基づいて、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
＜６＞に記載の信号処理装置。
＜８＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報の、距離方向に対する高さ方向の分布に基づいて、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
＜７＞に記載の信号処理装置。
＜９＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布のうち、前記移動可能領域に対応する所定の高さよりも高い分布が存在する距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
＜８＞に記載の信号処理装置。
＜１０＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に基づいて、平面フィッティングにより、前記移動可能領域を特定し、前記平面フィッティングにより特定された前記移動可能領域よりも高い分布が存在する距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
＜８＞に記載の信号処理装置。
＜１１＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に対して、前記移動可能領域と障害物との境界近傍のＬ字型の関数を設定し、距離に応じた前記Ｌ字型の関数とのフィッティングによるばらつきが最小となる距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
＜８＞に記載の信号処理装置。
＜１２＞ 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に対して、隣接する複数の分布からなるグループを設定し、前記グループに属する距離情報に基づいた平面の法線を求め、前記法線が水平方向に近い法線となるグループが属する距離情報より求められる距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
＜８＞に記載の信号処理装置。
＜１３＞ 前記ラベリング境界推定部は、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、撮像位置からの距離に応じたコスト分布からなるラベリング情報境界として推定し、
前記距離画像境界推定部は、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、前記距離画像の検出位置からの距離に応じたコスト分布からなる距離画像境界として推定し、
前記移動可能領域境界決定部は、前記ラベリング情報境界のコスト分布、および距離画像境界のコスト分布を加算した統合コスト分布に基づいて、前記移動可能領域の境界を決定する
＜１＞乃至＜１２＞のいずれかに記載の信号処理装置。
＜１４＞ セマンティックセグメンテーションにより、撮像された画像における被写体の種別に応じた、画素単位でのラベリングによりラベリング情報を生成するラベリング部をさらに含む
＜１＞乃至＜１３＞のいずれかに記載の信号処理装置。
＜１５＞ 前記移動可能領域境界決定部は、撮像位置からの距離が所定の距離よりも遠い場合は、前記ラベリング情報境界を前記移動可能領域の境界として決定し、撮像位置からの距離が所定の距離よりも近い場合は、前記距離画像境界を前記移動可能領域の境界として決定する
＜１＞乃至＜１４＞のいずれかに記載の信号処理装置。
＜１６＞ 前記画像と前記距離画像のうちのいずれか一方の座標系を、他方の座標系に変換する座標変換部をさらに含む
＜１＞乃至＜１５＞のいずれかに記載の信号処理装置。
＜１７＞ 前記距離画像の距離情報に基づいて、前記距離画像の解像度を、前記画像と同一の解像度となるように、前記距離情報を補間する補間部をさらに含み、
前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記補間部により、前記距離情報が補間されることで、前記画像と同一の解像度とされた距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
＜１＞乃至＜１６＞のいずれかに記載の信号処理装置。
＜１８＞ 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定処理と、
距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定処理と、
前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定処理と
を含む信号処理方法。
＜１９＞ 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部
としてコンピュータを機能させるプログラム。
＜２０＞ 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部と、
前記移動可能領域境界決定部により決定された移動可能領域の境界に基づいて、環境マップを生成する環境マッピング部と、
前記環境マップに基づいて行動計画を生成する計画部と、
生成された前記行動計画に基づいて移動体の動作を制御する制御部と
を含む移動体。
９１ 車両， １００ 車両制御システム， １０２ データ取得部， １１２ 自動運転制御部， １３３ 状況分析部， １５３ 状況認識部， １９１ ロボット， ２００ ロボット制御システム， ２０２ データ取得部， ２１０ 自律移動制御部， ２３３ 状況分析部， ２５２ 状況認識部， ３０１ 画像キャプチャ部， ３０２ セマンティックセグメンテーション部， ３０３ 画像移動可能領域境界コスト生成部， ３０４ 移動可能領域境界推定部， ３０５ 環境マッピング部， ３０６ ポイントクラウドキャプチャ部， ３０７ 座標変換部， ３０８ 補間部， ３０９ デプス移動可能領域境界コスト生成部

Claims (20)

  1. 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
    距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
    前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部と
    を含む信号処理装置。
  2. 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界が存在する領域を、前記ラベリング情報境界として推定する
    請求項１に記載の信号処理装置。
  3. 前記ラベリング境界推定部は、前記ラベリング情報、および前記距離画像に基づいて、前記ラベリング情報境界を推定する
    請求項１に記載の信号処理装置。
  4. 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
    請求項３に記載の信号処理装置。
  5. 前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
    請求項３に記載の信号処理装置。
  6. 前記距離画像境界推定部は、前記距離画像に基づいた、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
    請求項１に記載の信号処理装置。
  7. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報に基づいて、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
    請求項６に記載の信号処理装置。
  8. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報の、距離方向に対する高さ方向の分布に基づいて、前記移動可能領域と障害物との境界が存在する領域を、前記距離画像境界として推定する
    請求項７に記載の信号処理装置。
  9. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布のうち、前記移動可能領域に対応する所定の高さよりも高い分布が存在する距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
    請求項８に記載の信号処理装置。
  10. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に基づいて、平面フィッティングにより、前記移動可能領域を特定し、前記平面フィッティングにより特定された前記移動可能領域よりも高い分布が存在する距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
    請求項８に記載の信号処理装置。
  11. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に対して、前記移動可能領域と障害物との境界近傍のＬ字型の関数を設定し、距離に応じた前記Ｌ字型の関数とのフィッティングによるばらつきが最小となる距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
    請求項８に記載の信号処理装置。
  12. 前記距離画像境界推定部は、前記距離画像における水平方向毎の列単位の各画素の距離情報について、前記距離方向に対する高さ方向の分布に対して、隣接する複数の分布からなるグループを設定し、前記グループに属する距離情報に基づいた平面の法線を求め、前記法線が水平方向に近い法線となるグループが属する距離情報より求められる距離を、前記移動可能領域と障害物との境界が存在する領域とすることで、前記距離画像境界を推定する
    請求項８に記載の信号処理装置。
  13. 前記ラベリング境界推定部は、撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、撮像位置からの距離に応じたコスト分布からなるラベリング情報境界として推定し、
    前記距離画像境界推定部は、距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、前記距離画像の検出位置からの距離に応じたコスト分布からなる距離画像境界として推定し、
    前記移動可能領域境界決定部は、前記ラベリング情報境界のコスト分布、および距離画像境界のコスト分布を加算した統合コスト分布に基づいて、前記移動可能領域の境界を決定する
    請求項１に記載の信号処理装置。
  14. セマンティックセグメンテーションにより、撮像された画像における被写体の種別に応じた、画素単位でのラベリングによりラベリング情報を生成するラベリング部をさらに含む
    請求項１に記載の信号処理装置。
  15. 前記移動可能領域境界決定部は、撮像位置からの距離が所定の距離よりも遠い場合は、前記ラベリング情報境界を前記移動可能領域の境界として決定し、撮像位置からの距離が所定の距離よりも近い場合は、前記距離画像境界を前記移動可能領域の境界として決定する
    請求項１に記載の信号処理装置。
  16. 前記画像と前記距離画像のうちのいずれか一方の座標系を、他方の座標系に変換する座標変換部をさらに含む
    請求項１に記載の信号処理装置。
  17. 前記距離画像の距離情報に基づいて、前記距離画像の解像度を、前記画像と同一の解像度となるように、前記距離情報を補間する補間部をさらに含み、
    前記ラベリング境界推定部は、前記ラベリング情報に基づいて、前記移動可能領域に対応する種別の被写体としてラベリングされた領域の境界を、前記移動可能領域の境界として設定し、さらに、前記ラベリング情報に基づいて設定された前記移動可能領域の境界の垂直方向の幅を、前記補間部により、前記距離情報が補間されることで、前記画像と同一の解像度とされた距離画像に基づいた距離に応じて設定することにより、前記移動可能領域の境界をラベリング情報境界として推定する
    請求項１に記載の信号処理装置。
  18. 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定処理と、
    距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定処理と、
    前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定処理と
    を含む信号処理方法。
  19. 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
    距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
    前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部
    としてコンピュータを機能させるプログラム。
  20. 撮像された画像における被写体の種別に応じたラベリング情報に基づいて、前記画像における移動体の移動可能領域の境界が存在する領域を、ラベリング情報境界として推定するラベリング境界推定部と、
    距離画像に基づいて、前記距離画像における前記移動可能領域の境界が存在する領域を、距離画像境界として推定する距離画像境界推定部と、
    前記ラベリング情報境界、および距離画像境界に基づいて、前記移動可能領域の境界を決定する移動可能領域境界決定部と、
    前記移動可能領域境界決定部により決定された移動可能領域の境界に基づいて、環境マップを生成する環境マッピング部と、
    前記環境マップに基づいて行動計画を生成する計画部と、
    生成された前記行動計画に基づいて移動体の動作を制御する制御部と
    を含む移動体。
JP2020510640A 2018-03-29 2019-03-15 信号処理装置、および信号処理方法、プログラム、並びに移動体 Active JP7351293B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018063530 2018-03-29
JP2018063530 2018-03-29
PCT/JP2019/010757 WO2019188389A1 (ja) 2018-03-29 2019-03-15 信号処理装置、および信号処理方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2019188389A1 true JPWO2019188389A1 (ja) 2021-03-18
JP7351293B2 JP7351293B2 (ja) 2023-09-27

Family

ID=68059903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020510640A Active JP7351293B2 (ja) 2018-03-29 2019-03-15 信号処理装置、および信号処理方法、プログラム、並びに移動体

Country Status (6)

Country Link
US (1) US11860640B2 (ja)
JP (1) JP7351293B2 (ja)
KR (1) KR20200136905A (ja)
CN (1) CN111886626B (ja)
DE (1) DE112019001657T5 (ja)
WO (1) WO2019188389A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018007484T5 (de) * 2018-04-16 2021-02-25 Mitsubishi Electric Corporation Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
US11175664B1 (en) * 2019-01-15 2021-11-16 Amazon Technologies, Inc. Navigation directly from perception data without pre-mapping
WO2021081995A1 (zh) * 2019-11-01 2021-05-06 深圳市大疆创新科技有限公司 数据处理方法及设备、数据存储设备、移动控制系统
CN111063029B (zh) * 2019-12-11 2023-06-09 深圳市优必选科技股份有限公司 地图构建方法、装置、计算机可读存储介质及机器人
CN110986990B (zh) * 2019-12-25 2023-03-28 西安主函数智能科技有限公司 封闭环境无人驾驶工程车路径规划方法及系统
FR3106659B1 (fr) * 2020-01-23 2023-07-28 Second Bridge Inc Carte numérique pour la navigation
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
KR20220094416A (ko) * 2020-12-29 2022-07-06 (주)에이아이매틱스 근미래 객체 위치 예측 시스템
JP7571545B2 (ja) 2021-01-07 2024-10-23 富士通株式会社 位置特定プログラム、位置特定方法および情報処理装置
JP7444094B2 (ja) * 2021-02-05 2024-03-06 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
KR102264152B1 (ko) * 2021-03-10 2021-06-14 (주)넥스트박스 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템
US11927963B2 (en) * 2021-03-19 2024-03-12 Amazon Technologies, Inc. System to determine non-stationary objects in a physical space
CA3180339A1 (en) * 2021-06-18 2022-12-18 Space Shift, Inc. Signal processor, flying object and medium using synthetic aperture radar signal for observing an object or an environment
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
JP7493545B2 (ja) 2022-03-29 2024-05-31 カヤバ株式会社 位置推定装置、位置推定方法、及びプログラム
US11888306B1 (en) 2022-04-22 2024-01-30 Amazon Technologies, Inc. System for in-situ detection of electrical faults
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
FR3138944B1 (fr) * 2022-08-22 2024-11-01 Safran Dispositif et procédé d'estimation de la traversabilité d'un terrain par un système mobile
CN115388902B (zh) * 2022-10-28 2023-03-24 苏州工业园区测绘地理信息有限公司 室内定位方法和系统、ar室内定位导航方法和系统
KR20240094055A (ko) * 2022-11-18 2024-06-25 현대자동차주식회사 차량, 차량 제어 방법, 및 차량의 주행 제어 방법
WO2024213062A1 (zh) * 2023-04-11 2024-10-17 苏州宝时得电动工具有限公司 自移动设备的控制方法、自移动设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045891A (ja) * 2014-08-26 2016-04-04 日立オートモティブシステムズ株式会社 物体検出装置
WO2017048383A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection
WO2017098709A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5820774B2 (ja) 2012-06-21 2015-11-24 株式会社豊田中央研究所 路面境界推定装置及びプログラム
US9471864B2 (en) * 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
US20150199592A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Contour-based classification of objects
WO2016011599A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Systems and techniques for geofence crossing-based control
WO2017057042A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、プログラム、および、物体検出システム
US10509954B2 (en) * 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
CN110494863B (zh) * 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045891A (ja) * 2014-08-26 2016-04-04 日立オートモティブシステムズ株式会社 物体検出装置
WO2017048383A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection
WO2017098709A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ＱＩＵ ＹＵＥ 他: "ＲＧＢ−Ｄカメラを用いた生活空間センシング及び機能解析に関する研究", 第２３回 画像センシングシンポジウム ＳＳＩＩ２０１７ ［ＵＳＢ］, JPN6019022418, 31 December 2017 (2017-12-31), JP, pages 2 - 2, ISSN: 0005011991 *

Also Published As

Publication number Publication date
CN111886626A (zh) 2020-11-03
WO2019188389A1 (ja) 2019-10-03
US11860640B2 (en) 2024-01-02
US20210019536A1 (en) 2021-01-21
JP7351293B2 (ja) 2023-09-27
KR20200136905A (ko) 2020-12-08
CN111886626B (zh) 2024-08-16
DE112019001657T5 (de) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7351293B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
US11531354B2 (en) Image processing apparatus and image processing method
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
CN113785253B (zh) 信息处理装置、信息处理方法和程序
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220292296A1 (en) Information processing device, information processing method, and program
US20240257508A1 (en) Information processing device, information processing method, and program
WO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
EP4063896A1 (en) Radar data determination circuitry and radar data determination method
US20230121905A1 (en) Information processing apparatus, information processing method, and program
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R151 Written notification of patent or utility model registration

Ref document number: 7351293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151