Nothing Special   »   [go: up one dir, main page]

KR20160131196A - Device for detecting an obstacle - Google Patents

Device for detecting an obstacle Download PDF

Info

Publication number
KR20160131196A
KR20160131196A KR1020150063019A KR20150063019A KR20160131196A KR 20160131196 A KR20160131196 A KR 20160131196A KR 1020150063019 A KR1020150063019 A KR 1020150063019A KR 20150063019 A KR20150063019 A KR 20150063019A KR 20160131196 A KR20160131196 A KR 20160131196A
Authority
KR
South Korea
Prior art keywords
vehicle
information
risk
unit
control unit
Prior art date
Application number
KR1020150063019A
Other languages
Korean (ko)
Inventor
김기석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150063019A priority Critical patent/KR20160131196A/en
Publication of KR20160131196A publication Critical patent/KR20160131196A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G06K9/6267
    • B60R2021/0134
    • G01S2013/931

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a device for detecting an obstacle. According to an embodiment of the present invention, the device for detecting an obstacle comprises: a detection unit for detecting an object around a vehicle to generate the object detecting information; an analysis unit for analyzing the surrounding image filmed around the vehicle and sorting the type of the object to generated the object sorting information; and a control unit for setting the risk of the object by using the object detecting information received through the detection unit, for transmitting the object information with respect to the object to the analysis unit, and for setting the final risk with respect to the object by using the object sorting information received through the analysis unit.

Description

장애물 감지 장치{Device for detecting an obstacle}[0001] The present invention relates to a device for detecting an obstacle,

본 발명은 차량 주변의 장애물을 감지하는 기술에 관한 것으로, 특히 차량의 주위를 감시하여 위험 요소가 있는지를 감지하는 장애물 감지 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a technology for detecting an obstacle around a vehicle, and more particularly,

최근, 차량에 운전자 보조 시스템(Advanced Driver Assisted System, ADAS)을 장착하는 경우가 늘고 있다. 이러한 운전자 보조 시스템에는 장애물 감지 장치, 자동 비상 제동장치(Automatic Emergency Break, AEB), 차선이탈 경보장치(Lane Departure Warning System, LDWS) 또는 거리제어 순항 장치(Advanced Cruise Control, ACC) 등의 장치가 포함된다.In recent years, the number of vehicles equipped with an Advanced Driver Assisted System (ADAS) is increasing. These driver assistance systems include devices such as obstacle detection devices, Automatic Emergency Break (AEB), Lane Departure Warning System (LDWS) or Advanced Cruise Control (ACC) do.

이러한 운전자 보조 시스템에 포함된 장치 중에서 장애물 감지 장치는 차량 주변의 물체 유무를 감지한다. Among these devices included in the driver assistance system, the obstacle detection device detects the presence of objects in the vicinity of the vehicle.

일 예로서, 장애물 감지 장치는 레이더를 이용하여 주변 물체의 유무에 감지(detection)하도록 구현될 수 있다. 그러나, 레이더는 물체의 감지 능력은 뛰어 나지만, 식별 및 분류(classification) 기능이 없기 때문에, 오경보(false alarm)의 확률이 높다. As an example, the obstacle sensing apparatus may be implemented to detect the presence or absence of nearby objects using a radar. However, although the radar has excellent detection capability of objects, there is a high probability of false alarms because there is no identification and classification function.

다른 예로서, 장애물 감지 장치는 카메라를 이용하여 차량 주변의 물체를 감지하고, 물체 종류를 판별 및 분류(classification)하도록 구현될 수 있다. 구체적으로, 장애물 감지 장치는 카메라를 통해 촬영된 영상으로부터 차량 주변의 물체 유무를 감지하고, 감지된 물체의 종류를 보행자 또는 자동차 등과 같이 분류한다. 그러나, 카메라를 이용한 물체 식별 및 분류 기능을 수행하기 위해서는 많은 처리 시간 및 계산량이 필요하기 때문에 고성능 프로세서가 요구된다. 또한, 날씨, 시간대 등의 주위 환경에 민감하여, 주위 환경에 따라 카메라를 이용한 차량 주변 물체를 감지하는 성능이 많이 차이 난다.As another example, the obstacle detection device may be implemented to detect an object around the vehicle using a camera, and to classify and classify an object type. Specifically, the obstacle detecting device detects the presence or absence of an object around the vehicle from the image photographed through the camera, and classifies the type of the detected object such as a pedestrian or an automobile. However, in order to perform object identification and classification using a camera, a high-performance processor is required because a large amount of processing time and calculation amount are required. In addition, the sensitivity to the surrounding environment such as the weather, the time zone, and the like greatly varies depending on the surrounding environment.

이에, 장애물 감지 장치는 카메라 및 레이더를 이용하여 운전자가 인지 못하는 순간에도 차량 주변의 물체(장애물)를 감지하는 융합형 프로세서(Fusion processor)의 형태로 구현될 수 있다. Accordingly, the obstacle detection device can be implemented in the form of a fusion processor that detects objects (obstacles) around the vehicle even when the driver does not know by using the camera and the radar.

도 1은 카메라 및 레이더를 이용한 장애물 감지 장치의 동작 설명을 위한 도면이다. 도 1에 도시된 바와 같이, 장애물 감지 장치(10)는 차량에 구현된 레이더 센서(RADAR sensor)(11)를 이용하여 물체를 감지하는 레이더 프로세서(RADAR processor)(12)로부터 물체감지(object_list) 정보를 제공받을 수 있다. 또한, 장애물 감지 장치(10)는 카메라 센서(비전 센서)(VISION sensor)(13)에 의해 촬영된 영상에서 물체를 감지 및 분류하는 비전 프로세서(VISION processor)(14)로부터 물체분류(target_list) 정보를 제공받을 수 있다.1 is a view for explaining an operation of an obstacle detecting apparatus using a camera and a radar. 1, the obstacle sensing apparatus 10 receives an object_list from a RADAR processor 12 that senses an object using a RADAR sensor 11 implemented in a vehicle, Information can be provided. The obstacle detection device 10 also receives object classification information (target_list) information from a vision processor 14 that detects and classifies objects in an image photographed by a camera sensor (vision sensor) 13, Can be provided.

장애물 감지 장치(10)는 제공받은 물체감지(object_list)정보와 물체분류(target_list) 정보를 융합 처리(Fusion Process)하여, 차량 주변의 물체를 검출 및/또는 추적(detection and/or tracking)한다. 또한, 장애물 감지 장치(10)는 차량 주변의 물체를 검출 및/또는 추적 결과에 따라 위험성을 판단하고, 위험성이 있는 경우에는 차량의 브레이크 또는 조향장치의 동작을 제어하여 차량과 물체 간의 충돌사고를 예방할 수 있다.The obstacle sensing device 10 detects and / or tracks an object around the vehicle by performing a fusion process on the provided object_list information and target_list information. In addition, the obstacle sensing apparatus 10 determines the danger according to the result of detection and / or tracking of an object around the vehicle, and controls the operation of the vehicle brakes or the steering apparatus in the event of a danger, Can be prevented.

본 발명의 목적은 차량 주변을 감지한 감지 정보와 차량 주변을 촬영한 영상 정보를 융합하여 물체의 존재 유무 및 위험도를 효율적으로 파악하는 차량용 장애물 감지 장치를 제공함에 있다.An object of the present invention is to provide an apparatus for detecting an obstacle in a vehicle, which can efficiently detect the presence or the danger of an object by fusing sensed information of the surroundings of the vehicle and image information of the surroundings of the vehicle.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 장애물 감지 장치는 차량 주변의 물체를 감지하여 물체 감지 정보를 생성하는 감지부, 상기 차량 주변이 촬영된 주변 영상을 분석하여 상기 물체의 종류를 분류하여 물체 분류 정보를 생성하는 분석부, 및 상기 감지부를 통해 수신되는 상기 물체 감지 정보를 이용하여 상기 물체의 위험도를 설정하며, 상기 물체에 대한 물체 정보를 상기 분석부로 전송하며, 상기 분석부를 통해 수신되는 상기 물체 분류 정보를 이용하여 상기 물체에 대한 최종 위험도를 설정하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an obstacle detection apparatus comprising: a sensing unit for sensing an object around a vehicle to generate object sensing information; An analyzing unit that classifies the object and classifies the object and classifies the object and classifying the object and classifying the object and classifying the object; And a controller for setting a final risk level for the object using the received object classification information.

본 발명의 실시예에 따르면, 차량 주변 감지 정보를 이용하여 차량 주변의 물체에 대해 1차적으로 위험도를 설정하고, 주변 영상 정보를 이용하여 분류되는 물체의 종류에 따라 2차적으로 물체에 대한 최종 위험도 설정하고, 이를 이용하여 차량을 제어함으로써, 오류가 적은 차량 주변 물체 감지 및 식별 성능 향상 및 신뢰성을 가질 수 있다.According to an embodiment of the present invention, a risk is primarily set for an object around a vehicle using perimeter sensing information, and a final risk for an object is determined based primarily on the type of object classified using the surrounding image information So that the vehicle can be controlled by using it, and it is possible to improve the detection performance and reliability of the object around the vehicle with few errors.

도 1은 카메라 및 레이더를 이용한 융합형 장애물 감지 장치의 동작 설명을 위한 도면.
도 2는 본 발명의 실시예에 따른 차량용 장애물 감지 장치 블록도.
도 3은 본 발명의 실시예에 따른 차량용 장애물 감지 장치에 의한 장애물 감지 방법 흐름도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view for explaining an operation of a fusion type obstacle sensing apparatus using a camera and a radar. FIG.
2 is a block diagram of an apparatus for detecting an obstacle for a vehicle according to an embodiment of the present invention.
3 is a flowchart of a method for detecting an obstacle by an obstacle detecting device for a vehicle according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. And is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined by the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, like reference numerals refer to like elements throughout. In the drawings, like reference numerals are used to denote like elements, and in the description of the present invention, In the following description, a detailed description of the present invention will be omitted.

도 2는 본 발명의 실시예에 따른 차량용 장애물 감지 장치의 블록도이다. 도 2에 도시된 바와 같이, 차량 주변의 물체를 감지하는 장애물 감지 장치(100)는 감지부(110), 촬영부(120), 분석부(130) 및 제어부(140)를 포함한다.2 is a block diagram of an apparatus for detecting an obstacle for a vehicle according to an embodiment of the present invention. 2, an obstacle sensing apparatus 100 for sensing an object in the vicinity of a vehicle includes a sensing unit 110, a photographing unit 120, an analysis unit 130, and a control unit 140. As shown in FIG.

감지부(110)는 장애물 감지를 위한 신호를 생성하여 차량 외부로 송출하고, 차량차량 주변에 존재하는 물체(target, 장애물)에 의해 반사되는 신호를 수신하며, 수신된 감지 신호를 이용하여 차량 주변의 물체의 존재 여부를 감지한다. The sensing unit 110 generates a signal for detecting an obstacle and transmits the signal to the outside of the vehicle. The sensing unit 110 receives a signal reflected by an object (target) existing in the vicinity of the vehicle, The presence or absence of an object is detected.

감지부(110)는 차량(자차) 외부의 소정 위치(예를 들어, 차량의 범퍼)에 장착된 감지 센서로부터 수신되는 감지 신호를 이용하여 차량 주변의 물체를 감지한다. 바람직하게, 이때, 감지부(110)는 차량의 전방의 물체를 감지할 수 있다.The sensing unit 110 senses an object around the vehicle using a sensing signal received from a sensing sensor mounted at a predetermined position outside the vehicle (e.g., a bumper of the vehicle). Preferably, at this time, the sensing unit 110 can sense an object in front of the vehicle.

감지부(110)는감지 센서는 장애물 감지 장치(100)의 타 구성 요소들과 물리적으로 이격될 수 있으며, 이런 경우되어, 차량 네트워크를 통해 연결되게 구현될 수 있다. 여기서, 감지 센서는 레이더 센서(Radar Sensor)일 수 있다. 또는, 감지 센서는 초음파 센서 및 라이다(Liar Sensor)일 수 있다. The sensing unit 110 may be physically spaced from the other components of the obstacle sensing apparatus 100, and in this case, may be implemented to be connected via a vehicle network. Here, the detection sensor may be a radar sensor. Alternatively, the sensing sensor may be an ultrasonic sensor and a Liar sensor.

감지부(110)는 주변 물체의 감지 결과에 따라 물체 감지 정보(object_list)를 생성한다. 또한, 감지부(110)는 생성된 물체 감지 정보를 제어부(140)로 전송한다. The sensing unit 110 generates object detection information (object_list) according to the detection result of the surrounding object. In addition, the sensing unit 110 transmits the generated object sensing information to the controller 140.

이때, 물체 감지 정보에는 차량과 물체간의 거리(r)와 물체의 방위각(θ)을 포함하는 물체의 위치 정보가 포함된다. 또한, 물체 감지 정보에는 수신 감도(sensitivity), 이동성 정보 및 추정되는 물체의 종류(예컨대, 보행자, 자동차 등) 등의 정보가 추가로 포함될 수 있다. 여기서, 추정되는 물체의 종류는 거리와 각도 및 감도를 이용하여 추정될 수 있다.At this time, the object detection information includes position information of the object including the distance r between the vehicle and the object and the azimuth angle? Of the object. In addition, the object detection information may further include information such as reception sensitivity, mobility information, and the type of object to be estimated (e.g., a pedestrian, a car, etc.). Here, the type of the object to be estimated can be estimated using distance, angle, and sensitivity.

촬영부(120)는 차량의 주변 영상을 획득하기 위한 하나 이상의다수의 카메라를 포함한다. 일 실시예로, 촬영부(120)는 차량의 전방, 후방, 좌측방 및 우측방에 장착된 비전 센서(Vision Sensor)(카메라)를 통해 주변 영상을 획득할 수 있다. The photographing unit 120 includes one or more cameras for acquiring a peripheral image of the vehicle. In one embodiment, the photographing unit 120 can acquire a surrounding image through a vision sensor (camera) mounted in the front, rear, left and right rooms of the vehicle.

예컨대, 이때, 비전 센서는 일반적으로 이용되는 광학 카메라일 수 있다. 이때, 촬영부(120)는 차량의 어라운드 뷰 시스템(Around View System, AVM)용 카메라를 이용할 수 있다. 추가로, 촬영부(120)는 차선 이탈 경보 시스템(Lane Departure Warning System, LDWS)용 카메라를 더 이용할 수도 있다. 또는, 촬영부(120)는 경우에 따라 적외선 카메라 및 라이다(Light Detection And Ranging, Lidar)를 이용할 수도 있다. For example, at this time, the vision sensor may be a commonly used optical camera. At this time, the photographing unit 120 may use a camera for an Around View System (AVM) of the vehicle. In addition, the photographing unit 120 may further use a camera for a lane departure warning system (LDWS). Alternatively, the photographing unit 120 may use an infrared camera and Light Detection And Ranging (Lidar).

분석부(130)는 촬영부(120)로부터 일정 시간 단위로 주변 영상을 수신하며, 수신되는 주변 영상을 영상 처리 프로세서를 통해 분석하여 차량 주변의 물체를 감지, 식별 및 분류하여 물체 분류 정보를 생성한다. 예컨대, 분석부(130)는 차량 주변에 존재하는 물체가 자동차, 보행자, 중앙분리대 등과 같이 물체의 종류를 분류할 수 있다. 이러한 물체 종류의 분류 기준은 사전에 기설정되어 별도의 메모리에 저장될 수 있다.The analyzing unit 130 receives the surrounding image from the photographing unit 120 on a predetermined time basis, analyzes the received surrounding image through the image processing processor, and detects, identifies, and classifies the objects around the vehicle to generate object classification information do. For example, the analysis unit 130 can classify objects existing around the vehicle such as automobiles, pedestrians, median separators, and the like. The classification criterion of the object type can be preset in advance and stored in a separate memory.

한편, 분석부(130)는 촬영부(120)로부터 수신되는 주변 영상과 함께 제어부(140)로부터 수신되는 물체 정보를 더 이용하여 물체 분류 정보를 생성할 수 있다. 이에 대해서는 이후에 구체적으로 설명한다. The analysis unit 130 may generate object classification information by further using the object information received from the control unit 140 together with the peripheral image received from the photographing unit 120. [ This will be described in detail later.

제어부(140)는 전자 제어 유닛(Electronic Control Unit, ECU) 또는 다수의 전자 제어 유닛을 제어하는 전장 제어 유닛(Body Control Unit, BCM)일 수 있다. The control unit 140 may be an electronic control unit (ECU) or a body control unit (BCM) for controlling a plurality of electronic control units.

제어부(140)는 감지부(110)로부터 수신되는 물체 감지 정보를 이용하여 물체의 위치를 파악하고 물체에 대한 위험도를 설정한다. 제어부(140)는 위험도 별로 물체를 분류하여, 위험도 별 물체 정보를 생성한다. 이렇게 생성된 물체 정보는 분석부(130)로 전달된다.The control unit 140 determines the position of the object using the object detection information received from the sensing unit 110 and sets a risk level for the object. The control unit 140 classifies objects by the degree of risk and generates object information for each degree of risk. The generated object information is transmitted to the analysis unit 130.

또한, 제어부(140)는 분석부(130)로부터 수신되는 물체 분류 정보를 이용하여 물체에 대한 최종 위험도를 설정하며, 설정된 최종 위험도에 따라 차량을 제어하기 위한 제어 신호를 출력할 수 있다.Also, the control unit 140 may set the final risk level for the object using the object classification information received from the analysis unit 130, and may output a control signal for controlling the vehicle according to the set final risk level.

이하, 본 발명의 실시예에 따른 분석부(130) 및 제어부(140)의 동작에 대해 구체적으로 설명한다. Hereinafter, the operation of the analysis unit 130 and the control unit 140 according to the embodiment of the present invention will be described in detail.

먼저, 제어부(140)는 감지부(110)로부터 수신되는 물체 감지 정보를 이용하여 물체의 위치를 파악하고 물체에 대한 위험도를 설정한다. 이때, 제어부(140)는 물체 감지 정보와 함께 차량(자차)의 운동성 정보를 더 이용하여 물체의 위험도를 설정할 수 있다. First, the control unit 140 determines the position of an object using the object detection information received from the sensing unit 110, and sets a risk level for the object. At this time, the control unit 140 can set the risk level of the object by further using the mobility information of the vehicle (the vehicle) together with the object detection information.

여기서, 차량의 운동성 정보에는 차량의 속도 정보, 가속도 정보 중 적어도 하나의 정보가 포함될 수 있다. 또는, 운동성 정보에는 차량 중심축을 중심으로 X, Y, Z 축의 변화(흔들림)을 나타내는 롤(Roll) 정보, 피치(Pitch) 정보, 요(Yaw) 정보 중 적어도 하나의 정보가 포함될 수 있다. 또한, 운동성 정보에는 차량의 방향 정보가 포함될 수도 있다.Here, the mobility information of the vehicle may include at least one of speed information and acceleration information of the vehicle. Alternatively, the mobility information may include at least one of roll information, pitch information, and yaw information indicating changes (shakes) of the X, Y, and Z axes about the central axis of the vehicle. Also, the mobility information may include direction information of the vehicle.

물체 감지 정보를 바탕으로 위험도를 설정함에 있어서, 제어부(140)는 차량과 거리가 가까운 물체의 위험도를 높게 설정할 수 있다. 예컨대,또한, 차량의 측면에 존재하는 물체보다는 차량의 경로 정면에 존재하는 물체에 가중치를 더하여 위험도를 높게 설정할 수 있다. 또한, 차량의 경로에서 차량에서 멀어지는 물체보다 차량쪽으로 다가오는 물체에 가중치를 더하여 위험도를 높게 설정할 수 있다.In setting the risk level based on the object detection information, the control unit 140 can set a high risk of an object having a distance to the vehicle. For example, it is also possible to set a higher risk by adding a weight to an object existing on the path front of the vehicle rather than an object existing on the side of the vehicle. Further, the risk can be set high by adding a weight to an object approaching the vehicle, rather than an object moving away from the vehicle in the path of the vehicle.

또한, 제어부(140)는 물체 감지 정보와 차량의 운동성 정보를 이용하여 설정되는 위험도에 따라, 차량 주변에 존재하는 다수의 물체 각각을 다수의 군으로 분류할 수 있다. 이때, 제어부(140)는 수학식 1을 통해 차량 주변의 물체를 위험군(제1군)과 관심군(제2군)으로 분류할 수 있다. In addition, the control unit 140 may classify each of a plurality of objects existing in the vicinity of the vehicle into a plurality of groups according to the risk set using the object detection information and the vehicle motion information. At this time, the control unit 140 can classify objects around the vehicle into a danger group (first group) and an interested group (second group) through Equation (1).

[수학식1][Equation 1]

target(i).위험도 = f(물체 감지 정보_i, 자차 운동성 정보) i={1~N}i = {1 to N} (i)

if (targt(i).위험도 >= 문턱값)if (targt (i). risk> = threshold)

target(i).group = 위험군 target (i) .group = Risky

elseelse

target(i).group = 관심군 target (i) .group = Interested group

여기서, N는 감지부(110)에 의해 감지된 물체의 개수이며, 문턱값은 위험군과 관심군으로 분류하기 위해 사전에 기설정된 값일 수 있다. 함수 f는 물체 감지 정보_(i) 및 자차 운동성 정보를 이용하여 위험도를 구하기 위해 사전에 설정된 연산식일 수 있다. Here, N is the number of objects sensed by the sensing unit 110, and the threshold value may be a predetermined value for sorting into a risk group and a target group. The function f may be a predetermined arithmetic expression to determine the risk using the object detection information_ (i) and the autoregularity information.

예컨대, 수학식 1을 통해 위험도가 낮은 0부터 위험도가 높은 10 중 어느 하나의 위험도가 구해질 수 있다. 또한, 0부터 10까지의 위험도에서 6이상의 위험도를 갖는 물체는 위험군으로 분류할 수 있다. 경우에 따라서, 0 내지 3은 관심군, 4 내지 6은 경고군, 7 내지 10은 위험군으로 3개의 군으로 분류될 수도 있다. 이경우는, 두개의 문턱값을 이용하여 3개의 군이 분류될 수 있다. For example, through Equation (1), any one of the risk 0 to the risk 10 can be obtained. In addition, an object with a risk of 6 or more at a risk of 0 to 10 can be classified as a risk group. In some cases, 0 to 3 may be categorized into three groups of interest, 4 to 6 as a warning group, and 7 to 10 as a risk group. In this case, three groups can be classified using two threshold values.

또한, 제어부(140)는 수학식 2와 같이 차량(자차)의 예상 경로를 더 이용하여 물체의 위험도를 설정할 수 있다. Also, the control unit 140 can set the risk level of the object by further using the estimated path of the vehicle (self-vehicle) as shown in Equation (2).

[수학식 2]&Quot; (2) "

target(i).위험도 = f(물체 감지 정보_i, 자차 운동성 정보, 자차의 예상 경로) i={1~N}i = {1 ~ N}, where i is the distance from the object to the target,

제어부(140)는 차량이 이전과 같은 운동성을 가질 때, 소정 시간(예컨대, 1초, 2초, 5초) 이내 충돌 가능성의 여부를 파악하여, 위험도를 설정할 수 있다. The control unit 140 can determine whether there is a possibility of collision within a predetermined time (for example, 1 second, 2 seconds, 5 seconds) and set a risk level when the vehicle has the same mobility.

제어부(140)는 동일한 군으로 분류된 물체들에 대한 정보를 취합한 군 별 물체 정보를 생성하여 분석부(130)로 전달한다. 예컨대, 제어부(140)는 위험군으로 분류된 물체들에 대한 위험군 물체 정보, 관심군으로 분류된 물체들에 관심군 물체 정보 등을 각각 생성하여 분석부(130)로 전달할 수 있다. The control unit 140 generates object information by grouping information on objects classified into the same group and transmits the object information to the analysis unit 130. For example, the control unit 140 may generate dangerous object information on objects classified as a dangerous group, object-of-interest information on objects classified as a target of interest, and transmit the generated object information to the analysis unit 130.

이때, 제어부(140)는 위험군 물체 정보를 우선적으로 생성하여 분석부(130)로 전달할 수 있다.At this time, the control unit 140 may preferentially generate the risk group object information and transmit the information to the analysis unit 130. [

여기서, 물체 정보에 포함된 물체의 위치 정보와 관련하여, 차량의 이동성에 따른 물체의 위치가 보정되어, 제어부(140)는 보정된 물체의 위치 정보를 물체 정보에 포함시킬 수 있다. 제어부(140)는 물체의 위치와 관련하여 물체 추적(tracking)을 수행하여 감지된 물체에 대한 감지 정보가 감지부(110)로부터 수신된 시각과 생성된 물체 정보를 분석부(130)로 송신하는 시각의 차이에 따라 추정되는 추정 위치 정보를 포함하여 위험군 물체 정보를 생성할 수 있다. Here, regarding the position information of the object included in the object information, the position of the object in accordance with the mobility of the vehicle is corrected, and the control unit 140 can include the position information of the corrected object in the object information. The control unit 140 performs tracking of the object in relation to the position of the object and transmits the time of the sensing information of the sensed object received from the sensing unit 110 and the generated object information to the analysis unit 130 It is possible to generate the risk group object information including the estimated position information estimated based on the time difference.

또한, 물체 정보에 포함된 물체의 위치가 분석부(130)가 인지할 수 있는 위치 좌표로 변환이 필요할 수 있다. 이 경우, 제어부(140)는 분석부(130)에서 인지 가능하도록 위치 좌표 변환 과정을 수행한 후, 물체 정보를 분석부(130)로 전달할 수 있다.Further, it may be necessary to convert the position of the object included in the object information into position coordinates that the analysis unit 130 can recognize. In this case, the control unit 140 may perform the position coordinate conversion process so that the analysis unit 130 recognizes the object, and may then transmit the object information to the analysis unit 130.

분석부(130)는 이와 같은 과정을 통해 제어부(140)로부터 수신되는 물체 정보(위험군 물체 정보)를 이용하여 물체 분류 정보 생성한다. 이때, 분석부(130)는 제어부(140)로부터 수신되는 물체 정보에 포함된 물체의 위치 정보를 이용하여 물체 종류를 분류할 수 있다. The analysis unit 130 generates object classification information using the object information (risk group object information) received from the control unit 140 through the above process. At this time, the analysis unit 130 can classify the object type by using the position information of the object included in the object information received from the control unit 140.

예컨대, 분석부(130)는 제어부(140)에서 위험군으로 판단된 다수의 위험군 물체에 대한 물체 정보(위험군 물체 정보)를 수신하여, 다수의 물체 각각의 물체 종류를 분석할 수 있다. 경우에 따라서, 분석부(130)는 제어부(140)에서 관심군으로 판단된 다수의 물체에 대한 관심군 물체 정보 또한 수신하여 분석할 수 있다.For example, the analyzer 130 may receive object information (risk group object information) for a plurality of high-risk groups determined to be a high-risk group in the control unit 140 and analyze the object types of the plurality of objects. The analysis unit 130 may also receive and analyze interest group object information for a plurality of objects determined to be of interest by the control unit 140 according to circumstances.

분석부(130)는 제어부(140)로부터 수신되는 물체 정보와 주변 영상 정보를 이용하여 물체 정보에 포함된 물체의 위치를 보정하여 물체 분류 정보를 생성할 수 있다. 덧붙여, 분석부(130)는 차량 주변의 물체에 대한 크기 또는 치수(dimension)를 파악하여 그에 대한 정보도 물체 분류 정보에 포함시킬 수 있다.The analysis unit 130 may generate object classification information by correcting the position of the object included in the object information by using the object information and the surrounding image information received from the control unit 140. [ In addition, the analysis unit 130 can grasp the size or dimension of an object in the vicinity of the vehicle, and can include information on the size or dimension of the object in the object classification information.

이와 같은 과정을 통해 생성된 물체 분류 정보는 제어부(140)로 전송된다. The object classification information generated through the above process is transmitted to the controller 140.

제어부(140)는 분석부(130)로부터 수신되는 물체 분류 정보를 이용하여 물체에 대한 위험도를 갱신하여 최종 위험도를 설정한다. The control unit 140 updates the risk level of the object using the object classification information received from the analysis unit 130 to set the final risk level.

이때, 제어부(140)는 분석부(130)로부터 수신되는 물체 분류 정보에 포함된 물체의 보정된 위치 또는 치수 정보를 일반적으로 이용하는 위치 정보로 변환하는 과정이 필요할 수도 있다. At this time, the control unit 140 may need to convert the corrected position or dimension information of the object included in the object classification information received from the analysis unit 130 into the generally used position information.

구체적으로, 제어부(140)는 분석부(130)로부터 수신되는 위험군 물체 분류 정보를 이용하여 물체에 대한 최종 위험도를 설정한다. 이때, 최종 위험도는 수학식 3과 같이 설정될 수 있다. Specifically, the control unit 140 sets the final risk level for the object using the dangerous object classification information received from the analysis unit 130. [ At this time, the final risk can be set as shown in Equation (3).

[수학식 3]&Quot; (3) "

target(i).최종위험도 = f2(target(i).위험도, 물체의 분류자), i={1~N}i = {1 to N}, the final risk = f2 (target (i)

또는 or

target(i).최종위험도 = f2(target(i).위험도, 물체의 분류자, 물체의 dimension), i={1~N}i = {1 to N}, the final risk = f2 (target i), the classifier of the object, the dimension of the object,

여기서, 분류자는 분석부(130)에 의해 분류된 물체의 종류를 말한다. 또한, 함수 f2는 target(i)의 위험도, 물체의 분류자, 및 물체의 치수를 더 이용하여 위험도를 구하기 위해 사전에 설정된 연산식일 수 있다.Here, the classifier refers to the kind of object classified by the analyzing unit 130. The function f2 may be a predetermined arithmetic expression to further determine the risk by using the risk of the target (i), the classifier of the object, and the dimensions of the object.

제어부(140)는 최종 위험도를 판단함에 있어서, 물체의 종류를 고려하여 최종 위험도를 설정한다. 예컨대, 보행자와 자동차가 동일한 시간(예컨대, 2초) 이내의 충돌 가능성이 있더라도, 보행자에 가중치를 적용함으로써, 보행자와 자동차로 분류된 물체는 서로 다른 최종 위험도를 가질 수 있다. In determining the final risk, the control unit 140 sets the final risk in consideration of the type of the object. For example, by applying a weight to a pedestrian, even if the pedestrian and the vehicle are likely to collide within the same time (e.g., 2 seconds), the pedestrian and the object classified as a vehicle can have different final risks.

제어부(140)는 물체에 설정된 최종 위험도에 따라 차량을 제어하기 위한 제어 신호를 출력할 수 있다. 이때, 제어부(140)는 차량(자차)의 경로를 유지하거나, 최소한으로 경로 변경을 하면서, 충돌 위험성이 없는 경로로 주행하기 위한 주행 제어 신호를 출력한다. 만약, 충돌 위험성을 피할 수 없는 경우에는 충돌 피해를 최소화할 수 있는 경로로 주행하기 위한 주행 제어 신호를 출력한다. 필요에 따라서, 제어부(140)는 경고를 위한 다수의 물체 중 충돌 위험이 가장 높은 즉, 최종 위험도가 가장 높은 물체와의 충돌 회피 가능 여부에 따라 주행 제어 신호 또는 경고 제어 신호를 출력할 수 있다. The control unit 140 may output a control signal for controlling the vehicle according to the final risk set on the object. At this time, the control unit 140 outputs a driving control signal for traveling on a path without any risk of collision, while maintaining the path of the vehicle (own vehicle) or changing the path to the minimum. If the risk of collision can not be avoided, a driving control signal for driving on a path that minimizes the collision damage is output. If necessary, the control unit 140 may output the driving control signal or the warning control signal according to whether collision avoidance is possible with respect to the object having the highest collision risk among the plurality of objects for warning, that is, the object having the highest final risk.

이때, 주행 제어 신호는 차량의 브레이크를 제어하기 위한 제동 신호와 차량의 스티어링 휠을 제어하기 위한 조향 신호를 포함할 수 있다. 또한, 경고 제어 신호는 차량의 클러스트 또는 AVN을 통해 경고 메시지 화면을 출력하기 위한 경고 화면 출력 신호 및 스피커 등을 통해 경고음을 출력하기 위한 경고음 출력 신호를 포함할 수 있다. At this time, the travel control signal may include a braking signal for controlling the braking of the vehicle and a steering signal for controlling the steering wheel of the vehicle. In addition, the warning control signal may include a warning screen output signal for outputting a warning message screen through the vehicle's cluster or AVN, and an alarm sound output signal for outputting a warning sound through a speaker or the like.

예컨대, 차량의 전방 물체의 최종 위험도가 기설정된 제1값(th1)을 초과(최종 위험도 > th1)하면, 제어부(140)는 물체와의 충돌의 회피가 어렵다고 판단하여 차량의 주행을 제어할 수 있는 주행 제어 신호를 출력한다. 이때, 주행 제어 신호는 차량의 브레이크를 제어하기 위한 제동 신호와 차량의 스티어링 휠을 제어하기 위한 조향 신호를 포함할 수 있다. For example, when the final risk of the vehicle ahead of the vehicle exceeds a predetermined first value th1 (final risk> th1), the control unit 140 determines that avoidance of collision with an object is difficult, And outputs the driving control signal. At this time, the travel control signal may include a braking signal for controlling the braking of the vehicle and a steering signal for controlling the steering wheel of the vehicle.

만약, 차량의 전방 물체의 최종 위험도가 기설정된 제2값을 초과하고 제1값(th1) 이하(th2 < 최종 위험도 ≤ th1)이면, 제어부(140)는 물체와의 충돌의 회피가 가능한 것으로 판단하여 운전자에게 물체의 존재를 경고하기 위한 경고 제어 신호를 출력할 수 있다. 예컨대, 제어부(140)는 차량의 클러스트 또는 AVN을 통해 경고 화면이 출력되도록 경고 제어 신호를 출력할 수 있다. If the final risk of the forward object of the vehicle exceeds a predetermined second value and is equal to or less than the first value th1 (th2 <final risk? Th1), the control unit 140 determines that collision with an object is possible And output a warning control signal for warning the driver of the presence of an object. For example, the control unit 140 may output an alarm control signal to output a warning screen through the vehicle's cluster or the AVN.

또한, 차량의 전방 물체의 최종 위험도가 제2값 이하(최종 위험도 ≤ th2)인 경우, 제어부(140)는 다수의 물체의 최종 위험도에 따른 우선순위에 기반하여 물체의 추적 관리를 수행할 수 있다. In addition, when the final risk of the vehicle ahead is less than or equal to the second value (final risk? Th2), the control unit 140 may perform tracking of the object based on the priority according to the final risk of the plurality of objects .

이와 같이, 제어부(140)는 주변 물체의 충돌 위험이 없는 경로를 설정하고, 설정된 경로를 유지하면서 다수의 물체의 최종 위험도에 따른 우선순위에 기반하여 물체의 추적 관리를 수행할 수 있다.In this way, the control unit 140 can set a route free from the risk of collision of surrounding objects, and can perform tracking of the object based on the priority according to the final risk of a plurality of objects while maintaining the set route.

한편, 제어부(140)는 관심군으로 분류된 물체에 대한 최종 위험도 또한 설정할 수 있다. 예컨대, 제어부(140)는 분석부(130)로 위험군 물체 정보를 전송할 시, 타이머를 설정할 수 있다. 이후, 전송된 위험군 물체 정보에 대한 위험군 물체 분류 정보가 분석부(130)로부터 수신되는 시간을 확인한다. 예컨대, 물체 정보가 분석부(130)로 전송이 시작된 시각부터 분석부(130)로부터 물체 분류 정보가 수신되는 시각까지의 시간과 타이머의 설정 시간을 비교하여 타이머의 잔여 시간을 구할 수 있다. 이를 위해, 타이머의 설정 시간값은 물체 정보가 분석부(130)로 전송이 시작된 시각부터 분석부(130)로부터 물체 분류 정보가 수신되는 시각까지의 시간값 보다 클 수 있다. On the other hand, the control unit 140 can also set the final risk for the object classified as the interest group. For example, when the control unit 140 transmits the risk group object information to the analysis unit 130, the control unit 140 can set a timer. Thereafter, the time at which the risk group object classification information on the transmitted risk group object information is received from the analysis unit 130 is confirmed. For example, the remaining time of the timer can be obtained by comparing the time from the time when the transmission of the object information to the analysis unit 130 is started to the time when the object classification information is received from the analysis unit 130 and the set time of the timer. To this end, the set time value of the timer may be greater than the time value from the time when the object information is transmitted to the analysis unit 130 to the time when the object classification information is received from the analysis unit 130.

만약, 타이머의 잔여 시간이 기설정된 설정 시간 이상인 경우, 관심군 물체 정보가 분석부(130)로 전달된다. 이후, 제어부(140)는 분석부(130)로부터 수신되는 관심군 물체 분류 정보를 이용하여 상기와 같이 최종 위험도 설정 과정을 통해 관심군으로 분류된 물체에 대해서도 최종 위험도를 설정할 수 있다. If the remaining time of the timer is equal to or longer than the preset time, the interested object information is transmitted to the analyzer 130. Thereafter, the control unit 140 may set the final risk for an object classified into the interest group through the final risk setting process using the object group classification information of interest received from the analysis unit 130. [

이와 같이, 본 발명의 실시예에 따르면, 차량 주변 감지 정보를 이용하여 차량 주변의 물체에 대해 1차적으로 위험도를 설정하고, 주변 영상 정보를 이용하여 분류되는 물체의 종류에 따라 2차적으로 물체에 대한 최종 위험도 설정하고, 이를 이용하여 차량을 제어함으로써, 오류가 적은 차량 주변 물체 감지 및 식별 성능 향상 및 신뢰성을 가질 수 있다.
As described above, according to the embodiment of the present invention, by using the perimeter sensing information of the vehicle, it is possible to primarily set a risk level for an object around the vehicle, and secondarily to the object depending on the type of object classified using the surrounding image information The final risk for the vehicle is set and the vehicle is controlled by using it, so that it is possible to improve the detection and identification performance and reliability of objects around the vehicle with few errors.

도 3은 본 발명의 일 실시예에 따른 차량 주변의 장애물을 감지하는 방법 흐름도이다. 3 is a flowchart illustrating a method for detecting an obstacle around a vehicle according to an exemplary embodiment of the present invention.

센서를 통해 감지된 차량 주변의 물체 감지 결과에 따라 물체 감지 정보가 생성된다(S301). 이때, 센서는 차량 외부의 소정 위치(예를 들어, 차량의 범퍼)에 장착되어, 차량 네트워크를 통해 통신 연결된 레이더 센서일 수 있다. The object detection information is generated according to the object detection result of the surroundings of the vehicle detected through the sensor (S301). At this time, the sensor may be a radar sensor mounted in a predetermined position outside the vehicle (for example, a bumper of the vehicle) and communicated via a vehicle network.

차량 주변의 물체 감지 결과에 따라 생성되는 물체 감지 정보에는 감지된 물체의 위치 정보가 포함된다. 이때, 위치 정보에는 차량과 물체간의 거리(r)와 물체의 방위각(θ)을 포함한다. 또한, 물체 감지 정보에는 수신 감도(sensitivity), 이동성 정보 및 추정되는 물체의 종류(예컨대, 보행자, 자동차 등) 등의 정보가 추가로 포함될 수 있다. 여기서, 추정되는 물체의 종류는 거리와 각도 및 감도를 이용하여 추정될 수 있다. The object detection information generated according to the object detection result of the surroundings of the vehicle includes the position information of the detected object. In this case, the position information includes the distance r between the vehicle and the object and the azimuth angle? Of the object. In addition, the object detection information may further include information such as reception sensitivity, mobility information, and the type of object to be estimated (e.g., a pedestrian, a car, etc.). Here, the type of the object to be estimated can be estimated using distance, angle, and sensitivity.

단계 S301에서 생성된 물체 감지 정보를 이용하여 물체의 위험도를 설정한다(S303). 이때, 물체 감지 정보와 함께 차량(자차)의 운동성 정보를 더 이용하여 물체의 위치를 파악하고 위험도를 1차적으로 설정할 수 있다. The risk of the object is set using the object detection information generated in step S301 (S303). At this time, the position of the object can be grasped by using the information on the motion of the vehicle (the vehicle) together with the object detection information, and the risk can be primarily set.

여기서, 차량의 운동성 정보에는 차량의 속도 정보, 가속도 정보 중 적어도 하나의 정보가 포함될 수 있다. 또는, 운동성 정보에는 차량 중심축을 중심으로 X, Y, Z 축의 변화(흔들림)을 나타내는 롤(Roll) 정보, 피치(Pitch) 정보, 요(Yaw) 정보 중 적어도 하나의 정보가 포함될 수 있다. 또한, 운동성 정보에는 차량의 방향 정보가 포함될 수도 있다. Here, the mobility information of the vehicle may include at least one of speed information and acceleration information of the vehicle. Alternatively, the mobility information may include at least one of roll information, pitch information, and yaw information indicating changes (shakes) of the X, Y, and Z axes about the central axis of the vehicle. Also, the mobility information may include direction information of the vehicle.

예컨대, 수학식 1을 통해 위험도가 낮은 0부터 위험도가 높은 10 중 어느 하나의 위험도가 구해질 수 있다. 이때, 물체 감지 정보를 바탕으로 위험도를 설정함에 있어서, 차량과 거리가 가까운 물체의 위험도를 높게 설정할 수 있다. 또한, 차량의 측면에 존재하는 물체보다는 정면에 존재하는 물체에 가중치를 더하여 위험도를 높게 설정할 수 있다.For example, through Equation (1), any one of the risk 0 to the risk 10 can be obtained. At this time, in setting the risk level based on the object detection information, the risk of an object having a distance to the vehicle can be set high. Further, the risk can be set high by adding a weight to an object existing on the front surface rather than an object existing on the side surface of the vehicle.

감지된 다수의 물체 각각을 위험도에 따라 다수의 군으로 분류한다(S305). 이때, 차량 주변의 물체는 위험군(제1군)과 관심군(제2군)으로 분류될 수 있다. 또한, 수학식 2와 같이 차량(자차)의 예상 경로가 더 고려되어 물체의 위험도를 설정할 수 있다. 예컨대, 차량이 이전과 같은 운동성을 가질 때, 소정 시간(예컨대, 1초, 2초, 5초) 이내 충돌 가능성의 여부를 파악하여, 위험도를 설정할 수 있다.Each of the plurality of sensed objects is classified into a plurality of groups according to the risk (S305). At this time, the objects around the vehicle can be classified into the danger group (the first group) and the interest group (the second group). In addition, the risk of the object can be set by considering the expected path of the vehicle (the vehicle) as shown in Equation (2). For example, when the vehicle has the same motility as before, it is possible to determine whether there is a possibility of collision within a predetermined time (for example, 1 second, 2 seconds, 5 seconds), and to set the risk.

단계 S305에서 동일한 군으로 분류된 물체들에 대한 정보를 취합한 군별 물체 정보를 생성한다(S307). 예컨대, 단계 S305에서 위험군으로 분류된 위험군 물체들에 대한 위험군 물체 정보, 관심군으로 분류된 관심군 물체들에 관심군 물체 정보 등을 각각 생성될 수 있다. 이때, 물체 정보에는 물체들의 위치 정보가 포함될 수 있다. In step S305, object information for each group obtained by collecting information on the objects classified into the same group is generated (S307). For example, in step S305, risk group object information for risky objects classified as the dangerous group, interest object information on the interest group objects classified as the interest group, and the like can be respectively generated. At this time, the object information may include position information of objects.

카메라를 통해 차량의 주변 영상 정보를 획득한다(S309). 이때, 차량의 전방, 후방, 좌측방 및 우측방에 장착된 비전 센서(Vision Sensor)(카메라)를 통해 주변 영상을 획득할 수 있다, The peripheral image information of the vehicle is acquired through the camera (S309). At this time, peripheral images can be acquired through a vision sensor (camera) mounted on the front, rear, left and right sides of the vehicle,

단계 S307에서 생성된 물체 정보와, 단계 S309에서 획득된 주변 영상 정보를 이용하여 물체의 종류를 분류하고 타이머를 설정한다(S311). 이때, 위험군 물체 정보를 이용하여 위험군 물체에 대한 물체 종류를 우선적으로 분류할 수 있다. The object type is classified using the object information generated in step S307 and the peripheral image information acquired in step S309, and a timer is set (S311). At this time, it is possible to classify the object types of the dangerous object in priority by using the dangerous object information.

장애물 감지 장치(100)는 일정 시간 단위로 획득되는 주변 영상 정보를 영상 처리 프로세서를 통해 분석하여, 차량 주변의 물체를 식별 및 분류하여 물체 분류 정보를 생성한다. 예컨대, 위험군 물체 정보를 이용하여 위험군 물체의 위치를 보정하고, 자동차, 보행자, 중앙분리대 등으로 물체의 종류를 분류할 수 있다.The obstacle sensing apparatus 100 analyzes surrounding image information obtained in units of a predetermined time through an image processing processor, and identifies and classifies objects around the vehicle to generate object classification information. For example, the position of a dangerous object may be corrected using the dangerous object information, and the type of the object may be classified into an automobile, a pedestrian, or a median barrier.

이러한 물체 종류의 분류 기준은 사전에 기설정되어 별도의 메모리에 저장될 수 있다. 또한, 물체의 위치를 보정할 시, 위험군 물체 정보에 포함된 물체 위치의 좌표는 영상 처리 프로세서에서 이용되는 위치 좌표 형태로 변환하는 과정이 필요할 수 있다. The classification criterion of the object type can be preset in advance and stored in a separate memory. Also, when correcting the position of an object, it may be necessary to convert the coordinates of the object position included in the dangerous object information to the position coordinates used in the image processing processor.

또한, 위험군 물체의 종류 분류 동작이 시작될 시 타이머가 설정될 수 있다. 이때 설정된 타이머는 이후에 관심군 물체에 대한 물체 종류를 분류할지 여부를 판단하는데 이용된다.Further, a timer may be set at the time when the sorting operation of the risk group object is started. At this time, the set timer is used to determine whether or not to classify the object type for the object of interest in the future.

단계 S311의 결과를 이용하여 물체 분류 정보를 생성한다(S313). 예컨대, 위험군 물체 정보에 포함된 물체의 위치를 보정하여 위험군 물체 분류 정보를 생성할 수 있다. 또한, 차량 주변의 물체에 대한 크기 또는 치수(dimension)를 파악하여 그에 대한 정보 또한 위험군 물체 분류 정보에 포함될 수 있다. The object classification information is generated using the result of step S311 (S313). For example, the risk group object classification information can be generated by correcting the position of the object included in the risk group object information. Further, the size or dimension of an object in the vicinity of the vehicle can be grasped, and information on the size or dimension of the object can also be included in the risk group object classification information.

단계 S313에서 생성된 물체 분류 정보를 고려하여, 물체에 대한 최종 위험도를 설정한다(S315). 이때, 물체 분류 정보에 포함된 물체의 보정된 위치 또는 치수 정보를 일반적으로 이용하는 위치 정보로 변환하는 과정이 필요할 수도 있다.The final risk level for the object is set in consideration of the object classification information generated in step S313 (S315). At this time, it may be necessary to convert the corrected position or dimension information of the object included in the object classification information into position information that is generally used.

예컨대, 위험군 물체 분류 정보를 통해 자동차보다 보행자에 상대적으로 높은 가중치가 적용됨으로써, 보행자와 자동차로 분류된 물체가 동일한 시간(예컨대, 2초) 이내의 충돌 가능성이 있더라도, 두 물체(보행자와 자동차)는 서로 다른 최종 위험도를 가질 수 있다.For example, a relatively high weight is applied to a pedestrian than a car through a dangerous object classification information, so that even if a pedestrian and an object classified as a car are likely to collide within the same time (for example, 2 seconds) May have different final risks.

단계 S315에서 설정된 물체의 최종 위험도에 따라, 충돌 회피가 가능한지 여부를 확인한다(S317). 이때, 차량을 기준으로 물체의 위치 및 차량과 물체 간의 거리를 확인하여, 차량과 물체 간의 충돌을 회피할 수 있는지 확인한다. In step S315, whether collision avoidance is possible or not is determined according to the final risk of the object set (S317). At this time, the position of the object and the distance between the vehicle and the object are checked based on the vehicle, and it is confirmed whether collision between the vehicle and the object can be avoided.

예컨대, 가장 높은 위험도를 갖는 물체의 최종 위험도가 기설정된 제1값(th1)을 초과(최종 위험도 > th1)하면, 물체와의 충돌의 회피가 어렵다고 판단할 수 있다. 만약, 가장 높은 위험도를 갖는 물체의 최종 위험도가 기설정된 제2값을 초과하고 제1값(th1) 이하(th2 < 최종 위험도 ≤ th1)이면, 물체와의 충돌의 회피가 가능한 것으로 판단할 수 있다. 이를 위해, 차량과 물체의 위치 및 거리에 따른 충돌 회피 판단 알고리즘이 기 저장될 수 있다.For example, when the final risk of the object having the highest risk exceeds the predetermined first value th1 (final risk> th1), it can be determined that it is difficult to avoid the collision with the object. If the final risk of the object having the highest risk exceeds the predetermined second value and is equal to or less than the first value th1 (th2 <final risk? Th1), it can be determined that avoidance of collision with the object is possible . For this purpose, a collision avoidance determination algorithm according to the position and distance of the vehicle and the object may be stored.

단계 S317의 확인 결과 차량과 물체 간의 충돌이 회피 가능한 것으로 판단되면, 충돌 회피를 위해 차량을 제어하기 위한 주행 제어 신호를 출력한다(S319). 이때, 주행 제어 신호는 물체와의 충돌을 회피하기 위해 차량의 브레이크를 제어하기 위한 제동 신호와 차량의 스티어링 휠을 제어하기 위한 조향 신호를 포함한다.If it is determined in step S317 that the collision between the vehicle and the object can be avoided, a driving control signal for controlling the vehicle for collision avoidance is output (S319). At this time, the travel control signal includes a braking signal for controlling the braking of the vehicle and a steering signal for controlling the steering wheel of the vehicle so as to avoid collision with an object.

예컨대, 차량과 물체 간의 거리 여유가 있는 경우, 차량의 브레이크를 온(ON) 시켜 차량을 제동시킴으로써, 물체와의 충돌을 회피할 수 있다. 또는, 차량의 스티어링 휠 전환함으로써, 차량의 방향을 틀어 물체와의 충돌을 회피할 수 있다.For example, when there is a sufficient distance between the vehicle and the object, collision with an object can be avoided by braking the vehicle by turning on the brake of the vehicle. Alternatively, by switching the steering wheel of the vehicle, it is possible to avoid collision with an object by turning the direction of the vehicle.

만약, 단계 S317의 확인 결과 차량과 물체 간의 충돌이 회피 불가능한 것으로 판단되면, 충돌 위험도가 낮은 방향으로 차량을 제어하기 위한 주행 제어 신호를 출력한다(S321). 이때, 주행 제어 신호는 물체와의 충돌을 회피하기 위해 차량의 브레이크를 제어하기 위한 제동 신호와 차량의 스티어링 휠을 제어하기 위한 조향 신호를 포함한다.If it is determined in step S317 that the collision between the vehicle and the object is impossible, the driving control signal for controlling the vehicle in the direction of low risk of collision is output (S321). At this time, the travel control signal includes a braking signal for controlling the braking of the vehicle and a steering signal for controlling the steering wheel of the vehicle so as to avoid collision with an object.

예컨대, 차량의 스티어링 휠을 전환함으로써, 차량의 방향을 틀어 물체와의 충돌의 충격량을 줄일 수 있다. 이때, 차량의 브레이크 또한 온(ON) 시켜 차량의 속도를 줄임으로써, 충격량을 줄일 수 있다.For example, by switching the steering wheel of the vehicle, it is possible to reduce the amount of impact of collision with an object by turning the vehicle. At this time, by turning on the brake of the vehicle to reduce the speed of the vehicle, the amount of impact can be reduced.

덧붙여, 차량의 주행 제어 신호를 출력함과 동시에, 경고 제어 신호를 출력하여, 운전자에게 물체와의 충돌 위험을 경고할 수 있다. 이때, 경고 제어 신호는 신호는 차량의 클러스트 또는 AVN을 통해 경고 메시지 화면을 출력하기 위한 경고 화면 출력 신호 및 스피커 등을 통해 경고음을 출력하기 위한 경고음 출력 신호를 포함할 수 있다.In addition, it outputs a driving control signal of the vehicle and outputs a warning control signal to warn the driver of the risk of collision with an object. At this time, the warning control signal may include a warning screen output signal for outputting a warning message screen through a vehicle's cluster or AVN, and an alarm sound output signal for outputting a warning sound through a speaker or the like.

단계 S315에서 설정된 물체의 최종 위험도에 따라, 차량을 제어하기 위한 제어 신호를 출력한다(S317). 이때, 다수의 물체 중 충돌 위험이 가장 높은 즉, 최종 위험도가 가장 높은 물체와의 충돌이 회피 가능한지 여부에 따라 주행 제어 신호 또는 경고 제어 신호가 출력될 수 있다. In step S315, a control signal for controlling the vehicle is outputted in accordance with the final risk of the object set (S317). At this time, the running control signal or the warning control signal may be outputted depending on whether collision with the object having the highest risk of collision among the plurality of objects is highest or can be avoided.

예컨대, 가장 높은 위험도를 갖는 물체의 최종 위험도가 기설정된 제1값(th1)을 초과(최종 위험도 > th1)하면, 물체와의 충돌의 회피가 어렵다고 판단하여 차량의 주행을 제어할 수 있는 주행 제어 신호가 출력된다. 이때, 주행 제어 신호는 차량의 브레이크를 제어하기 위한 제동 신호와 차량의 스티어링 휠을 제어하기 위한 조향 신호를 포함할 수 있다. For example, when the final risk of an object having the highest risk exceeds the predetermined first value th1 (final risk> th1), it is determined that avoidance of collision with an object is difficult, Signal is output. At this time, the travel control signal may include a braking signal for controlling the braking of the vehicle and a steering signal for controlling the steering wheel of the vehicle.

만약, 가장 높은 위험도를 갖는 물체의 최종 위험도가 기설정된 제2값을 초과하고 제1값(th1) 이하(th2 < 최종 위험도 ≤ th1)이면, 물체와의 충돌의 회피가 가능한 것으로 판단하여 운전자에게 물체의 존재를 경고하기 위한 경고 제어 신호를 출력할 수 있다. 예컨대, 제어부(140)는 차량의 클러스트 또는 AVN을 통해 경고 화면이 출력되도록 경고 제어 신호를 출력할 수 있다.If the final risk of the object having the highest risk exceeds the predetermined second value and is equal to or less than the first value th1 (th2 <final risk? Th1), it is determined that it is possible to avoid the collision with the object, It is possible to output a warning control signal for warning of the presence of an object. For example, the control unit 140 may output an alarm control signal to output a warning screen through the vehicle's cluster or the AVN.

한편, 위험군 물체의 물체 종류의 분류 동작이 완료된 시점에, 단계 S311에서 설정된 타이머의 잔여 시간을 확인하여 관심군 물체에 대한 물체 종류를 분류할지 여부를 판단한다(S319S323). 만약, 타이머의 잔여 시간이 기설정된 설정 시간 이상인 경우, 단계 S311으로 피드백하여 관심군 물체 정보를 이용하여 관심군 물체에 대한 물체 종류를 분류한다. 이후, 단계313 내지 단계 S319S321의 과정을 거쳐 위험군 물체와 동일하게 관심군 물체에 대해서도 최종 위험도를 설정 및 그에 따른 차량 제어 신호를 출력할 수 있다. When the sorting operation of the object type of the dangerous object is completed, the remaining time of the timer set in step S311 is checked to determine whether to classify the object type for the object of interest (S319S323). If the remaining time of the timer is equal to or longer than the preset time, the process returns to step S311 to classify the object type for the object of interest by using the interest object information. Thereafter, through steps 313 to S319S321, the final risk level can be set for the object of interest and the vehicle control signal corresponding thereto can be outputted to the object of interest similarly to the dangerous object.

이와 같이, 본 발명의 실시예에 따르면, 차량 주변 감지 정보를 이용하여 차량 주변의 물체에 대해 1차적으로 위험도를 설정하고, 주변 영상 정보를 이용하여 분류되는 물체의 종류에 따라 2차적으로 물체에 대한 최종 위험도 설정하고, 이를 이용하여 차량을 제어함으로써, 오류가 적은 차량 주변 물체 감지 및 식별 성능 향상 및 신뢰성을 가질 수 있다.
As described above, according to the embodiment of the present invention, by using the perimeter sensing information of the vehicle, it is possible to primarily set a risk level for an object around the vehicle, and secondarily to the object depending on the type of object classified using the surrounding image information The final risk for the vehicle is set and the vehicle is controlled by using it, so that it is possible to improve the detection and identification performance and reliability of objects around the vehicle with few errors.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that the invention may be embodied in other specific forms. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents shall be construed as being included within the scope of the present invention.

100 : 장애물 감지 장치
110 : 감지부 120 : 촬영부
130 : 분석부 140 : 제어부
100: Obstacle detection device
110: sensing unit 120:
130: Analyzer 140:

Claims (1)

차량 주변의 물체를 감지하여 물체 감지 정보를 생성하는 감지부;
상기 차량 주변이 촬영된 주변 영상을 분석하여 상기 물체의 종류를 분류하여 물체 분류 정보를 생성하는 분석부; 및
상기 감지부를 통해 수신되는 상기 물체 감지 정보를 이용하여 상기 물체의 위험도를 설정하며, 상기 물체에 대한 물체 정보를 상기 분석부로 전송하며, 상기 분석부를 통해 수신되는 상기 물체 분류 정보를 이용하여 상기 물체에 대한 최종 위험도를 설정하는 제어부;
를 포함하는 장애물 감지 장치.
A sensing unit that senses an object in the vicinity of the vehicle and generates object detection information;
An analysis unit for analyzing a surrounding image photographed around the vehicle and sorting the types of the objects to generate object classification information; And
Wherein the analyzing unit is configured to set the risk level of the object using the object sensing information received through the sensing unit, to transmit object information about the object to the analyzing unit, and to use the object classification information received through the analyzing unit, A control unit for setting a final risk level for the device;
And an obstacle detection device.
KR1020150063019A 2015-05-06 2015-05-06 Device for detecting an obstacle KR20160131196A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150063019A KR20160131196A (en) 2015-05-06 2015-05-06 Device for detecting an obstacle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150063019A KR20160131196A (en) 2015-05-06 2015-05-06 Device for detecting an obstacle

Publications (1)

Publication Number Publication Date
KR20160131196A true KR20160131196A (en) 2016-11-16

Family

ID=57540701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150063019A KR20160131196A (en) 2015-05-06 2015-05-06 Device for detecting an obstacle

Country Status (1)

Country Link
KR (1) KR20160131196A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109305165A (en) * 2017-07-28 2019-02-05 现代摩比斯株式会社 Intelligent ultrasound system, rear of vehicle collision-warning device and its control method
KR20190012607A (en) * 2017-07-28 2019-02-11 현대모비스 주식회사 Apparatus for warning rear collision of vehicle and control method thereof
KR20190066117A (en) * 2017-12-05 2019-06-13 현대자동차주식회사 Vehicle, and control method for the same
KR20190067961A (en) * 2017-12-08 2019-06-18 현대자동차주식회사 Vehicle and controllling method thereof
KR20200133122A (en) * 2019-05-17 2020-11-26 현대모비스 주식회사 Apparatus and method for preventing vehicle collision

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109305165A (en) * 2017-07-28 2019-02-05 现代摩比斯株式会社 Intelligent ultrasound system, rear of vehicle collision-warning device and its control method
KR20190012607A (en) * 2017-07-28 2019-02-11 현대모비스 주식회사 Apparatus for warning rear collision of vehicle and control method thereof
KR20210080329A (en) * 2017-07-28 2021-06-30 현대모비스 주식회사 Apparatus for warning rear collision of vehicle and control method thereof
US11453335B2 (en) 2017-07-28 2022-09-27 Hyundai Mobis Co., Ltd. Intelligent ultrasonic system and rear collision warning apparatus for vehicle
KR20190066117A (en) * 2017-12-05 2019-06-13 현대자동차주식회사 Vehicle, and control method for the same
KR20190067961A (en) * 2017-12-08 2019-06-18 현대자동차주식회사 Vehicle and controllling method thereof
KR20200133122A (en) * 2019-05-17 2020-11-26 현대모비스 주식회사 Apparatus and method for preventing vehicle collision

Similar Documents

Publication Publication Date Title
US9797734B2 (en) Object recognition apparatus
JP5345350B2 (en) Vehicle driving support device
US9260059B2 (en) False warning reduction using location data
US9499171B2 (en) Driving support apparatus for vehicle
US9493163B2 (en) Driving support apparatus for vehicle
WO2021249020A1 (en) Method and apparatus for predicting driving state, and terminal device
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat
US9223311B2 (en) Vehicle driving support control apparatus
CN109204311B (en) Automobile speed control method and device
JP5167051B2 (en) Vehicle driving support device
US11897458B2 (en) Collision avoidance apparatus for vehicle
KR20200134379A (en) Collision Avoidance device, Vehicle having the same and method for controlling the same
KR101511858B1 (en) Advanced Driver Assistance System(ADAS) and controlling method for the same
CN110194152B (en) Autonomous emergency braking system and method for a vehicle at an intersection
CN112534487B (en) Information processing apparatus, moving body, information processing method, and program
KR20160131196A (en) Device for detecting an obstacle
CN114424265B (en) Signal processing device, signal processing method, program, and mobile device
KR20180007412A (en) Multi sensor based obstacle detection apparatus and method
KR20160091040A (en) Vehicle and Control Method Thereof
CN112793507A (en) Blind area early warning braking system based on inertial device perception vehicle right turn motion characteristic
KR20150096924A (en) System and method for selecting far forward collision vehicle using lane expansion
JP7103733B2 (en) Driving support device and driving support system
JP2024518934A (en) Optical interference detection during vehicle navigation
US20240182052A1 (en) Driver assistance apparatus and driver assistance method
US12060065B2 (en) Vehicle control system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application