Nothing Special   »   [go: up one dir, main page]

WO2018026247A1 - 차량용 디스플레이 장치 및 이의 제어 방법 - Google Patents

차량용 디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2018026247A1
WO2018026247A1 PCT/KR2017/008488 KR2017008488W WO2018026247A1 WO 2018026247 A1 WO2018026247 A1 WO 2018026247A1 KR 2017008488 W KR2017008488 W KR 2017008488W WO 2018026247 A1 WO2018026247 A1 WO 2018026247A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
display
vehicle
information
driving information
Prior art date
Application number
PCT/KR2017/008488
Other languages
English (en)
French (fr)
Inventor
우지환
이영윤
최원희
김세훈
이승헌
윤강진
전해인
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/323,178 priority Critical patent/US20190187790A1/en
Publication of WO2018026247A1 publication Critical patent/WO2018026247A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present invention relates to a vehicle display apparatus and a control method thereof, and more particularly, to a vehicle display apparatus and a control method thereof, which track the eyes of a driver and provide driving information of the vehicle in a direction viewed by the driver.
  • a vehicle display device eg, a head-up display device
  • a navigation function e.g., a navigation function
  • an entertainment function e.g., a navigation function, a navigation function, and the like.
  • Existing vehicle display apparatus has provided driving information at a fixed position or depth. Therefore, looking at an object located in front of the object was required to move the eye to see the fixed position and the operation information of the depth. In this case, the visibility is reduced due to the change in focus of the driver, the risk is increased, and the feeling of motion sickness may increase.
  • the existing vehicle display apparatus displays only driving information (eg, current speed, speed of the front vehicle, etc.) of fixed contents at a fixed position. That is, by providing only fixed contents irrespective of the object currently viewed by the driver, there is a disadvantage in that the driver cannot provide necessary information.
  • driving information eg, current speed, speed of the front vehicle, etc.
  • An object of the present invention is to provide a vehicle display apparatus and a control method thereof, which can provide driving information on an object viewed by a driver at a position corresponding to the driver's gaze based on the driver's gaze.
  • FIG. 2 is a block diagram briefly illustrating a configuration of a vehicle display apparatus according to an embodiment of the present invention
  • FIG. 6 is a view showing a camera for eye tracking, according to an embodiment of the present invention.
  • the vehicle display apparatus 100 is mounted in the vehicle system 10 and provides driving information to the driver using the windshield of the vehicle system 10.
  • the vehicle display apparatus 100 may determine an external object existing at a position where the driver's gaze faces based on the tracked driver's gaze. For example, as shown in FIG. 1, the vehicle display apparatus 100 may determine that an object viewed by the driver is an external vehicle 20 based on the driver's gaze.
  • the vehicle display apparatus 100 may recognize an external object and acquire information (particularly, driving information) about the external object.
  • the vehicle display apparatus 100 may obtain information on an external object through an external server, and may acquire information on the external object by searching for previously stored information.
  • the vehicle display apparatus 100 may acquire information about an external object by using various sensors (eg, a sensor for detecting a speed).
  • the processor 140 may acquire information on the determined object, and control the display 130 to determine and display the obtained information on the object as driving information of the vehicle.
  • the processor 140 may obtain information about an object from an external server, obtain information about the object by searching previously stored information, and based on the sensing value detected by the sensing unit 120. Information about the object can be obtained.
  • the depth information of the driving information of the vehicle is determined based on the distance from the object.
  • the display size of the driving information of the vehicle is determined based on the distance from the object. You can decide.
  • the processor 140 determines the display area of the driving information of the vehicle using the driver's eyes, determines the display size of the driving information of the vehicle based on the distance from the object, and determines the determined display area and the display size.
  • the display 130 may be controlled to render and display driving information of the vehicle based on the background.
  • the driver can not only check the driving information safely, but also the motion sickness can be reduced.
  • the driver can obtain necessary information about the object viewed by the driver.
  • the camera 110 is disposed on the upper end of the windshield of the vehicle system 10 is only an embodiment, it may be disposed on another area such as a dashboard of the vehicle.
  • the camera 110 may be a general camera for capturing a color image, but this is only an embodiment and may be an infrared camera.
  • FIG. 4C is a diagram for describing an embodiment in which an autostereoscopic 3D display is applied to a vehicle display apparatus according to an exemplary embodiment.
  • the autostereoscopic 3D display includes a light source 400, a display panel 410, a stereoscopic image filter 420, and a virtual image optical system 430.
  • the light source 400 generates red green blue light.
  • the display panel 410 reflects or transmits the light generated by the light source 400 to generate an image including various driving information required by an actual driver.
  • the stereoscopic filter 420 may separate the viewing area so that the driver may feel a stereoscopic sense of the reflected or transmitted image.
  • the virtual image optical system 430 may display an image that has passed the stereoscopic image filter 420 as a virtual 3D image 440 on the windshield of the vehicle.
  • the memory 150 may be implemented as an external memory.
  • the external memory may further include a flash drive such as compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (XD), or MemoryStick. It may include.
  • the input unit 170 may receive a driver command for controlling the vehicle display apparatus 100 or the vehicle system 10.
  • the processor 140 may receive a command from other components through a configuration such as a bus (not shown), decode the received command, and execute an operation or data processing according to the decoded command.
  • the processor 140 may include a main processor and a subprocessor, and the subprocessor may be configured as a low power processor.
  • the main processor and the sub-processor may be implemented in one chip form, or may be implemented as a separate chip.
  • the subprocessor may include a buffer or a stack type memory therein.
  • the processor 140 obtains direction information of the driver's gaze (S530).
  • the processor 140 may acquire direction information viewed by the driver after moving at least one of the driver's eyes and face for a predetermined time or more.
  • the processor 140 determines an external object located in the driver's line of sight (S540).
  • the processor 140 may determine at least one object located within a predetermined range based on the direction information of the driver's gaze. For example, as illustrated in FIG. 7, the processor 140 may determine an object located in the region 710 within a predefined range corresponding to the direction in which the driver's gaze faces. In this case, the processor 140 may ignore objects located in the areas 720-1 and 720-2 outside the predefined range.
  • the processor 140 detects a distance from the determined object.
  • the processor 140 may determine the distance from the objects located in the region 710 within the predefined range through the sensing unit 120. In this case, the processor 140 may detect the speed as well as the distance to the determined object.
  • the processor 140 acquires information about an object.
  • the processor 140 may obtain information about an object from an external server, obtain information about the object by searching for pre-stored driving information, and use the information detected by the sensing unit 120.
  • Information about the object can be obtained. For example, if it is determined that there is a stopped vehicle in the area 710, the processor 140 may receive the communication interface 160 to receive driving information (eg, accident information) about the stopped vehicle from an external server. ) Can be controlled.
  • driving information eg, accident information
  • the processor 140 may search for and obtain driving information corresponding to a corresponding sign from among navigation information stored in the memory 150.
  • the processor 140 may obtain a distance to the car and a speed of the car through the sensing unit 120.
  • the processor 140 determines a display area of the vehicle's driving information by using the driver's eyes, determines depth information of the vehicle's driving information based on a distance from an object, and determines the determined display area and the depth information.
  • the display 130 may be controlled to display driving information of the vehicle based on the background.
  • the processor 140 may determine a display area of the driving information of the vehicle in an area to which the driver's eyes are directed. For example, as shown in FIG. 8A, when the driver's gaze is located in the middle area of the windshield, the processor 140 may operate driving information 810 in the middle area of the windshield so that the driver's gaze corresponds to the direction in which the driver's gaze is directed.
  • the display 130 may be controlled to display.
  • FIG. 8B when the driver's gaze is located in the lower area of the windshield, the processor 140 may operate the driving information 820 in the lower area of the windshield so as to correspond to the direction in which the driver's gaze is directed.
  • the display 130 may be controlled to display.
  • FIG. 8C when the driver's gaze is located in the upper region of the windshield, the processor 140 may operate the driving information 830 in the upper region of the windshield to correspond to the direction in which the driver's gaze is directed.
  • the display 130 may be controlled to display.
  • the processor 140 may determine the depth information of the driving information based on the distance from the external object. In detail, the processor 140 may determine to increase the depth value as the distance from the external object increases, and may decrease the depth value as the distance to the external object becomes closer. In this case, as the depth value is larger, the driving information may be displayed as if it is far away, and as the depth value is smaller, the driving information may be displayed as if it is near. For example, when the distance to the external object is the first distance, the processor 140 may control the display 130 to display the driving information 910 having the first depth value, as shown in FIG. 9. Can be.
  • the processor 140 displays the driving information 920 having a second depth value larger than the first depth value, as shown in FIG. 9.
  • the display 130 can be controlled to display.
  • the processor 140 may provide driving information 930 having a third depth value smaller than the first depth value, as shown in FIG. 9.
  • the display 130 can be controlled to display. In this case, the processor 140 may process the multi-view 3D image based on the determined depth value and provide driving information 930 having a depth corresponding to the distance to the external object.
  • the processor 140 may adjust the depth value of the driving information to correspond to the distance to the object to which the driver's eyes are directed, thereby reducing the nausea of the driver.
  • the processor 140 may control the display 130 to change the depth information of the driving information of the vehicle based on the driver's line of sight and to display the driving information of the vehicle by tilting the display.
  • the processor 140 displays the driving information 1010 on the front of the driver, and as shown on the right side of FIG. 10A, the corresponding driving.
  • the information 1010 can be seen clearly.
  • the processor 140 may change the depth information of the driving information 1130 displayed in the lower region of the windshield window.
  • the display 130 may be controlled to tilt and display the driving information 1130. That is, the processor 140 determines depth information such that the lower side of the driving information 1130 is located closer, determines depth information so that the upper side of the driving information 1130 is located farther, and determines driving depth information based on the determined depth information.
  • the display 130 may be controlled so that the 1130 is tilted and displayed.
  • the display 130 displays an image including driving information of the vehicle (S580).
  • the driving information of the vehicle may include a plurality of types having different display methods.
  • the driving information of the vehicle includes the first driving information having a fixed position and depth, the second driving information whose only depth is changed according to the distance to the object at the fixed position, the position of the line of sight and the distance to the object. And the third driving information whose depth is changed.
  • the processor 140 may recognize the external object and then provide the driving information in a different display manner according to the recognized type of the external object.
  • the driver can not only check the driving information safely but also motion sickness. Sensitivity can be reduced.
  • the driver can obtain necessary information about the object viewed by the driver.
  • the vehicle display apparatus 100 tracks a driver's gaze by analyzing a driver image photographed through the camera 110 (S1310).
  • the vehicle display apparatus 100 calculates a distance from the object determined using a sensor (eg, an ultrasonic sensor) (S1330).
  • a sensor eg, an ultrasonic sensor
  • the vehicle display apparatus 100 displays driving information of the vehicle based on the driver's gaze and the distance to the object (S1340).
  • the vehicle display apparatus 100 may determine the display area and the depth information of the driving information based on the driver's gaze and the distance to the object, and display the driving information based on the determined display area and the depth information.
  • a mode of providing driving information based on a driver's gaze and a distance to an object may be referred to as a head up display (HUD) mode. That is, when the mode of the vehicle display apparatus 100 is the HUD mode, the processor 140 may determine the display position and the depth information of the driving information based on the driver's gaze and the distance to the object to display the driving information. 130 can be controlled. However, when the user's setting or the HUD mode is difficult to operate normally (for example, when the camera or the sensor is broken, or when there are more objects than the preset number in the user's gaze range), the processor 140 may display the vehicle display device.
  • the processor 140 may display the vehicle display device.
  • the mode 100 may be switched to the general mode to provide 2D-type driving information having no three-dimensional effect in the preset area.
  • the 2D type driving information may include only basic information such as the speed of the vehicle and the fuel amount. That is, when the HUD mode is abnormally operated, the vision of the user may be disturbed and thus may be a threat to safe driving. Therefore, the processor 140 may change the mode of the vehicle display apparatus 100 to a normal mode so that the user may drive safely. You can switch to
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

차량용 디스플레이 장치 및 이의 제어 방법이 제공된다. 본 차량용 디스플레이 장치는 운전자를 촬영하는 카메라, 외부의 물체와의 거리를 측정하기 위한 센싱부, 차량의 운행 정보를 제공하는 디스플레이 및 카메라를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이를 제어하기 위한 프로세서를 포함한다.

Description

차량용 디스플레이 장치 및 이의 제어 방법
본 발명은 차량용 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상게하게는 운전자의 시선을 추적하여 운전자가 바라보는 방향에 차량의 운행 정보를 제공하는 차량용 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
현재 자동차에는 많은 전자 장치가 채용되고 있으며, 그 중요성 역시 증가하고 있다. 특히, 자동차의 전자 장치 중 하나인 차량용 디스플레이 장치(예를 들어, 헤드업 디스플레이 장치)는 네비게이션 기능, 엔터테인먼트 기능 등과 같은 다양한 기능에 활용될 수 있어 그 중요성이 점점 증가하고 있다.
기존의 차량용 디스플레이 장치는 고정된 위치나 뎁스로 운행 정보를 제공하였다. 따라서, 전방에 위치하는 물체를 바라보다가 고정된 위치 및 뎁스의 운행 정보를 보기 위해서는 시선의 이동이 필요하였다. 이때, 운전자의 초점 변화로 인해 시인성이 감소하여 위험성이 높아지며, 멀미감도 늘어날 수 있는 문제점이 발생하였다.
또한, 기존의 차량용 디스플레이 장치는 고정된 위치에 고정된 내용의 운행 정보(예를 들어, 현재 속도, 앞차의 속도 등)만을 표시하였다. 즉, 현재 운전자가 바라보는 물체와 상관없이 고정된 내용만을 제공함으로써, 정작 운전자가 필요한 정보를 제공하지 못하는 단점이 존재하였다.
본 발명의 목적은 운전자 시선을 바탕으로 운전자의 시선에 대응되는 위치에 운전자가 바라보는 물체에 대한 운행 정보를 제공할 수 있는 차량용 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치는, 운전자를 촬영하는 카메라; 외부의 물체와의 거리를 측정하기 위한 센싱부; 차량의 운행 정보를 제공하는 디스플레이; 및 상기 카메라를 통해 촬영된 영상을 분석하여 상기 운전자의 시선을 추적하며, 상기 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 상기 센싱부를 통해 상기 판단된 물체와의 거리를 산출하며, 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 상기 운행 정보를 표시하도록 상기 디스플레이를 제어하기 위한 프로세서;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른, 차량용 디스플레이 장치의 제어 방법은, 카메라를 통해 촬영된 운전자 영상을 분석하여 운전자의 시선을 추적하는 단계; 상기 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하는 단계; 센서를 이용하여 상기 판단된 물체와의 거리를 산출하는 단계; 및 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 차량의 운행 정보를 표시하는 단계;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 운전자의 시선에 따라 운전자가 바라보는 물체에 대한 정보를 운전자의 시선이 머무는 곳에 표시함으로써, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치가 탑재된 차량 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 상세히 도시한 블록도,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 무안경 방식의 3D 영상을 표시할 수 있는 디스플레이를 설명하기 위한 도면들,
도 5는 본 발명의 일 실시예에 따른, 차량용 디스플레이의 제어 방법을 상세히 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시예에 따른, 시선 추적을 위한 카메라를 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 운전자 시선에 따라 3D 영상을 복원하는 영역을 설명하기 위한 도면,
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 운전자 시선의 위치에 따라 운행 정보의 표시 영역을 결정하는 실시예를 설명하기 위한 도면,
도 9은 본 발명의 일 실시예에 따른, 운행 정보의 뎁스를 변경하는 실시예를 설명하기 위한 도면,
도 10a 내지 도 10c는 본 발명의 다양한 실시예에 따른, 운전자 시선에 따라 영상을 틸팅하는 실시예를 설명하기 위한 도면들,
도 11a 내지 도 11d는 본 발명의 다양한 실시예에 따른, 운전자 시선의 위치에 따라 영상을 틸팅하거나 이동하는 실시예를 설명하기 위한 도면들,
도 12는 본 발명의 일 실시예에 따른, 다양한 유형의 운행 정보를 설명하기 위한 도면,
도 13은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
본 개시의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 다양한 실시 예에서 사용될 수 있는 "포함한다" 또는"포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시 예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시 예에서 사용된 "제 1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 실시 예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 운전자 기기와 제 2 운전자 기기는 모두 운전자 기기이며, 서로 다른 운전자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 개시의 다양한 실시예에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 다양한 실시예에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 다양한 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)가 탑재된 차량 시스템(10)을 도시한 도면이다.
차량용 디스플레이 장치(100)는 차량 시스템(10) 내에 탑재되며, 차량 시스템(10)의 앞유리창을 이용하여 운전자에게 운행 정보를 제공한다.
특히, 차량용 디스플레이 장치(100)는 카메라를 이용하여 운전자를 촬영하고, 촬영된 영상을 분석하여 운전자 시선을 추적할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 추적된 운전자 시선을 바탕으로 운전자 시선이 향하는 위치에 존재하는 외부 물체를 판단할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 운전자 시선을 바탕으로 운전자가 바라보는 물체가 외부의 차량(20)임을 판단할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 센서를 이용하여 외부 물체와의 거리(d)를 산출할 수 있다. 이때, 차량용 디스플레이 장치(100)는 초음파 센서를 이용하여 외부 물체와의 거리를 산출할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 외부 물체를 인식하여 외부 물체에 대한 정보(특히, 운행 정보)를 획득할 수 있다. 구체적으로, 차량용 디스플레이 장치(100)는 외부 서버를 통해 외부 물체에 대한 정보를 획득할 수 있으며, 기 저장된 정보를 검색하여 외부 물체에 대한 정보를 획득할 수 있다. 또한, 차량용 디스플레이 장치(100)는 다양한 센서(예를 들어, 속도를 감지하기 위한 센서 등)를 이용하여 외부 물체에 대한 정보를 획득할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 외부 물체와의 거리 및 운전자 시선을 바탕으로 운행 정보를 포함하는 영상을 처리하여 표시할 수 있다. 이때, 차량용 디스플레이 장치(100)는 외부 물체와의 거리 및 운전자 시선을 바탕으로 운행 정보의 표시 영역, 표시 크기, 및 뎁스 정보를 판단하고, 판단된 표시 영역, 표시 크기 및 뎁스 정보를 바탕으로 운행 정보를 포함하는 영상을 처리하여 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 간략히 도시한 블록도이다. 도 2에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 카메라(110), 센싱부(120), 디스플레이(130) 및 프로세서(140)를 포함한다.
카메라(110)는 차량 시스템(10) 내부에 구비되어 운전자를 촬영한다. 특히, 카메라(110)는 운전자 시선을 추적하기 위하여 운전자의 눈 및 얼굴을 촬영할 수 있다. 이때, 카메라(110)는 2대의 카메라를 포함하는 스테레오 카메라로 구현될 수 있다.
센싱부(120)는 외부 물체와의 거리를 측정한다. 구체적으로, 센싱부(120)는 적외선 센서 또는 초음파 센서와 같이 거리 측정을 위한 센서를 이용하여 외부 물체와의 거리를 측정할 수 있다. 이때, 센싱부(120)는 외부 물체의 속도를 측정하기 위한 센서를 포함할 수 있다.
디스플레이(130)는 차량 시스템(10)의 앞유리창에 차량 시스템(10)의 운행 정보를 표시한다. 이때, 차량 시스템(10)의 운행 정보는 운전자가 차량 시스템(10)을 운행하는데 필요한 정보(예를 들어, 네비게이션, 속도, 연료량, 도로 정보 등)로서, 차량 시스템(10) 자체의 운행 정보 및 외부 물체에 대한 운행 정보를 포함할 수 있다.
한편, 디스플레이(130)는 입체감을 가지는 3D 영상을 표시할 수 있는 3D 디스플레이로 구현될 수 있다. 차량 시스템(10)의 앞 유리창에 3D 영상을 표시하는 방법에 대해서는 추후에 상세히 설명하기로 한다.
프로세서(140)는 차량용 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(140)는 카메라(110)를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부(120)를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다
구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정할 수 있다. 그리고, 프로세서(140)는 결정된 표시 영역 및 뎁스 정보를 바탕으로 차량의 운행 정보를 렌더링하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 앞 유리창 중 운전자의 시선의 위치가 향하는 영역을 표시 영역으로 결정할 수 있다. 또한, 프로세서(140)는 외부 물체와의 거리가 멀수록 운행 정보가 멀리 보이도록 뎁스 정보를 결정하고, 외부 물체와의 거리가 짧을수록 운행 정보가 가깝게 보이도록 뎁스 정보를 결정할 수 있다.
또한, 프로세서(140)는 운전자의 시선 방향을 바탕으로 차량의 운행 정보의 뎁스 정보를 변경하여 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다.
또한, 프로세서(140)는 촬영된 운전자 영상을 바탕으로 운전자의 눈의 위치를 판단하며, 차량 정보의 표시 영역 및 운전자의 눈의 위치를 바탕으로 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 운전자의 앉은 키에 따라 운전자의 눈의 위치가 상이해 질 수 있으므로, 프로세서(140)는 앉은 키를 고려하여 차량의 운행 정보를 제공할 수 있다. 한편, 상술한 실시예에서는 운전자의 눈의 위치를 판단하여 운전자의 앉은 키를 판단하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 기 저장된 운전자의 앉은 키에 대한 정보 또는 시트 포지션 등과 같은 다양한 정보를 이용하여 운전자의 앉은 키를 산출할 수 있다.
또한, 프로세서(140)는 다양한 유형의 운행 정보를 제공할 수 있다. 구체적으로, 프로세서(140)는 고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함할 수 있다. 이때, 운행 정보 내지 제3 운행 정보는 제공되는 운행 정보의 유형에 따라 결정될 수 있다. 예를 들어, 제1 운행 정보는 차량 시스템(10) 자체의 운행 정보일 수 있으며, 제2 운행 정보는 움직이지 않은 외부 물체에 대한 운행 정보일 수 있으며, 제3 운행 정보는 움직이는 외부 물체에 대한 운행 정보일 수 있다.
그리고, 프로세서(140)는 촬영된 운전자 영상을 분석하여 운전자의 눈 및 얼굴의 움직임을 판단하고, 판단된 움직임이 기설정된 시간 이상 지속된 경우, 운전자의 시선의 방향 정보를 획득할 수 있다. 즉, 운전자의 작은 움직임에도 운행 정보가 이동하면, 운전자는 어지러움을 느낄 뿐만 아니라 초점을 맞추는데도 시간을 걸릴 수 있다. 따라서, 프로세서(140)는 기설정된 시간 이상 동안의 움직임을 감지하였을 경우에만 운전자 시선의 방향 정보를 획득하여 운행 정보의 표시 영역 및 뎁스 정보를 결정할 수 있다.
또한, 프로세서(140)는 운전자 시선의 방향 정보를 바탕으로 기 정의된 각도 범위 내에 위치하는 물체를 판단할 수 있다. 즉, 프로세서(140)는 운전자 시선을 바탕으로 실제 운전자가 바라보는 일정 각도 범위 내의 물체만을 판단함으로써, 연산량을 감소시킬 수 있다.
그리고, 프로세서(140)는 판단된 물체에 대한 정보를 획득하며, 획득된 물체에 대한 정보를 차량의 운행 정보로 결정하여 표시하도록 디스플레이(130)를 제어할 수 있다. 구체적으로, 프로세서(140)는 외부 서버로부터 물체에 대한 정보를 획득할 수 있으며, 기 저장된 정보를 검색하여 물체에 대한 정보를 획득할 수 있으며, 센싱부(120)에 의해 감지된 센싱값을 바탕으로 물체에 대한 정보를 획득할 수 있다.
한편 상술한 실시예에서는 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정하는 것을 설명하였으나, 이는 일 실시예에 불과할 뿐, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정할 수 있다. 구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정하고, 결정된 표시 영역 및 표시 크기를 바탕으로 차량의 운행 정보를 렌더링하여 표시하도록 디스플레이(130)를 제어할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 구성을 상세히 도시한 블록도이다. 도 3에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 카메라(110), 센싱부(120), 디스플레이(130), 메모리(150), 통신 인터페이스(160), 입력부(170) 및 프로세서(180)를 포함한다. 한편, 도 3에 도시된 구성은 일 실시예에 불과할 뿐, 구현예에 따라 새로운 구성 요소를 추가할 수 있고, 적어도 하나의 구성 요소를 삭제할 수 있다.
카메라(110)는 차량 시스템(10) 내에 배치되어 운전자를 촬영한다. 특히, 카메라(110)는 운전자의 시선을 추적하기 위하여 운전자의 상체, 얼굴, 눈을 촬영할 수 있다. 특히, 카메라(110)는 도 6에 도시된 바와 같이, 차량 시스템(10)의 앞 유리창의 상단부에 배치될 수 있으며, 두 개의 카메라(110-1,110-2)를 포함하는 스테레오 타입의 카메라일 수 있다.
한편, 카메라(110)가 차량 시스템(10)의 앞 유리창의 상단부에 배치되는 것은 일 실시예에 불과할 뿐, 차량의 대시보드 등과 같이 다른 영역 상에 배치될 수 있다. 또한, 카메라(110)는 컬러 영상을 촬영하는 일반적인 카메라일 수 있으나, 이는 일 실시예에 불과할 뿐, 적외선 카메라일 수 있다.
센싱부(120)는 외부 물체와의 거리를 측정하기 위한 구성이다. 특히, 센싱부(120)는 적외선 센서 또는 초음파 센서를 이용하여 외부 물체와의 거리를 측정할 수 있다. 구체적으로, 센싱부(120)가 적외선 센서를 포함하는 경우, 적외선 센서는 적외선을 발신하고 반사되는 적외선을 수신할 수 있다. 그리고, 프로세서(l40)는 발신된 적외선과 반사된 적외선 사이의 위상차를 이용해 거리 측정할 수 있다. 또한, 센싱부(120)가 초음파 센서를 포함하는 경우, 초음파 센서는 초음파를 발신하고 반사되는 초음파를 수신할 수 있다. 그리고, 프로세서(l40)는 발신시간과 수신시간 차를 이용하여 거리 측정할 수 있다. 예를 들어, 발신시간과 수신시간 차이가 0.1초인 경우, 프로세서(140)는 소리의 속도(340m/s)를 고려하여 외부 물체와의 거리를 17m로 산출할 수 있다.
한편, 센싱부(120)는 외부 물체에 대한 정보(예를 들어, 속도, 표지판 내용 등)을 획득하기 위한 센서(예를 들어, 속도 측정 센서, 카메라 등)를 포함할 수 있다.
디스플레이(130)는 차량 시스템(110)의 앞유리에 운행 정보를 표시할 수 있다. 이때, 디스플레이(130)는 헤드-업 디스플레이(Head Up Display)일 수 있다. 헤드-업 디스플레이는 차량이나 항공기 주행 중 운전자 정면 즉, 운전자의 주 시야선을 벗어나지 않는 영역(예를 들어, 차량의 앞 유리창 등)에 운해 정보나 기타 정보를 제공할 수 있는 디스플레이이다. 헤드 업 디스플레이는 투명 디스플레이 방식, 투사 방식, 직접 반사 방식 등과 같은 다양한 방식으로 구현될 수 있다. 투명 디스플레이 방식은 투명 디스플레이 패널을 이용하여 영상을 표시하는 방식이며, 투사 방식은 광원이 영상을 앞 유리창에 투사하는 방식이며, 직접 반사 방식은 별도의 디스플레이에 표시된 영상을 앞 유리창에 반사시키는 방식이다.
특히, 디스플레이(130)는 입체감 있는 3D 영상을 디스플레이하기 위한 3D 디스플레이로 구현될 수 있다. 특히, 디스플레이(130)는 운전자가 3D 영상을 시청하기 위해 안경을 쓸 필요가 없는 무안경 방식의 3D 디스플레이일 수 있다.
도 4a 및 도 4b는 본 발명의 이해를 돕기 위한 무안경 방식의 3D 디스플레이의 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타내는 것으로, 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역(또는 광학 뷰)이라 한다. 이에 따라, 운전자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.
일 예로, 도 4a 및 도 4b는 총 2 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 4a 및 도 4b에 따르면, 무안경 방식의 3D 디스플레이는 2 시점의 다시점 영상을 디스플레이 패널(310)에 디스플레이하고, 패럴렉스 배리어(도 4a, 320) 또는 렌티큘러 렌즈(도 1b, 330)는 운전자의 좌안에 2 개의 시점 중 1 시점 영상에 해당하는 광이, 운전자의 우안에 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 운전자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.
도 4c는 본 발명의 일 실시예에 따른, 무안경 방식의 3D 디스플레이가 차량용 디스플레이 장치에 적용된 실시예를 설명하기 위한 도면이다. 도 4c에 도시된 바와 같이, 무안경 방식의 3D 디스플레이는 광원(400), 디스플레이 패널(410), 입체영상 필터(420), 허상 광학계(430)를 포함한다.
광원(400)은 적색 녹색 청색의 광을 발생한다. 그리고, 디스플레이 패널(410)은 실제 운전자가 필요로 하는 각종 운행 정보를 포함하는 영상을 생성하도록 광원(400)에 의해 발생된 광을 반사 또는 투과한다. 입체영상 필터(420)는 반사 또는 투과된 영상을 운전자가 입체감을 느껴질 수 있도록 시역을 분리할 수 있다. 허상 광학계(430)는 입체영상 필터(420)를 거친 영상을 차량의 앞유리창에 허상의 3D 영상(440)으로 표시할 수 있다.
이때, 광원(400)은 조명광원으로서, UHP Lamp, LED 및 레이저 등을 사용할 수 있으며, 디스플레이 패널(410)은 LCD, LOCS, MDM 등으로 구현될 수 있다. 또한, 입체영상 필터(420)는 렌티큘러 렌즈 또는 패럴렉스 배리어로 구현될 수 있으며, 허상 광학계(430)는 미러 및 컴바이너로 구현될 수 있다.
한편, 상술한 실시예에서는 무안경 방식의 3D 디스플레이로 3D 영상을 제공하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, Varying Focal Lens를 이용하여 3D 영상을 제공할 수 있다. 이때, 디스플레이(130)는 외부 전류에 의해 렌즈의 Focal length를 변화시켜 뎁스를 조절할 수 있다.
다시 도 3에 대해 설명하면, 메모리(150)는 프로세서(140) 또는 다른 구성요소들(예: 카메라(110), 센싱부(120), 디스플레이(130), 통신 인터페이스(160), 입력부(170) 등)로부터 수신되거나 프로세서(140) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 또한, 메모리(150)는 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 또는 어플리케이션 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
또한, 메모리(150)는 다양한 운행 정보를 저장할 수 있다. 예를 들어, 메모리(150)는 도로 정보, 표지판 정보 등과 같은 네비게이션 정보뿐만 아니라 차량 정보(차량용 디스플레이 장치(100)가 구비된 차량뿐만 아니라 외부의 차량 포함)를 저장할 수 있다.
한편, 메모리(150)는 다양한 메모리로 구현될 수 있다. 예를 들어, 메모리는 내장 메모리로 구현될 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(nonvolatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 또한 메모리(150)는 외장 메모리로 구현될 수 있다. 외장 메모리는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.
통신 인터페이스(160)는 외부의 서버 또는 차량 시스템(10)과 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(160)는 외부의 서버로부터 다양한 운행 정보(예를 들어, 네비게이션 정보, 사고 정보 등)를 획득할 수 있다. 또한, 통신 인터페이스(160)는 차량 시스템(10) 내부의 구성과도 통신을 수행하여 차량 제어 정보를 송수신할 수 있다.
한편, 통신 인터페이스(160)는 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication)) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service)) 등을 지원할 수 있다.
입력부(170)는 차량용 디스플레이 장치(100)를 제어하기 위한 운전자 명령을 입력받는다. 이때, 입력부(170)는 포인팅 디바이스나 음성 입력부와 같이 차량 운행 중에도 안전하게 운전자 명령을 입력할 수 있는 입력 장치로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 입력 장치(예를 들어, 터치 스크린 등)로 구현될 수 있다.
특히, 입력부(170)는 차량용 디스플레이 장치(100) 또는 차량 시스템(10)을 제어하기 위한 운전자 명령을 입력받을 수 있다.
프로세서(140)는 버스(미도시) 등의 구성을 통해 다른 구성요소들로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
또한, 프로세서(140)는 메인 프로세서와 서브 프로세서를 포함할 수 있으며, 서브 프로세서는 저전력 프로세서로 구성할 수 있다. 이때, 메인 프로세서와 서브 프로세서는 하나의 원 칩(one chip) 형태로 구현될 수 있으며, 별도의 칩으로 구현될 수 있다. 또한, 서브 프로세서는 내부에 버퍼나 스택 형식의 메모리를 포함할 수 있다.
한편, 프로세서(140)는 GPU(Graphic Processing Unit), CPU(Central Processing Unit), AP(Application Processor) 중 적어도 하나로 구현될 수 있으며, 하나의 칩으로도 구현될 수 있다.
특히, 프로세서(140)는 카메라(110)를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부(120)를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 제어 방법을 상세히 설명하기 위한 흐름도이다.
우선, 프로세서(140)는 카메라(110)를 이용하여 운전자 눈 및 얼굴의 움직임을 판단한다(S510). 구체적으로, 프로세서(140)는 카메라에 의해 촬영된 영상을 분석하여 운전자의 눈동자 및 얼굴을 인식하고, 인식된 눈동자의 움직임 및 얼굴의 움직임을 판단할 수 있다. 이때, 카메라(110)는 도 6에 도시된 바와 같이, 차량 시스템(10)의 앞 유리창의 상단부에 배치될 수 있다.
그리고, 프로세서(140)는 눈동자 및 얼굴 중 적어도 하나의 움직임이 기설정된 시간 지속되었는지 여부를 판단한다(S520). 즉, 프로세서(140)는 기설정된 시간 이내의 움직임에 대해서는 무시할 수 있다. 이는 기설정된 시간 이내의 움직임에 대해서도 운행 정보를 변경할 경우, 운행 정보의 표시 위치나 뎁스가 변경되어 운전자에게 멀미감을 줄 수 있을 뿐만 아니라 사고 가능성이 높아질 수 있기 때문이다. 한편, 프로세서(140)는 눈동자 및 얼굴 중 적어도 하나가 움직이는 시간을 판단할 수 있으나, 이는 일 실시예에 불과할 뿐, 눈동자 및 얼굴 중 적어도 하나가 움직이는 크기를 판단할 수 있다.
눈동자 및 얼굴 중 적어도 하나의 움직임이 기설정된 시간 지속된 경우(S520-Y), 프로세서(140)는 운전자 시선의 방향 정보를 획득한다(S530). 구체적으로, 프로세서(140)는 운전자의 눈 및 얼굴 중 적어도 하나가 기설정된 시간 이상 동안 움직인 이후 운전자가 바라보는 방향 정보를 획득할 수 있다.
그리고, 프로세서(140)는 운전자 시선에 위치하는 외부의 물체를 판단한다(S540). 구체적으로, 프로세서(140)는 운전자 시선의 방향 정보를 바탕으로 기정의된 범위 내에 위치하는 적어도 하나의 물체를 판단할 수 있다. 예를 들어, 프로세서(140)는 도 7에 도시된 바와 같이, 운전자 시선이 향하는 방향에 대응되는 기 정의된 범위 내의 영역(710)에 위치하는 물체를 판단할 수 있다. 이때, 프로세서(140)는 기 정의된 범위 이외의 영역(720-1,720-2)에 위치하는 물체를 무시할 수 있다.
특히, 프로세서(140)는 기 정의된 범위 내의 영역(710)에 위치하는 물체를 인식할 수 있다. 예를 들어, 프로세서(140)는 차량 시스템(10) 외부에 구비된 카메라를 통해 영역(710) 내에 위치하는 물체를 촬영하고, 촬영된 물체를 인식하여 물체의 유형을 판단할 수 있다. 예를 들어, 프로세서(140)는 영역(710) 내에 위치하는 물체의 유형이 자동차, 자전거, 표지판, 신호등, 사람 중 하나임을 판단할 수 있다.
그리고, 프로세서(140)는 판단된 물체와의 거리를 감지한다(S550). 구체적으로, 프로세서(140)는 센싱부(120)를 통해 기 정의된 범위 내의 영역(710)에 위치하는 물체들과의 거리를 판단할 수 있다. 이때, 프로세서(140)는 판단된 물체와의 거리뿐만 아니라 속도를 감지할 수 있다.
그리고, 프로세서(140)는 물체에 대한 정보를 획득한다(S560). 이때, 프로세서(140)는 외부의 서버로부터 물체에 대한 정보를 획득할 수 있으며, 기 저장된 운행 정보를 검색하여 물체에 대한 정보를 획득할 수 있으며, 센싱부(120)를 통해 감지된 정보를 통해 물체에 대한 정보를 획득할 수 있다. 예를 들어, 영역(710) 내에 멈춰있는 자동차가 있는 것으로 판단된 경우, 프로세서(140)는 외부의 서버로부터 멈춰있는 자동차에 대한 운행 정보(예를 들어, 사고 정보)를 수신하도록 통신 인터페이스(160)를 제어할 수 있다. 또 다른 예로, 영역(710) 내에 표시판이 있는 것으로 판단된 경우, 프로세서(140)는 메모리(150)에 저장된 네비게이션 정보 중 해당 표지판에 대응되는 운행 정보를 검색하여 획득할 수 있다. 또 다른 예로, 영역(710) 내에 움직이는 자동차가 존재하는 것으로 판단된 경우, 프로세서(140)는 센싱부(120)를 통해 자동차와의 거리 및 자동차의 속도를 획득할 수 있다.
그리고, 프로세서(140)는 물체와의 거리 및 운전자 시선에 따라 물체에 대한 운행 정보가 포함된 영상을 처리한다(S570). 여기서 운행 정보는, 차량 시스템(10) 자체의 운행 정보일 수 있으며, 외부 물체에 대한 운행 정보일 수 있다.
구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정하고, 결정된 표시 영역 및 뎁스 정보를 바탕으로 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
더욱 구체적으로, 프로세서(140)는 운전자의 시선이 향하는 영역을 차량의 운행 정보의 표시 영역을 결정할 수 있다. 예를 들어, 도 8a에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 중간 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 중간 영역에 운행 정보(810)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또 다른 예로, 도 8b에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 하단 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 하단 영역에 운행 정보(820)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또 다른 예로, 도 8c에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 상단 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 상단 영역에 운행 정보(830)를 표시하도록 디스플레이(130)를 제어할 수 있다.
또한, 프로세서(140)는 외부 물체와의 거리를 바탕으로 운행 정보의 뎁스 정보를 결정할 수 있다. 구체적으로, 프로세서(140)는 외부 물체와의 거리가 멀수록 뎁스값을 증가시키도록 결정하고, 외부 물체와의 거리가 가까울수록 뎁스값을 감소시키도록 결정할 수 있다. 이때, 뎁스값이 클수록 운행 정보는 멀리 있는 것처럼 표시되고, 뎁스값이 작을수록 운행 정보는 가까이 있는 것처럼 표시될 수 있다. 예를 들어, 외부 물체와의 거리가 제1 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값을 가지는 운행 정보(910)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 외부 물체와의 거리가 제1 거리보다 큰 제2 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값보다 큰 제2 뎁스값을 가지는 운행 정보(920)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 외부 물체와의 거리가 제1 거리보다 작은 제3 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값보다 작은 제3 뎁스값을 가지는 운행 정보(930)를 표시하도록 디스플레이(130)를 제어할 수 있다. 이때, 프로세서(140)는 결정된 뎁스값을 바탕으로 다시점 3D 영상을 처리하여 외부 물체와의 거리에 대응되는 뎁스를 가지는 운행 정보(930)를 제공할 수 있다.
즉, 프로세서(140)는 운전자 시선이 향하는 물체와의 거리에 대응되도록 운행 정보의 뎁스값을 조절함으로써, 운전자로 하여금 멀미감을 저감시킬 수 있게 된다.
또한, 프로세서(140)는 운전자의 시선 방향을 바탕으로 차량의 운행 정보의 뎁스 정보를 변경하여 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다.
구체적으로, 운전자 시선이 도 10a의 좌측에 도시된 바와 같이, 정면을 향할 경우, 프로세서(140)는 운전자 정면에 운행 정보(1010)를 표시하여, 도 10a의 우측에 도시된 바와 같이, 해당 운행 정보(1010)가 선명하게 보이도록 할 수 있다.
그러나, 도 10b의 좌측에 도시된 바와 같이, 운전자의 시선의 방향이 변경된 경우(즉, 운전자가 오른쪽을 바라보는 경우) 운행 정보(1020)를 정면을 향하도록 제공한다면, 도 10b의 우측에 도시된 바와 같이, 운행 정보(1020)에 크로스토크 및 이미지 왜곡 현상이 발생하게 된다.
따라서, 도 10c의 좌측에 도시된 바와 같이, 운전자의 시선의 방향이 변경된 경우, 프로세서(140)는 운행 정보(1030)의 뎁스 정보를 변경시켜 운행 정보(1030)를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1030)의 우측을 멀리 위치하도록 뎁스 정보를 결정하고, 운행 정보(1030)의 좌측을 가까이 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1030)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다. 이에 의해, 도 10c의 우측에 도시된 바와 같이, 운행 정보(1020)가 선명하게 보이도록 할 수 있다.
본 발명의 또 다른 실시예로, 프로세서(140)는 촬영된 운전자 영상을 바탕으로 운전자의 눈의 위치를 판단하며, 차량 정보의 표시 영역 및 운전자의 눈의 위치를 바탕으로 뎁스 정보를 변경하여 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
예를 들어, 운전자 시선이 도 11a에 도시된 바와 같이, 사용자의 눈의 위치가 앞 유리창의 중간 영역을 향할 경우, 프로세서(140)는 운전자 시선이 향하는 앞 유리창의 중간 영역에 운행 정보(1110)를 표시하도록 디스플레이(130)를 제어할 수 있다.
그러나, 사용자의 눈의 위치가 아래에 있어 운전자의 시선이 도 11b에 도시된 바와 같이, 위로 향할 경우, 프로세서(140)는 앞 유리 창의 상단 영역에 표시된 운행 정보(1120)의 뎁스 정보를 변경시켜 운행 정보(1120)를 틸팅하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1120)의 상측이 가까이 위치하도록 뎁스 정보를 결정하고, 운행 정보(1120)의 하측이 멀리 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1120)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다.
또한, 사용자의 눈의 위치가 위에 있어 운전자의 시선이 도 11c에 도시된 바와 같이, 아래로 향할 경우, 프로세서(140)는 앞 유리 창의 하단 영역에 표시된 운행 정보(1130)의 뎁스 정보를 변경시켜 운행 정보(1130)를 틸팅하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1130)의 하측이 가까이 위치하도록 뎁스 정보를 결정하고, 운행 정보(1130)의 상측이 멀리 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1130)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다.
다시 도 5에 대해 설명하면, 디스플레이(130)는 차량의 운행 정보가 포함된 영상을 표시한다(S580).
한편, 본 발명의 일 실시예에 따르면, 차량의 운행 정보는 상이한 표시 방식을 가지는 복수의 유형을 포함할 수 있다. 구체적으로, 차량의 운행 정보는 고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함할 수 있다.
예를 들어, 프로세서(140)는 도 12에 도시된 바와 같이, 차량 시스템(10)의 속도, 연료량 등과 같은 차량 시스템(10) 자체에 대한 운행 정보(1210)가 고정된 위치 및 뎁스를 가지도록 처리할 수 있다. 또한, 프로세서(140)는 외부의 고정된 물체(예를 들어, 표지판, 신호등, 과속 방지턱 등)에 대한 운행 정보(1220)가 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되도록 처리할 수 있다. 또한, 프로세서(140)는 외부의 움직이는 물체(예를 들어, 자동차, 사람 등)에 대한 운행 정보(1230)가 시선의 위치 및 물체와의 거리에 따라 위치 및 뎁스가 변경되도록 처리할 수 있다.
즉, 프로세서(140)는 외부 물체를 인식한 후 인식된 외부 물체의 유형에 따라 상이한 표시 방식으로 운행 정보를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 외부 물체에 대한 정보를 획득한 경우, 프로세서(140)는 획득된 물체에 대한 정보를 차량의 운행 정보로 결정하여 표시하도록 디스플레이(130)를 제어할 수 있다. 이때, 프로세서(140)는 외부 물체 주위에 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 예를 들어, 외부 물체가 자동차인 경우, 자동차와의 거리 및 속도에 대한 정보를 획득하면, 프로세서(140)는 자동차 주위에 자동차와의 거리 및 속도에 대한 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
한편, 상술한 실시예에서는 외부 물체와의 거리에 따라 운행 정보의 뎁스를 조절하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부 물체와의 거리에 따라 운행 정보의 표시 크기를 조절할 수 있다. 구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정하고, 결정된 표시 영역 및 표시 크기를 바탕으로 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
상술한 바와 같이, 운전자의 시선 및 외부 물체와의 거리에 따라 운전자가 바라보는 물체에 대한 정보를 운전자의 시선이 머무는 위치 및 뎁스로 표시함으로써, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 13은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 차량용 디스플레이 장치(100)는 카메라(110)를 통해 촬영된 운전자 영상을 분석하여 운전자 시선을 추적한다(S1310).
그리고, 차량용 디스플레이 장치(100)는 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단한다(S1320). 이때, 차량용 디스플레이 장치(100)는 운전자의 시선이 향하는 위치에 존재하는 외부 물체에 대한 정보를 획득할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 센서(예를 들어, 초음파 센서 등)를 이용하여 판단된 물체와의 거리를 산출한다(S1330).
그리고, 차량용 디스플레이 장치(100)는 운전자의 시선 및 물체와의 거리를 바탕으로 차량의 운행 정보를 표시한다(S1340). 구체적으로, 차량용 디스플레이 장치(100)는 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보의 표시 영역 및 뎁스 정보를 결정하고, 결정된 표시 영역 및 뎁스 정보를 바탕으로 운행 정보를 표시할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 제공하는 모드를 HUD(Head up Display) 모드라고 할 수 있다. 즉, 차량용 디스플레이 장치(100)의 모드가 HUD 모드인 경우, 프로세서(140)는 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보의 표시 위치 및 뎁스 정보를 결정하여 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 그러나, 사용자 설정에 의하거나 HUD 모드가 정상적으로 동작하기 어려운 경우(예를 들어, 카메라나 센서가 고장난 경우, 사용자 시선 범위에 기설정된 개수 이상의 물체가 있는 경우 등), 프로세서(140)는 차량용 디스플레이 장치(100)의 모드를 일반 모드로 전환하여 기설정된 영역에 입체감을 가지지 않은 2D 형태의 운행 정보를 제공할 수 있다. 이때, 2D 형태의 운행 정보는 차량의 속도, 연료량과 같은 기본 정보만이 포함될 수 있다. 즉, HUD 모드가 비정상적으로 동작하는 경우, 사용자의 시야를 어지럽게 하여 안전 운전에 위협이 될 수 있으므로, 프로세서(140)는 사용자에게 안전한 운행이 될 수 있도록 차량용 디스플레이 장치(100)의 모드를 일반모드로 전환할 수 있다.
한편, 본 발명에서는 다양한 흐름도에서 특정 순서로 동작이 개시되어 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법에 의해 본 발명의 실시예가 구현될 수 있다. 예를 들어, 다른 실시예에서는 순서가 바뀌거나, 특정 순서가 조합되거나, 특정 순서가 중복되어 수행될 수 있다.
또한, 본 명세서에 설명된 발명의 실시예 및 모든 기능 동작들은 디지털 전자 회로 내에서 또는 본 명세서에서 개시된 구조들 및 이들의 균등 구조들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어 내에서, 또는 이들의 하나 이상의 조합 내에서 실시될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 차량용 디스플레이 장치에 있어서,
    운전자를 촬영하는 카메라;
    외부의 물체와의 거리를 측정하기 위한 센싱부;
    차량의 운행 정보를 제공하는 디스플레이; 및
    상기 카메라를 통해 촬영된 영상을 분석하여 상기 운전자의 시선을 추적하며, 상기 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 상기 센싱부를 통해 상기 판단된 물체와의 거리를 산출하며, 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 상기 운행 정보를 표시하도록 상기 디스플레이를 제어하기 위한 프로세서;를 포함하는 차량용 디스플레이 장치.
  2. 제1항에 있어서,
    상기 디스플레이는, 3D 영상을 디스플레이할 수 있는 3D 디스플레이이며,
    상기 프로세서는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 결정하고, 상기 결정된 표시 영역 및 뎁스 정보를 바탕으로 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 운전자의 시선 방향을 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 변경하여 상기 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 촬영된 운전자 영상을 바탕으로 상기 운전자의 눈의 위치를 판단하며, 상기 차량 정보의 표시 영역 및 상기 운전자의 눈의 위치를 바탕으로 상기 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  5. 제1항에 있어서,
    상기 차량의 운행 정보는,
    고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영된 운전자 영상을 분석하여 상기 운전자의 눈 및 얼굴의 움직임을 판단하고, 상기 판단된 움직임이 기설정된 시간 이상 지속된 경우, 상기 운전자의 시선의 방향 정보를 획득하는 것을 특징으로 하는 차량용 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 운전자 시선의 방향 정보를 바탕으로 기 정의된 각도 범위 내에 위치하는 물체를 판단하는 것을 특징으로 하는 차량용 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 판단된 물체에 대한 정보를 획득하며, 상기 획득된 물체에 대한 정보를 상기 차량의 운행 정보로 결정하여 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 표시 크기를 결정하고, 상기 결정된 표시 영역 및 표시 크기를 바탕으로 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  10. 차량용 디스플레이 장치의 제어 방법에 있어서,
    카메라를 통해 촬영된 운전자 영상을 분석하여 운전자의 시선을 추적하는 단계;
    상기 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하는 단계;
    센서를 이용하여 상기 판단된 물체와의 거리를 산출하는 단계; 및
    상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 차량의 운행 정보를 표시하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 차량용 디스플레이 장치는 3D 영상을 디스플레이할 수 있는 디스플레이를 포함하며,
    상기 표시하는 단계는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 결정하고, 상기 결정된 표시 영역 및 뎁스 정보를 바탕으로 상기 차량의 운행 정보를 표시하는 것을 특징으로 하는 제어 방법.
  12. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 운전자의 시선 방향을 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 변경하여 상기 차량의 운행 정보를 틸팅(tilting)하여 표시하는 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 운전자의 눈의 위치를 판단하는 단계;를 더 포함하며,
    상기 표시하는 단계는,
    상기 차량 정보의 표시 영역 및 상기 운전자의 눈의 위치를 바탕으로 상기 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 상기 차량의 운행 정보를 표시하는 것을 특징으로 하는 제어 방법.
  14. 제10항에 있어서,
    상기 차량의 운행 정보는,
    고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함하는 것을 특징으로 하는 제어 방법.
  15. 제10항에 있어서,
    상기 추적하는 단계는,
    상기 카메라를 통해 운전자 영상을 촬영하는 단계;
    상기 촬영된 운전자 영상을 분석하여 상기 운전자의 눈 및 얼굴의 움직임을 판단하는 단계;
    상기 판단된 움직임이 기설정된 시간 이상 지속된 경우, 상기 운전자의 시선의 방향 정보를 획득하는 단계;를 포함하는 제어 방법.
PCT/KR2017/008488 2016-08-05 2017-08-07 차량용 디스플레이 장치 및 이의 제어 방법 WO2018026247A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/323,178 US20190187790A1 (en) 2016-08-05 2017-08-07 Vehicle display device and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0099866 2016-08-05
KR1020160099866A KR20180016027A (ko) 2016-08-05 2016-08-05 차량용 디스플레이 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2018026247A1 true WO2018026247A1 (ko) 2018-02-08

Family

ID=61073838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008488 WO2018026247A1 (ko) 2016-08-05 2017-08-07 차량용 디스플레이 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20190187790A1 (ko)
KR (1) KR20180016027A (ko)
WO (1) WO2018026247A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112074774A (zh) * 2018-05-04 2020-12-11 哈曼国际工业有限公司 平视显示器上的提高的增强现实体验

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
KR20200113038A (ko) * 2019-02-13 2020-10-06 현대자동차주식회사 차량 제어 장치, 그를 포함한 시스템 및 그 방법
JP7005115B2 (ja) * 2019-04-05 2022-01-21 矢崎総業株式会社 車両用表示装置
US20220284901A1 (en) * 2019-05-31 2022-09-08 Apple Inc. Voice assistant discoverability through on-device targeting and personalization
CN114407903B (zh) * 2020-05-15 2022-10-28 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
US12116012B2 (en) * 2020-12-07 2024-10-15 Korea Automotive Technology Institute System and method for autonomous vehicle control based on monitoring driver state
JP2022185224A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 回路装置、表示システム及び電子機器
US12087092B2 (en) 2021-06-04 2024-09-10 Rockwell Collins, Inc. Pilot safety system with context-sensitive scan pattern monitoring and alerting
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
KR20160035687A (ko) * 2014-09-23 2016-04-01 현대모비스 주식회사 차량의 위험대상정보 제공장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
KR20160035687A (ko) * 2014-09-23 2016-04-01 현대모비스 주식회사 차량의 위험대상정보 제공장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112074774A (zh) * 2018-05-04 2020-12-11 哈曼国际工业有限公司 平视显示器上的提高的增强现实体验
CN112074774B (zh) * 2018-05-04 2024-09-06 哈曼国际工业有限公司 平视显示器上的提高的增强现实体验

Also Published As

Publication number Publication date
KR20180016027A (ko) 2018-02-14
US20190187790A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
WO2018026247A1 (ko) 차량용 디스플레이 장치 및 이의 제어 방법
AU2013282607B2 (en) 3D video observation device and transmittance control method
US8537217B2 (en) Image photographing apparatus, method of controlling image photographing apparatus and control program
EP3015904B1 (en) Head-up display device
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
US9544578B2 (en) Portable electronic equipment and method of controlling an autostereoscopic display
JP6492451B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
EP3145185A1 (en) Display device and display method
JP2020080485A (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
KR20150134409A (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
KR20180037887A (ko) 스마트 안경
WO2015105236A1 (en) A head mounted display and method of controlling thereof
US20160109703A1 (en) Head mounted display, method for controlling head mounted display, and computer program
WO2011102136A1 (ja) 立体画像表示システム及び立体視メガネ
CN112929642A (zh) 人眼追踪装置、方法及3d显示设备、方法
US11538334B2 (en) Head-up display device
KR20180037909A (ko) 스마트 안경
KR20190097894A (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
KR20180109669A (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
JP5273323B1 (ja) ヘッドマウントディスプレイ装置
WO2021054579A1 (ko) 3d 헤드업디스플레이 시스템 및 그의 제어 방법
US20240126095A1 (en) Image display device
CN116405653A (zh) 实时裸眼3d的图像处理方法、系统、设备及介质
WO2013024920A1 (ko) 이미지 처리 방법 및 그 전자 기기
WO2020149692A1 (ko) 영상을 처리하는 방법 및 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17837298

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17837298

Country of ref document: EP

Kind code of ref document: A1