Nothing Special   »   [go: up one dir, main page]

CN111104845A - 检测设备,控制方法及计算机可读记录介质 - Google Patents

检测设备,控制方法及计算机可读记录介质 Download PDF

Info

Publication number
CN111104845A
CN111104845A CN201910972754.6A CN201910972754A CN111104845A CN 111104845 A CN111104845 A CN 111104845A CN 201910972754 A CN201910972754 A CN 201910972754A CN 111104845 A CN111104845 A CN 111104845A
Authority
CN
China
Prior art keywords
person
pedestrian
detection
human body
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910972754.6A
Other languages
English (en)
Other versions
CN111104845B (zh
Inventor
浜名明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111104845A publication Critical patent/CN111104845A/zh
Application granted granted Critical
Publication of CN111104845B publication Critical patent/CN111104845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明公开一种检测设备,控制方法及计算机可读记录介质。为了通过根据被摄体状态鉴别被摄体从而检测被摄体,一种检测设备包括:识别单元,其被配置为识别运动图像的多个帧图像中包括的人是否是行人;确定单元,为了进行通知,其被配置为在识别单元识别到人是行人的次数满足预定条件的情况下确定人是行人;以及通知单元,其被配置为在通过确定单元确定为行人的人入侵到针对运动图像预先设置的区域中的情况下通知入侵。

Description

检测设备,控制方法及计算机可读记录介质
技术领域
本发明通常涉及一种检测设备,控制方法和计算机可读记录介质,尤其涉及一种检测视频中包含的被摄体的技术。
背景技术
为了确保诸如公寓、大厦、校舍、站房和机场等设施的安全,引入了安装有监控摄像机,并且通过分析监控摄像机获得的视频检测人对设施的入侵的系统。关于在视频中对人体区域的检测,US-2007-0237387公开了通过级联连接用于检测身体部位的强鉴别器来检测人体的技术。此外,日本特开第9-50585号公报公开了用于确定是否有人入侵了图像上的禁止区域的入侵者监控装置。
在上述技术中,检测了视频中包含的人体,而没有鉴别人体状态。因此,在通过摄像机获得图1中示出的视频时,检测车辆101中的人体(司机102)和路上行走的人体(行人103)。例如,确定在虚线矩形104和105中检测到的人体,并开始追踪。然后,通过使用例如正在被追踪的人体经过入侵检测线的事件作为触发来输出表示检测到入侵者的警告。即,不可能处理需要从检测目标中排除车辆的进入的用例(需要从检测目标中排除车辆中的人体)。
发明内容
根据本发明的一方面,检测设备包括:识别单元,其被配置为识别运动图像的多个帧图像中包括的人是否是行人;确定单元,为了进行通知,其被配置为在所述识别单元识别到所述人是行人的次数满足预定条件的情况下确定所述人是行人;以及通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
根据本发明的另一方面,所述检测设备包括:检测单元,其被配置为从各帧图像中检测运动图像的多个帧图像中包括的人体的部位;确定单元,为了进行通知,其被配置为在所述检测单元检测到身体的预定部位的次数满足预定条件的情况下确定所述人是行人;以及通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
根据本发明的又一方面,一种检测设备的控制方法,所述方法包括:识别运动图像的多个帧图像中包括的人是否是行人;为了进行通知,在所述识别中识别到所述人是行人的次数满足预定条件的情况下,确定所述人是行人;以及在所述确定中被确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下,通知入侵。
根据本发明的又一方面,一种检测设备的控制方法,所述方法包括:从各帧图像中检测运动图像的多个帧图像中包括的人体的部位;为了进行通知,在所述检测中检测到身体的预定部位的次数满足预定条件的情况下,确定所述多个帧图像中包括的人是行人;以及在所述确定中被确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下,通知入侵。
根据本发明的又一方面,一种计算机可读记录介质,其存储使计算机用作检测设备的程序,所述检测设备包括:识别单元,其被配置为识别运动图像的多个帧图像中包括的人是否是行人;确定单元,为了进行通知,其被配置为在所述识别单元识别到所述人是行人的次数满足预定条件的情况下确定所述人是行人;以及通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
根据本发明的再一方面,一种计算机可读记录介质,其存储使计算机用作检测设备的程序,所述检测设备包括:检测单元,其被配置为从各个帧图像中检测运动图像的多个帧图像中包括的人体的部位;确定单元,为了进行通知,其被配置为在所述检测单元检测到身体的预定部位的次数满足预定条件的情况下,确定所述多个帧图像中包括的人是行人;以及通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
本发明使得通过根据被摄体状态鉴别被摄体从而检测该被摄体成为可能。
根据以下参照附图对示例性实施例的详细描述,本发明的其他特征将变得清楚。
附图说明
附图包含在说明书中,并构成说明书的一部分,其与说明书一起阐明本发明的实施例,并用来解释本发明的原理。
图1是入侵检测的示例的说明图。
图2是根据第一实施例的入侵检测的原理的说明图。
图3A和图3B是基于多个部位的检测说明人体状态确定逻辑的图。
图4是示出人体信息数据结构的示例图。
图5是示出检测系统的硬件配置的示例图。
图6是示出检测设备的功能配置的示例图。
图7是示出入侵检测条件的设置画面的示例图。
图8是根据第一实施例的入侵检测处理的流程图。
图9是示出人体信息数据结构的示例图。
图10是根据第二实施例的入侵检测处理的流程图。
具体实施方式
下文参照附图详细描述根据本发明的实施例的示例。注意,下述实施例仅是示例,并不旨在限制本发明的范围。
(第一实施例)
下文以包括用于拍摄预定监控区域的摄像机和用于检测由摄像机获得的运动图像中的被摄体的检测设备的检测系统作为示例来说明根据本发明的检测设备的第一实施例。在以下说明中,假定人体作为要检测的被摄体,但要检测的被摄体还可以是其他被摄体。
<系统配置>
图5是示出检测系统的硬件配置的示例图。如上所述,检测系统包括检测设备500和摄像机550。注意,在图5中,检测设备500通过网络530从一个摄像机550接收视频,但也可以从多个摄像机接收视频。此外,检测设备500还可以包含摄像机,从而无需使用网络530而直接获得视频。
检测设备500包括CPU 501、ROM 502、RAM 503、外部存储I/F 504、输入/输出I/F505和网络I/F 506。ROM 502存储要通过CPU 501执行的程序和各种设置数据。CPU 501将ROM 502中存储的程序读出到RAM 503,并执行它们,从而实现后述参照图6描述的功能单元。
外部存储I/F 504是用于连接诸如硬盘(HDD)等外部存储设备507的接口。输入/输出I/F 505是用于连接诸如键盘521、鼠标522和触摸面板(未示出)等输入设备以及诸如显示器523等输出设备的接口。网络I/F 506是通过连接到网络530而与诸如摄像机550等外部装置通信的接口。检测设备500可以通过例如通用PC(个人计算机)、智能手机或平板电脑来实现,且不局限于任何特定的设备形式。
摄像机550包括CPU 551、ROM 552、RAM 553、摄像单元554和网络I/F 555。ROM 552存储要通过CPU 551执行的程序和各种设置数据。CPU 551将ROM 552中存储的程序读出到RAM 553,并执行它们,从而实现要通过摄像单元554执行的摄像处理和要通过网络I/F 555执行的通信处理。摄像单元554包括摄像光学系统和诸如CCD或CMOS等摄像元件,并通过摄像来生成运动图像(多个帧图像)。摄像单元554还可以执行压缩编码等。
图6是示出检测设备的功能配置的示例图。作为功能单元,检测设备600包括通信单元601、摄像获得单元602、预处理单元603、人体检测单元610、状态确定单元604、人体追踪单元605、入侵确定单元606、结果生成单元608和区域设置单元607。人体检测单元610包括用于检测不同目标部位(面部检测器611、头部检测器612、上身检测器613和全身检测器614)的多个检测器和结果整合器615。
通信单元601通过网络630与外部装置执行通信。例如,通信单元601从摄像机550接收压缩编码的运动图像。图像获得单元602解码获得的运动图像,并在外部存储设备507中将图像存储为例如多个帧图像。预处理单元603校正帧图像,以便于提取特征量。
人体检测单元610检测帧图像中包含的人体。更具体地说,人体检测单元610通过在面部检测器611、头部检测器612、上身检测器613和全身检测器614中的各个中执行检测处理并通过结果整合器615整合检测结果来检测人体。随后将参照图2、图3A和图3B描述检测处理的详细内容。
状态确定单元604基于结果整合器615整合的结果确定人体检测单元610检测的人体状态。在这种情况下,状态确定单元604确定人体是司机还是行人。人体追踪单元605将人体检测单元610检测的人体体型在多个帧图像之间互相关联,从而连同与诸如人体状态等的人体信息一起对人体进行追踪。区域设置单元607设置作为确定了入侵检测的预定区域的图像区域。在此实施例中,如图2所示,假定在通过运动图像表示的图像区域中将边界线设置为具有直线(线段)形状的入侵检测线。然而,还可以将入侵检测线设置为折线,曲线或两者的组合。还可以设置具有任意形状的入侵检测区域。在设置区域时,在目标人体在区域内部存在预定时间以上的条件下确定入侵检测。
入侵确定单元606根据区域设置单元607的设置确定作为检测目标的人体的入侵。结果生成单元608生成通过入侵确定单元606获得的检测结果的信息,并执行警报通知。例如,结果生成单元608向输出单元622显示并通知警告,生成并通知警告声音,或者通过网络630向外部装置(未示出)通知警告。
<入侵检测的原理>
图2是根据第一实施例的入侵检测原理的说明图。图2如同图1那样示出了摄像机获得包含车辆201中的人体(司机202)和街上行走的人体(行人203)的视频的状态。
在视频中设置入侵检测线210,检测设备在人通过入侵检测线210的情况下执行入侵检测确定。部位检测信息204和部位检测信息205示例性地示出了表示由检测设备中包括的四个鉴别器检测的四个部位的检测结果的信息。
在第一实施例中,检测设备基于部位检测信息204和205确定经过入侵检测线210的人体202和203的状态206和207,从而按时间连续地保存状态作为人体的状态历史。在这种情况下,检测设备基于人体的状态历史确定人体是处于“驾驶中”还是“行走中”。在这种情况下,仅将作为人体状态确定处于“行走中”预定次数的人体203确定为入侵者,并且检测设备执行警告通知。即,如果检测设备确定正在驾驶车辆的人体202不是入侵者,则检测设备不执行警告通知。另一方面,检测设备确定正在行走人体203(非驾驶中的人体)是入侵者,并执行警告通知。注意,方便起见,在本实施例中将车辆中的人体状态表示为“驾驶中”,但同样适用于其他车辆乘客(坐在副驾驶和后座上的人体)。
图3A和图3B是基于多个部位的检测说明人体状态确定逻辑的图。图3A示出了人体状态确定处理的步骤。图3B示出了基于部位检测结果的组合图案表示的确定结果的表格。
鉴别器302、304、306和308执行与帧图像中的人体的不同部位(身体区域)对应的检测处理。鉴别器302、304、306和308分别对应于图6中示出的面部检测器611、头部检测器612、上身检测器613和全身检测器614。即,在第一实施例中,假定“面部301”、“头部303”、“上身305”和“全身307”为“部位”。
通过例如级联连接多个弱鉴别器获得各鉴别器(强鉴别器)。弱鉴别器检测诸如边缘或颜色等图像特征的图案。注意,可以通过机器学习获得图像特征的最佳检测图案。
在人体检测处理309中,基于通过鉴别器(强鉴别器)获得的部位检测结果检测人体。人体检测309对应于图6中示出的结果整合器615。注意,可以通过使用例如利用单个部位的加权和的评估函数来整合检测结果。
状态确定处理310基于通过鉴别器(强鉴别器)获得的部位检测结果确定人体状态。在此实施例中,基于部位检测结果的组合图案来确定检测的人体是“驾驶中”、“行走中”还是表示两者均不的“未知”。
例如,如图3B所示,如果在帧图像中检测到面部和头部中的至少一者而没有检测到其他部位,则确定人体状态处于“驾驶中”。如果在帧图像中检测到全身,则确定人体状态处于“行走中”。如果状态不属于任何图案,则将人体状态设置为“未知”的人体。注意,在图3B示出的表格中,“○”表示检测到对应的目标,“×”表示没有检测到对应的目标。注意,图3B中示出的表格仅是示例,还能够使用其他人体部位的组合,或确定其他状态。还应注意,可以使用上述四个检测器中的两个或以上检测器作为人体检测单元610中包括的多个检测器。例如,人体检测单元610包括头部检测器612和全身检测器614,并且基于两个检测器获得的检测结果确定状态。
图4是例示第一实施例中的人体信息数据结构的示例图。项目401表示经过了部位检测的图像的帧时序(时间和帧序号)。例如,“t”表示最近的帧,“t-1”表示即刻前的帧,“t-2”表示第二在前的帧。项目402到405表示通过四个检测器对图像做出的部位检测信息。项目406表示基于各帧的部位检测信息鉴别的人体状态。
在这种情况下,在项目406中,因为项目402到405中的各部位的部位检测信息里存在波动,所以各帧的状态鉴别结果发生变化。这是因为各部位的强鉴别器的输出结果在某些情况中不稳定,并且检测结果中发生错误。由此,在人体经过入侵检测线210时的计时处的前帧和后帧中并不总会获得正确的检测结果。因此,在第一实施例中,使用人体经过入侵检测线210时的计时处的数个最近帧的状态鉴别结果的历史。例如,在数个最近帧中,如果在数个最近帧中的半数以上的帧中的人体状态处于“驾驶中”,则将人体确定为司机。在数个最近帧中,如果在数个最近帧中的半数以上的帧中的人体状态处于“行走中”,则将人体确定为行人;否则,将人体状态确定为“未知”。
图7是示出用于设置入侵检测的条件的画面的示例图。假定经由显示器523上显示的对话框700接受了检测目标、检测区域和检测确定点的设置。当然,还可以进一步接受其他条件。在此示例中,对话框700包括用于选择检测目标的单选按钮701、用于设置区域的设置按钮702和用于显示检测确定点的显示703。对话框700还包括用于确定设置的OK按钮704和用于放弃设置的取消按钮705。
用于选择检测目标的单选按钮701根据鼠标522的点击操作接受多个选项中的一个选择,以便限制入侵检测目标。例如,“司机除外”从入侵检测目标中排除被认为处于“驾驶中”的人体。即,被认为处于“正在行走”期间或“未知”的人体是入侵检测目标。此外,“仅检测行人”从入侵检测目标中排除被认为处于“驾驶中”的人体和被认为是“未知”的人体。
设置按钮702接受确定入侵检测的区域的设置。例如,在用鼠标522点击设置按钮702时,显示图2中示出的场景,并显示用于接受入侵检测线210的变化的用户界面(UI)。此UI相当于图6中示出的区域设置单元607。如前述,还可以设置入侵检测线或入侵检测区域中的任何一者。此外,关于检测确定点的显示703表示入侵检测确定区域中的检测点。作为检测点,还可以设置脚下,中央,右,左等。
<设备操作>
图8是根据第一实施例的入侵检测处理的流程图。如前所述,CPU 501通过将ROM502中存储的程序读出到RAM 503并执行它们来实现图6中示出的功能单元。
在步骤S801中,图像获得单元602通过网络630从摄像机550获得运动图像。然后,图像获得单元602解码获得的运动图像,并将解码的图像作为多个帧图像存储在外部存储设备507中。
在步骤S802中,预处理单元603校正各帧图像,以便于提取特征量,人体检测单元610检测帧图像中包含的人体。如上所述,四个检测器611到614执行人体的四个部位(面部、头部、上身和全身)的检测处理。然后,结果整合器615整合四个检测器的检测结果,从而检测人体。
在步骤S803中,状态确定单元604基于针对各帧的人体的四个部位(面部、头部、上身和全身)的检测结果确定(临时确定)人体状态。更具体地说,通过参照图3A和图3B描述的方法确定人体是处于“驾驶中”或“行走中”,还是处于“未知”。注意,可以针对所有帧或一些间隔帧(例如,每预定帧间隔)执行状态确定。
在步骤S804中,人体追踪单元605在多个帧图像中追踪人体检测单元610检测到的人体。例如,通过将在前(=过去的)帧图像中的人体的检测结果相关联来保持日志。假定在第一实施例中,追踪通过人体检测单元610检测的所有人体。
在步骤S805中,入侵确定单元606根据区域设置单元607的设置确定检测目标人体的入侵。例如,入侵确定单元606确定人体的运动向量是否在预定方向上与入侵检测线210交叉。
在步骤S806中,状态确定单元604确定(实际确定)与入侵检测线210交叉的人体的状态。更具体地说,状态确定单元604通过参照图4说明的方法确定人体是司机、行人还是未知。使用人体通过入侵检测线210时的计时处的数个最近帧的状态鉴别结果的历史执行确定。如果人体是司机,则处理进入步骤S808,如果人体不是司机(即,如果人体是行人或未知),则处理进入步骤S807。在步骤S807中,如果人体是行人,则处理进入步骤S809。如果人体不是行人(即,如果人体是未知),则处理进入步骤S810。
在步骤S808中,入侵确定单元606记录目标人体是正常访客。另一方面,在步骤S809中,入侵确定单元606记录目标人体是异常访客(行人)。在步骤S810中,入侵确定单元606记录目标人体是异常访客(未知)。在步骤S809或S810中记录异常访客后,在步骤S811,入侵确定单元606发出入侵检测事件。
在步骤S812中,入侵确定单元606确定是否对步骤S802中检测到和步骤S804中追踪到的所有人体执行步骤S805中的入侵检测确定。如果存在不确定的人体,处理返回到步骤S805,并且入侵确定单元606对其余的人体执行确定。如果完成了对所有人体的确定,则处理进入步骤S813。
在步骤S813中,如果发出入侵警报,结果生成单元608执行警报通知以使用户识别异常访客的检测。例如,结果生成单元608向输出单元622显示并通知警告,或者生成并通知警告声音,或者通过网络630向外部装置(未示出)通知警告。
在步骤S814中,检测设备500执行终止确定。例如,检测设备500在用户输入终止指令的情况下终止处理。如果没有指令,则检测设备500返回到步骤S801,并继续处理。
在如上所述的第一实施例中,基于多个检测器的检测结果检测人体,并临时确定人体状态。实际上,人体状态是基于多个帧的人体的状态的临时确定结果确定的。然后,基于确定的状态控制入侵警报的发出。例如,如果认为人体是司机,则抑制警报的发出。这样能够抑制例如关于车辆的入侵(车辆中的人体的入侵)的警报通知。即,能够处理需要从检测目标中排除车辆的进入的用例。即使各部位的强鉴别器中出现波动(即使检测结果中包括错误),也能够高精度地确定人体状态。
注意,在上述说明中假定人体作为检测目标对象,但可以指定各种对象作为检测目标对象。即,可以基于多个鉴别器的检测结果指定能够取得多个状态的对象。
(第二实施例)
在第二实施例中将描述人体状态的其他确定方法。更具体地说,基于数个最近帧中的各部位的检测次数执行人体状态的鉴别。入侵检测的原理、硬件配置和功能配置与第一实施例中的(图2,图5和图6)相似,将省略其的描述。
第二实施例中的状态确定逻辑基本上与第一实施例的(图3A和图3B)类似,但不同在于根据图9确定针对各部位确认的检测结果。下文将主要描述与第一实施例不同的部位。
图9是示出根据第二实施例的人体信息数据结构的示例图。项目901到904与第一实施例中的项目401到404相似。然而,在第二实施例中,第一实施例中的项目406不存在,但增加了项目906。项目906是各部位的检测次数(圆圈的个数)。
如在第一实施例中那样,项目902到905的各部位的部位检测信息中存在波动。因此,针对在人体通过入侵检测线210时的计时处的前后位置的帧,并不会总会获得正确的检测结果。在第二实施例中,使用在人体通过入侵检测线210时的计时处的数个最近帧的各部的检测次数确定针对各部位确认的检测结果。基于针对各部位确认的检测结果的组合确定人体的状态。
例如,如果在数个最近帧中的一半或以上的帧中检测到“全身”,则确定检测到“全身”,并且将人体状态确定为行走中。例如,如果在数个最近帧中的一半或以上的帧中检测到“面部”或“头部”,则确定检测到“面部”或“头部”,并且人体的状态确定为驾驶中;否则,人体状态确定为未知。如果检测到人体状态为“行走中”,则确定人体为行人。如果检测到人体状态为“驾驶中”,则确定人体为司机。
<设备操作>
图10是根据第二实施例的入侵检测处理的流程图。如第一实施例那样,CPU 501通过将ROM 502中存储的程序读出到RAM 503并执行它们来实现图6中示出的功能单元。
步骤S1001、S1002、S1004、S1005和S1008到S1014中的处理与第一实施例中的步骤S801、S802、S804、S805和S808到S814(图8)类似。
在步骤S1006和S1007中,状态确定单元604确定与入侵检测线210交叉的人体状态。更具体地说,通过参照图9描述的方法确定人体是司机、行人还是未知。即,使用在人体通过入侵检测线210时的计时处的数个最近帧中的各部位的检测次数确定人体状态。
如上所述,根据第二实施例,基于检测的人体(司机,行人或未知)的状态的确定结果确定作为入侵检测目标的人体。因此,本发明能够解决将车辆的进入从检测目标中排除的用例。此外,即使各部位的强鉴别器中出现波动(即使检测结果中包括错误),也能够高精度地确定人体的状态。
其他实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明,但是应当理解,本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释,以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (14)

1.一种检测设备,所述检测设备包括:
识别单元,其被配置为识别运动图像的多个帧图像中包括的人是否是行人;
确定单元,为了进行通知,其被配置为在所述识别单元识别到所述人是行人的次数满足预定条件的情况下确定所述人是行人;以及
通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
2.根据权利要求1所述的设备,所述设备还包括:
检测单元,其被配置为检测所述帧图像中包括的人体的部位,
其中,所述识别单元使用所述检测单元的检测结果识别所述帧图像中包括的人是行人。
3.根据权利要求2所述的设备,其中,
所述检测单元使用被配置为检测不同部位的多个检测器检测所述人体的各部位,以及
所述识别单元基于所述多个检测器的检测结果的组合识别所述帧图像中包括的人是行人。
4.根据权利要求3所述的设备,其中,所述多个检测器包括不少于两检测器,所述不少于两检测器被配置为检测不少于人体的面部、人体的头部、人体的上半身和人体的全身中的两者。
5.根据权利要求2所述的设备,所述设备还包括:
追踪单元,其被配置为追踪所述运动图像中包括的多个帧图像中通过所述检测单元检测的人,
其中,在通过所述追踪单元追踪的人入侵所述区域的情况下,所述识别单元通过所述识别单元执行识别处理。
6.根据权利要求1所述的设备,其中,在所述识别单元识别所述人是行人的次数不少于预定次数的情况下,所述确定单元确定所述人是行人。
7.根据权利要求1所述的设备,所述设备还包括入侵确定单元,其被配置为确定所述人是否入侵到所述区域中,
其中,所述多个帧图像是在入侵者确定单元确定所述人入侵到所述区域中即刻前获得的多个帧图像。
8.根据权利要求1所述的设备,其中,
所述识别单元还识别所述人是否是车辆的乘客,
在所述识别单元识别所述人是所述车辆的乘客的次数满足预定条件的情况下,所述确定单元确定所述人是所述车辆的乘客,以及
在通过所述确定单元确定为所述乘客的人入侵到所述区域中的情况下,所述通知单元不执行关于入侵到所述区域中的通知。
9.根据权利要求1所述的设备,其中所述识别单元对各帧图像执行所述识别。
10.一种检测设备,所述检测设备包括:
检测单元,其被配置为从各帧图像中检测运动图像的多个帧图像中包括的人体的部位;
确定单元,为了进行通知,其被配置为在所述检测单元检测到身体的预定部位的次数满足预定条件的情况下确定所述人是行人;以及
通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
11.一种检测设备的控制方法,所述方法包括:
识别运动图像的多个帧图像中包括的人是否是行人;
为了进行通知,在所述识别中识别到所述人是行人的次数满足预定条件的情况下,确定所述人是行人;以及
在所述确定中被确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下,通知入侵。
12.一种检测设备的控制方法,所述方法包括:
从各帧图像中检测运动图像的多个帧图像中包括的人体的部位;
为了进行通知,在所述检测中检测到身体的预定部位的次数满足预定条件的情况下,确定所述多个帧图像中包括的人是行人;以及
在所述确定中被确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下,通知入侵。
13.一种计算机可读记录介质,其存储使计算机用作检测设备的程序,所述检测设备包括:
识别单元,其被配置为识别运动图像的多个帧图像中包括的人是否是行人;
确定单元,为了进行通知,其被配置为在所述识别单元识别到所述人是行人的次数满足预定条件的情况下确定所述人是行人;以及
通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
14.一种计算机可读记录介质,其存储使计算机用作检测设备的程序,所述检测设备包括:
检测单元,其被配置为从各个帧图像中检测运动图像的多个帧图像中包括的人体的部位;
确定单元,为了进行通知,其被配置为在所述检测单元检测到身体的预定部位的次数满足预定条件的情况下,确定所述多个帧图像中包括的人是行人;以及
通知单元,其被配置为在通过所述确定单元确定为所述行人的人入侵到针对所述运动图像预先设置的区域中的情况下通知入侵。
CN201910972754.6A 2018-10-25 2019-10-14 检测设备,控制方法及计算机可读记录介质 Active CN111104845B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-201161 2018-10-25
JP2018201161A JP7204421B2 (ja) 2018-10-25 2018-10-25 検知装置およびその制御方法

Publications (2)

Publication Number Publication Date
CN111104845A true CN111104845A (zh) 2020-05-05
CN111104845B CN111104845B (zh) 2023-10-24

Family

ID=70327321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910972754.6A Active CN111104845B (zh) 2018-10-25 2019-10-14 检测设备,控制方法及计算机可读记录介质

Country Status (3)

Country Link
US (1) US11341773B2 (zh)
JP (1) JP7204421B2 (zh)
CN (1) CN111104845B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514703B2 (en) * 2018-08-07 2022-11-29 Canon Kabushiki Kaisha Detection device and control method of the same
US20210300423A1 (en) * 2020-03-31 2021-09-30 Toyota Motor North America, Inc. Identifying roadway concerns and taking preemptive actions

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568489A (zh) * 2001-10-17 2005-01-19 拜尔丹泰梯系统公司 用于记录和自动识别确认的面部成像系统
JP2006027481A (ja) * 2004-07-16 2006-02-02 Toyota Motor Corp 物体警告装置及び物体警告方法
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20100123770A1 (en) * 2008-11-20 2010-05-20 Friel Joseph T Multiple video camera processing for teleconferencing
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
CN105898213A (zh) * 2015-02-12 2016-08-24 佳能株式会社 显示控制装置和显示控制方法
WO2017195405A1 (ja) * 2016-05-11 2017-11-16 ソニー株式会社 画像処理装置及び画像処理方法、並びに移動体
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950585A (ja) 1995-08-07 1997-02-18 Hitachi Ltd 侵入者監視装置
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
US20070237387A1 (en) 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP5794255B2 (ja) 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
JP2016021200A (ja) 2014-07-15 2016-02-04 パナソニックIpマネジメント株式会社 判定方法、判定システム、及び判定装置
JP2017028364A (ja) 2015-07-16 2017-02-02 株式会社日立国際電気 監視システムおよび監視装置
JP6633462B2 (ja) 2016-06-29 2020-01-22 株式会社東芝 情報処理装置および情報処理方法
WO2018061616A1 (ja) 2016-09-28 2018-04-05 株式会社日立国際電気 監視システム
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Soken 映像出力装置及び映像生成プログラム
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568489A (zh) * 2001-10-17 2005-01-19 拜尔丹泰梯系统公司 用于记录和自动识别确认的面部成像系统
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
JP2006027481A (ja) * 2004-07-16 2006-02-02 Toyota Motor Corp 物体警告装置及び物体警告方法
US20100123770A1 (en) * 2008-11-20 2010-05-20 Friel Joseph T Multiple video camera processing for teleconferencing
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
CN105898213A (zh) * 2015-02-12 2016-08-24 佳能株式会社 显示控制装置和显示控制方法
WO2017195405A1 (ja) * 2016-05-11 2017-11-16 ソニー株式会社 画像処理装置及び画像処理方法、並びに移動体
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置

Also Published As

Publication number Publication date
US20200134299A1 (en) 2020-04-30
JP2020067905A (ja) 2020-04-30
CN111104845B (zh) 2023-10-24
US11341773B2 (en) 2022-05-24
JP7204421B2 (ja) 2023-01-16

Similar Documents

Publication Publication Date Title
JP5121258B2 (ja) 不審行動検知システム及び方法
Adam et al. Robust real-time unusual event detection using multiple fixed-location monitors
US9684835B2 (en) Image processing system, image processing method, and program
US10110801B2 (en) Methods and systems for controlling a camera to perform a task
EP3480729B1 (en) System and method for face position tracking and alerting user
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
US20180005042A1 (en) Method and system for detecting the occurrence of an interaction event via trajectory-based analysis
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
US20230044673A1 (en) Detection device and control method of the same
JP2012128877A (ja) 不審行動検知システム及び方法
CN111104845B (zh) 检测设备,控制方法及计算机可读记录介质
JP2012243128A (ja) 監視装置、監視方法及び監視プログラム
JP2013045344A (ja) 監視装置、監視方法及び監視プログラム
Patino et al. Abnormal behaviour detection on queue analysis from stereo cameras
US12046078B2 (en) Accident detection device and accident detection method
JP2016143302A (ja) 情報通知装置、方法、およびプログラム
CN106355137B (zh) 检测反复游荡的方法和反复游荡检测装置
CN113542671B (zh) 事件分析系统和事件分析方法
Kosmopoulos et al. Fusion of color and depth video for human behavior recognition in an assistive environment
JP7378223B2 (ja) 検知装置およびその制御方法
JP6933178B2 (ja) 制御装置、監視システム、監視カメラ制御方法および監視プログラム
JP5618366B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
Doukas et al. Emergency incidents detection in assisted living environments utilizing sound and visual perceptual components
WO2024079777A1 (ja) 情報処理システム、情報処理装置、情報処理方法及び記録媒体
EP4407569A1 (en) Systems and methods for tracking objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant