Nothing Special   »   [go: up one dir, main page]

WO2020111053A1 - 監視装置、監視システム、監視方法、監視プログラム - Google Patents

監視装置、監視システム、監視方法、監視プログラム Download PDF

Info

Publication number
WO2020111053A1
WO2020111053A1 PCT/JP2019/046144 JP2019046144W WO2020111053A1 WO 2020111053 A1 WO2020111053 A1 WO 2020111053A1 JP 2019046144 W JP2019046144 W JP 2019046144W WO 2020111053 A1 WO2020111053 A1 WO 2020111053A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
captured
monitoring
optical axis
image
Prior art date
Application number
PCT/JP2019/046144
Other languages
English (en)
French (fr)
Inventor
三郎 山内
小野　浩二
優大 茅根
Original Assignee
アースアイズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アースアイズ株式会社 filed Critical アースアイズ株式会社
Publication of WO2020111053A1 publication Critical patent/WO2020111053A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring device, a monitoring system, a monitoring method, and a monitoring program.
  • surveillance systems using surveillance cameras have been used for purposes such as crime prevention and disaster prevention.
  • a surveillance camera is installed in a predetermined surveillance area or surveillance object such as a store, a commercial facility, or a public facility, and an image taken by the surveillance camera is used to detect an abnormal state or a dangerous event. Monitor for occurrence.
  • Patent Document 1 exemplifies a distance measuring unit that uses infrared rays, ultrasonic waves, lasers, or the like.
  • a distance measuring unit that uses infrared rays, ultrasonic waves, lasers, or the like.
  • it is necessary to provide the distance measuring unit. And the structure of the system became complicated, and it was the cause of the price increase.
  • An object of the present invention is to provide a monitoring device, a monitoring system, a monitoring method, and a monitoring program that can perform monitoring more easily without requiring a distance measuring unit.
  • the present invention solves the above problems by the following solution means.
  • a photographing unit, a monitoring target specifying unit that specifies a monitoring target in a captured image taken by the shooting unit, and an actual position of the monitoring target specified by the monitoring target specifying unit Based on the captured image captured by the image capturing unit, the position identifying unit that identifies the image based on the image, and the coordinates that can identify the position corresponding to the floor or the ground in the captured image captured by the image capturing unit with the actual size
  • a coordinate setting unit that sets the position of the optical axis of the image light captured by the image capturing unit, and a direction of the optical axis of the image light captured by the image capturing unit.
  • an optical axis detection unit capable of detecting the optical axis detection unit, wherein the coordinate setting unit has a shape and dimensions of a common subject included in a plurality of captured images captured by the imaging unit in a plurality of different optical axis directions.
  • the position change in the photographing screen, and the direction of the optical axis of the image light detected by the optical axis detection unit is used to set coordinates, and the position specifying unit sets the coordinates to the coordinates set by the coordinate setting unit.
  • a monitoring device that specifies the position of the monitoring target based on the above.
  • the coordinate setting unit sets the distance from the photographing unit to the floor surface or the ground, the direction of the optical axis of the video light photographed by the photographing unit, and the angle of view of the photographed image photographed by the photographing unit.
  • the monitoring device further including an input unit that receives an input from outside regarding at least the distance from the imaging unit to the floor surface or the ground.
  • At least one of the constituent parts of the monitoring device is arranged at a place distant from other parts and is connected via communication, any of (1) to (8) The monitoring device according to claim 1.
  • the photographing unit photographs a plurality of photographing units, a monitoring target specifying unit that specifies a monitoring target in a captured image taken by the photographing unit, and an actual position of the monitoring target specified by the monitoring target specifying unit.
  • the position specifying unit specified based on the taken image, and the taken image taken by the taking unit with coordinates that can specify the position corresponding to the floor or the ground in the taken image taken by the taking unit in association with the actual size.
  • a coordinate setting unit that sets the optical axis of the image light captured by the image capturing unit, and the direction of the optical axis of image light captured by the image capturing unit.
  • an optical axis detection unit capable of detecting the optical axis detection unit, wherein the coordinate setting unit has a shape, a size, and an image of a common subject included in a captured image captured by the imaging unit in a plurality of different optical axis directions. Changes in position in the screen, and sets the coordinates using the direction of the optical axis of the image light detected by the optical axis detection unit, the position specifying unit, based on the coordinates set by the coordinate setting unit A surveillance system that identifies the location of a surveillance target.
  • the photographing step in which the photographing unit performs photographing the monitoring target specifying unit monitors the monitoring target in the captured image, and the position specifying unit monitors the monitoring target specified by the monitoring target specifying unit.
  • the position specifying step of specifying an actual position and the coordinate setting unit takes a coordinate that the photographing unit can specify by associating the position corresponding to the floor surface or the ground in the photographed image photographed by the photographing unit with the actual size.
  • a coordinate setting step of setting based on the captured image wherein the capturing unit includes a drive unit capable of changing a direction of an optical axis of image light captured by the capturing unit, and an image light captured by the capturing unit.
  • an optical axis detecting unit capable of detecting the direction of the optical axis of the image capturing unit, wherein the coordinate setting unit is configured to detect a common subject included in a captured image captured by the capturing unit in a plurality of different optical axis directions.
  • the coordinates are set by using the shape, the dimensions, the change of the position on the photographing screen, and the direction of the optical axis of the image light detected by the optical axis detection unit, and the position specifying unit is set by the coordinate setting unit.
  • a monitoring method that specifies the position of the monitoring target based on the coordinates.
  • the coordinate setting step is performed at least once after the imaging unit is installed, and the imaging step, the monitoring target identification step, and the position identification step are repeated. Monitoring method.
  • the photographing step in which the photographing unit performs photographing the monitoring target specifying unit specifies the monitoring target in the captured image, and the position specifying unit performs the monitoring.
  • an optical axis detection unit capable of detecting the direction of the optical axis of the image light captured by the image capturing unit, wherein the coordinate setting unit captures images by the image capturing unit in a plurality of different optical axis directions.
  • the shape and size of the common subject included in the captured image, the change in the position in the captured screen, and the coordinates are set by using the direction of the optical axis of the image light detected by the optical axis detection unit
  • the position specifying unit is a monitoring program that specifies the position of the monitoring target based on the coordinates set by the coordinate setting unit.
  • the coordinate setting step is performed at least once after the photographing unit is installed, and the photographing step, the monitoring target specifying step, and the position specifying step are repeatedly performed. Surveillance program.
  • a monitoring device a monitoring system, a monitoring method, and a monitoring program that can perform monitoring more easily without requiring a distance measuring unit.
  • FIG. 1 It is a block diagram which shows the structure of the monitoring apparatus 100 of 1st Embodiment. It is a figure which shows an example of the form with which the imaging
  • the monitoring target is detected, and the result is displayed together with the grid of coordinates and displayed on the captured image.
  • It is a flow chart which shows a flow of operation of coordinates setting processing in a 2nd embodiment. It is a figure which shows the picked-up image which image
  • It is a flowchart which shows the flow of operation
  • FIG. 6 is a diagram illustrating a reference subject and a vanishing point, which corresponds to an image captured by a capturing unit 110. It is a figure which shows the form with which the imaging part 110 was attached typically from a horizontal direction. It is a figure which shows typically the relationship of the imaging part 110 and a monitoring target as a state seen from the upper part. It is a figure which shows the relationship between the imaging part 110 and a monitoring target typically from a horizontal direction. It is the figure which added more detailed description to FIG.
  • FIG. 1 is a block diagram showing the configuration of the monitoring device 100 according to the first embodiment.
  • FIG. 1 is a schematic view, and the size and shape of each part are exaggerated as appropriate for easy understanding. Further, in the following description, a specific configuration is shown and described, but these can be appropriately changed.
  • the monitoring device 100 of the present embodiment includes a photographing unit 110 and a calculation processing unit 120.
  • the monitoring device 100 will be described with an example in which the imaging unit 110 and the arithmetic processing unit 120 can be separately arranged at separate positions.
  • the image capturing unit 110 and the arithmetic processing unit 120 may be integrated as one monitoring device.
  • FIG. 2 is a diagram showing an example of a form in which the image capturing unit 110 is attached.
  • the image capturing unit 110 is a so-called surveillance camera that captures an image of the monitoring target area.
  • FIG. 2 shows an example in which the image capturing unit 110 is mounted on the ceiling, but the mounting location can be appropriately changed according to the monitoring target area.
  • the image capturing unit 110 according to the present embodiment includes an image sensor 111, an image capturing lens 112, and an image processing unit 113.
  • the image sensor 111 captures an image formed by the taking lens 112 and sends it to the image processing unit 113. Further, in FIG. 2, an optical axis (optical axis of image light) O of the photographing lens 112 and a photographing range (range of angle ⁇ ) are schematically shown. Since the actual shooting range in the up, down, left, and right directions differs depending on the aspect ratio, the shooting range in the up and down direction on the shooting screen shown in the figure is angled for easier understanding. It is shown as a range of ⁇ (angle of view in the vertical direction).
  • the image processing unit 113 processes the data output from the image sensor 111 to form image data, and transmits the image data to the arithmetic processing unit 120.
  • the arithmetic processing unit 120 performs arithmetic processing necessary for monitoring the image data transmitted from the image capturing unit 110, and is configured using, for example, a personal computer, a tablet terminal, a smartphone, or the like, or is monitored. It can be configured as a dedicated device specialized for operation. In any configuration, the arithmetic processing unit 120 includes hardware such as a CPU, a memory, and a communication unit, and executes a computer program (monitoring program) to perform various operations described below and a monitoring method. Can be specifically executed. Further, as for the respective units described below as the configuration in the arithmetic processing unit 120, a part thereof may be configured in a device different from the arithmetic processing unit 120.
  • the arithmetic processing unit 120 is connected to the image capturing unit 110 so that image data can be received from the image capturing unit 110.
  • This connection may be a wired connection using a dedicated communication cable or a wired LAN. Further, not only wired connection but also various wireless communication such as wireless LAN, short-distance wireless communication, and mobile phone line may be used. Further, the arithmetic processing unit 120 may be arranged not in the vicinity of the photographing unit 110 but in a remote place apart from the photographing unit 110.
  • the arithmetic processing unit 120 of the first embodiment includes a coordinate setting unit 121, an input unit 122, a monitoring target specifying unit 123, a position specifying unit 124, and an abnormal behavior detecting unit 125.
  • the coordinate setting unit 121 performs a process of setting a identifiable coordinate by associating a position corresponding to the floor surface or the ground in the captured image captured by the image capturing unit 110 with the actual size. A more detailed description of the coordinate setting unit 121 will be described later.
  • the input unit 122 receives an input from outside regarding the distance (height h) from the imaging unit 110 to the floor surface or the ground.
  • the input unit 122 also receives input of the direction of the optical axis of the image light captured by the image capturing unit 110 (angle ⁇ with respect to the vertical direction (Z direction)).
  • the input unit 122 may receive a value input via a general-purpose input device such as a keyboard provided in the arithmetic processing unit 120, or may input a value input via a storage medium in which set values are stored. It may be accepted, or a value input via a network or the like may be accepted.
  • the monitoring target specifying unit 123 automatically extracts a person or the like in the captured image during the monitoring operation, specifies this as a monitoring target, and continues monitoring.
  • the position specifying unit 124 specifies the actual position of the monitoring target specified by the monitoring target specifying unit 123 based on the coordinates set by the coordinate setting unit 121.
  • the abnormal behavior detection unit 125 determines whether or not the monitoring target is performing abnormal behavior based on the actual position of the monitoring target specified by the position specifying unit 124. Specific operations of the monitoring target specifying unit 123, the position specifying unit 124, and the abnormal behavior detecting unit 125 will be described later.
  • the above-mentioned “actual position of the monitoring target” means the monitoring target that can be defined by specific coordinates in the three-dimensional space that constitutes the “monitoring area” where the “monitoring target” actually exists.
  • the coordinate setting unit 121 performs the process of setting the identifiable coordinates by associating the position corresponding to the floor surface or the ground in the captured image captured by the capturing unit 110 with the actual size.
  • the coordinate setting performed by the coordinate setting unit 121 is preferably performed before the monitoring is performed. More specifically, it is preferable that the coordinate setting performed by the coordinate setting unit 121 is appropriately performed, for example, when the monitoring device 100 is installed, whereby the arrangement of the imaging unit 110 is changed thereafter. Unless otherwise, it is not necessary to set again.
  • the coordinates set by the coordinate setting unit 121 are, when a certain arbitrary position is specified in the captured image captured by the capturing unit 110 and the position is on the floor or the ground, the floor or the ground. Is a coordinate with which it is possible to specify which position in the space of the actual monitoring area corresponds. That is, the set coordinate position is set in association with the actual size.
  • FIG. 3 is a diagram illustrating an example of a background image captured when the coordinate setting unit 121 sets coordinates.
  • the floor surface 501, the wall surface 502, and the display shelf 503 are included in the captured image.
  • a plane parallel to the floor surface is an XY plane
  • a horizontal direction in FIG. 3 is an X direction
  • a depth direction orthogonal to the horizontal direction is a Y direction in the XY plane.
  • the vertical direction perpendicular to the floor surface is the Z direction. The same applies to FIGS. 4, 7 to 9 and 11 below.
  • the photographed image photographed by the photographing unit 110 is two-dimensional image information, even if a position in the photographed image is selected (specified), the position in the actual three-dimensional space is specified. I can't.
  • the position to be selected (specified) in the captured image is limited to the floor surface or the ground after setting the coordinates associated with the actual dimensions on the floor surface or the ground, the It is possible to specify which position in the real space (monitoring region) the floor surface or the ground surface is selected (specified). Therefore, the coordinate setting unit 121 sets the coordinates corresponding to the floor surface or the ground.
  • the coordinate setting unit 121 uses the distance h from the image capturing unit 110 to the floor surface or the ground, the direction (angle ⁇ ) of the optical axis O of the image light captured by the image capturing unit 110, and the image capturing unit 110 captures an image.
  • the coordinates are set using the angle of view ( ⁇ ) of the captured image.
  • the actual center position PO of the floor surface or the ground existing at the center position that is, the optical axis O of the capturing lens 112 intersects the floor surface or the ground.
  • the center position PO can be specified geometrically. Specifically, the height ⁇ from the floor surface or the ground where the imaging unit 110 is installed and the angle ⁇ (the angle between the optical axis O and the vertical direction G) with which the orientation of the optical axis O can be specified. If and can be acquired, the distance LO from the position directly below the imaging unit 110 to the position PO can be calculated.
  • the distance L1 from the center position PO to the closest point P1 of the taking range and the center The distance L2 from the position PO to the farthest point P2 in the shooting range can also be geometrically determined.
  • the position in the image and the actual position can be associated.
  • the position in the image and the actual position can be associated with each other in the lateral direction (X direction in the drawing). .. Therefore, the coordinate setting unit 121 can set the coordinates associated with the actual position in the captured image.
  • FIG. 4 is a diagram illustrating an example of coordinates set by the coordinate setting unit 121.
  • the captured image of FIG. 3 is shown by superimposing grids at equal intervals in the actual dimensions in the Y direction and the X direction.
  • the coordinates set by the coordinate setting unit 121 are set on the assumption that the floor surface 501 (or the ground) extends infinitely. Therefore, in order to explain this, the wall surface 502, the display shelf 503, and the like are dare to explain.
  • the grid is also displayed. In the photographed image, even at the same actual size, the distant position looks smaller than the near position. Therefore, at the set coordinates, the grids that are evenly spaced on the actual dimension are set to be smaller at the far side. In this way, the coordinates set by the coordinate setting unit 121 of the present embodiment are associated with the actual position (actual size, actual distance).
  • the image capturing unit 110 of the present embodiment does not include a configuration corresponding to a distance measuring unit that irradiates infrared rays or the like to measure the distance. Therefore, the height h is not a value automatically obtained by the monitoring device 100.
  • the height at which the image capturing unit 110 is installed varies depending on the site where the monitoring is performed. Therefore, in the monitoring device 100 of the present embodiment, the input unit 122 receives the input of the height h to acquire the appropriate height h.
  • the imaging unit 110 is configured so that the optical axis O can be installed with the direction of the optical axis O set to any direction, but after installation, the direction of the optical axis O does not change. Absent. Therefore, in the monitoring device 100 according to the present embodiment, the input unit 122 also receives an input for the angle ⁇ to acquire the appropriate angle ⁇ . Note that the angle ⁇ is adjusted during the installation work of the imaging unit 110, and therefore is input after the installation work is completed.
  • a value corresponding to this scale can be input to the input unit 122 to make it appropriate. You can easily enter any value.
  • the specified value may be used as the angle ⁇ , so that the input of the angle ⁇ by the input unit 122 can be omitted. Is.
  • FIG. 5 is a flowchart showing the flow of operations of the monitoring device 100 of the first embodiment.
  • the coordinate setting unit 121 performs coordinate setting processing.
  • FIG. 6 is a flowchart showing the operation flow of the coordinate setting process in the first embodiment.
  • the input unit 122 receives inputs of the height h and the angle ⁇ .
  • the coordinate setting unit 121 performs coordinate setting processing for setting coordinates, and ends the coordinate setting processing.
  • the first embodiment if the height h and the angle ⁇ are input using the input unit 122 as described above, the calculation of coordinates itself is easy as described above. The overlapping description of is omitted.
  • the image capturing unit 110 performs surveillance image capturing.
  • the monitoring shooting still images are continuously shot at a predetermined interval, and a monitoring operation described below is performed as continuous shooting images.
  • a surveillance operation is being performed as video shooting.
  • the monitoring target specifying unit 123 determines whether or not the monitoring target is detected. When the monitoring target is detected (S13, Yes), the process proceeds to S14, and when the monitoring target is not detected (S13, No), the process returns to S12 to continue the monitoring operation.
  • any one of various conventionally known methods or a combination thereof can be used.
  • the technology disclosed in Zhe Cao et al. Realtime Multi-Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017 was used. With this technique (hereinafter referred to as OpenPose), the skeleton of a person can be extracted from a two-dimensional image.
  • the position specifying unit 124 specifies the position of the monitoring target on the coordinates.
  • FIG. 7 is a diagram illustrating an example of a captured image in surveillance imaging.
  • FIG. 8 is an example in which the monitoring target is detected in the example of the photographed image of FIG. 7, and the result is displayed together with the grid of coordinates in the photographed image.
  • the display unit is not an essential requirement for the monitoring device 100, but a display example is shown here for easy understanding. If OpenPose is used, not only a person can be extracted from the captured image, but also a skeleton B of the person can be roughly extracted as shown in FIG.
  • FIG. 9 is a diagram in which the extracted skeleton B to be monitored and the grid of coordinates are superimposed and shown.
  • the position specifying unit 124 specifies the position of the monitoring target depending on which coordinate the position of the foot of the skeleton B is. That is, the position of the tip of the foot of the extracted skeleton B is estimated to be the position of the foot under the monitoring target, and the coordinate position of the tip of the foot of the skeleton B is specified as the position of the monitoring target.
  • the grid positions corresponding to the specified coordinates are hatched.
  • the abnormal behavior detection unit 125 determines whether or not the monitoring target is performing abnormal behavior. If it is determined that the abnormal behavior is performed (S15, Yes), the process proceeds to S16, and if it is determined that the abnormal behavior is not performed (S15, No), the process returns to S12. For example, the abnormal behavior detection unit 125 detects that the monitoring target has entered an entry-prohibited position, stays at a certain position for a predetermined time or more, or moves around the certain position in a short time. When wandering behavior is detected, it is determined that abnormal behavior is being performed. It should be noted that the above determination example of the abnormal behavior detection unit 125 merely illustrates a simple configuration, and more advanced abnormal behavior can be detected from a combination of various conditions.
  • the arithmetic processing unit 120 performs an abnormality detection process performed when an abnormal behavior is detected.
  • the abnormality detection process may be a simple process such as issuing a warning sound or displaying a warning, or may further notify the manager or a security company. Further, the content of the abnormality detection processing may be changed according to the type and level of abnormal behavior.
  • the arithmetic processing unit 120 determines whether or not to end the monitoring.
  • the termination of monitoring is determined to be terminated, for example, when a command to terminate monitoring is input. If it is ended (S17, Yes), the monitoring operation is ended, and if not (S17, No), the process returns to S12 to continue the monitoring.
  • the monitoring apparatus 100 of this embodiment can also handle a plurality of monitoring targets. When a plurality of monitoring targets are detected, for example, the operations of S13 to S17 are processed in parallel for each monitoring target.
  • the position corresponding to the floor surface or the ground in the captured image is associated with the actual size to capture the identifiable coordinates without providing the distance measuring unit in the image capturing unit 110. It can be set based on the captured image captured by the unit 110. Therefore, the configuration of the imaging system can be simplified. By setting the coordinates, the position of the monitoring target can be accurately grasped only from the captured image, and a highly accurate monitoring system can be realized even with a simple system.
  • FIG. 10 is a flowchart showing the operation flow of the coordinate setting process in the second embodiment.
  • the second embodiment is similar to the first embodiment except that the operation of the coordinate setting process is different. Therefore, the same reference numerals are given to the portions that perform the same functions as those in the above-described first embodiment, and the overlapping description will be appropriately omitted.
  • the input unit 122 receives inputs of the height h and the angle ⁇ .
  • the coordinate setting unit 121 performs coordinate setting processing for setting coordinates and ends the coordinate setting processing.
  • the operations of S202 and S203 are the same as those of S101 and S102 of the first embodiment.
  • the arithmetic processing unit 120 determines whether or not to photograph the reference subject. This judgment is also made based on the selection input by the operator.
  • the process proceeds to S205, and when the input is not performed (S204, No), the process returns to S201.
  • the reference subject is a subject whose shape and dimensions are known in advance, and by photographing this reference subject, it is possible to calculate at what position in the photographing screen the known dimensions are photographed. Thus, highly accurate coordinate setting can be performed without inputting the height h and the angle ⁇ .
  • the reference subject is a dedicated setting subject created for coordinate setting
  • a background article for example, display shelf 503 included in the shooting range at the time of coordinate setting is used as the reference subject. May be. In that case, it is preferable to be able to input the actual size and shape of the background article as the reference subject.
  • the image capturing unit 110 captures a background including the reference subject.
  • the coordinate setting unit 121 performs coordinate setting processing based on the reference subject.
  • FIG. 11 is a diagram showing a captured image in which the background is captured including the setting subject.
  • the shape and size of the setting subject S placed on the floor are known, based on what size of the setting subject S is photographed in the photographed image, The positional relationship between the floor surface or the ground and the imaging unit 110 and the orientation of the imaging unit 110 can be obtained, and highly accurate coordinates can be set.
  • FIG. 11 shows an example in which the setting subject S is a simple square object placed along the floor surface.
  • the coordinate system in the width direction and the depth direction can be calculated with higher accuracy by simple calculation based on the dimensional difference of each side of the setting subject S recognized in the captured image. Can be set.
  • the present invention is not limited to this, and for example, a mark or scale for automatic detection may be provided, or it may be arranged so as to stand upright on the floor surface.
  • the setting subject S is not limited to a square, but may be another shape such as a rectangle or a triangle.
  • the reference subject can be used for coordinate setting, and the work of coordinate setting can be performed more easily and accurately.
  • FIG. 12 is a block diagram showing the configuration of the monitoring device 200 of the third embodiment.
  • the monitoring apparatus 200 according to the third embodiment differs from the monitoring apparatus according to the first embodiment in that the image capturing unit 110 includes a driving unit 114 and an optical axis detecting unit 115, and the coordinate setting operation by the coordinate setting unit 121 is different. It has the same configuration as 100. Therefore, the same reference numerals are given to the portions that perform the same functions as those in the above-described first embodiment, and the overlapping description will be appropriately omitted.
  • the image capturing unit 110 includes the driving unit 114 and the optical axis detecting unit 115.
  • the drive unit 114 is a drive mechanism that moves the orientation of the imaging unit 110. Therefore, by driving the driving unit 114, the direction of the optical axis O of the taking lens 112, that is, the monitoring area to be photographed can be changed.
  • Various configurations have been conventionally known as a specific configuration of the drive unit 114, and any configuration thereof may be adopted.
  • a wide range of monitoring is possible by adopting a configuration in which two rotations ( ⁇ x) in (1) are combined.
  • the optical axis detection unit 115 is configured to be able to acquire the direction of the optical axis O of the taking lens 112. For example, by providing a sensor such as a rotary encoder or using a stepping motor for driving the driving unit 114, the direction of the optical axis O of the taking lens 112 can be acquired.
  • FIG. 13 is a flowchart showing the operation flow of the coordinate setting process in the third embodiment.
  • the third embodiment it is possible to automatically set the coordinates by performing photographing a plurality of times without inputting the height h and the angle ⁇ as in the first embodiment.
  • the coordinate setting unit 121 controls the image capturing unit 110 to direct the image capturing unit 110 in the first direction ( ⁇ x1, ⁇ z1).
  • the coordinate setting unit 121 controls the image capturing unit 110 to perform the first image capturing with the image capturing unit 110 facing the first direction.
  • the coordinate setting unit 121 controls the image capturing unit 110 to direct the image capturing unit 110 in the second direction ( ⁇ x2, ⁇ z2).
  • the second direction is a direction different from the first direction and that a common subject is included in the first direction and the second direction. Furthermore, it is more desirable that this common subject is located near the floor or the ground.
  • step S304 the coordinate setting unit 121 controls the image capturing unit 110 to perform the second image capturing with the image capturing unit 110 facing the second direction.
  • step S305 the coordinate setting unit 121 sets the coordinates by using the captured images obtained in the first shooting and the second shooting, respectively.
  • the coordinate setting unit 121 can accurately set the coordinates based on the above-described two shooting results.
  • the coordinate setting unit 121 may be configured to automatically set and calculate the common subject by image recognition. Furthermore, if the setting subject S shown in the second embodiment is combined as the common subject, more accurate coordinate setting is possible. In addition, here, an example is shown in which the photographing is performed in each of the two directions of the first direction and the second direction, but the photographing may be performed in more directions and the coordinates may be set. The coordinates may be obtained while continuously shooting while driving 114.
  • the coordinates can be automatically set without performing an input operation or arranging a reference subject, and the coordinates can be set more easily.
  • FIG. 14 is a block diagram showing the configuration of the monitoring device 400 of the fourth embodiment.
  • the fourth embodiment is a form in which the actual position of the monitoring target is specified without performing the process corresponding to the coordinate setting performed by the coordinate setting unit 121 of the first embodiment.
  • the same reference numerals are given to the portions having the same functions as those in the above-described first embodiment, and the overlapping description will be appropriately omitted.
  • the arithmetic processing unit 420 of the fourth embodiment includes a condition setting unit 421, an input unit 422, a monitoring target specifying unit 423, a position specifying unit 424, and an abnormal behavior detecting unit 425.
  • the condition setting unit 421 sets the installation condition of the image capturing unit 110, more specifically, the condition of the positional relationship between the ground (floor surface) and the image capturing range of the image capturing unit 110.
  • the input unit 422 receives an input from outside regarding the distance (height h) from the imaging unit 110 to the floor surface or the ground.
  • the monitoring target specifying unit 423 automatically extracts a person or the like in the captured image during the monitoring operation, specifies this as a monitoring target, and continues monitoring.
  • the position specifying unit 424 specifies the actual position of the monitoring target specified by the monitoring target specifying unit 123.
  • the function of the position specifying unit 424 is significantly different from that of the first embodiment.
  • the abnormal behavior detection unit 425 determines whether or not the monitoring target is performing abnormal behavior, based on the actual position of the monitoring target specified by the position specifying unit 124.
  • FIG. 15 is a flowchart showing the flow of operations of the monitoring device 400 of the fourth embodiment.
  • the condition setting unit 421 performs a condition setting process.
  • FIG. 16 is a flowchart showing the operation flow of the condition setting process in the fourth embodiment.
  • the input unit 122 receives the input of the height h.
  • condition setting unit 421 obtains the angle ⁇ 0 formed by the vanishing point V and the virtual straight line L0 drawn from the vanishing point V to the imaging unit 110 and the floor surface (or the ground surface).
  • FIG. 17 is a diagram illustrating a reference subject and a vanishing point, and corresponds to an image captured by the image capturing unit 110.
  • the wall surface W in FIG. 17 is used as the reference subject.
  • the line L1 at the upper end of the wall surface W and the line L2 at the lower end of the wall surface W are parallel to each other and extend horizontally in the actual product, but in the photographed image, the line L1 and the line L2 extend farther. The space between them is narrowed and the picture is taken.
  • the vanishing point V is a point where these two lines L1 and L2 are virtually extended and intersect with each other like a chain line in the drawing.
  • the lines L1 and L2 may be set automatically by image processing or semi-automatically by the operator specifying a reference subject, or the operator may set the lines L1 and L2 based on the reference subject in the captured image.
  • the line may be designated manually (two points on the line are designated by a pointing device such as a mouse).
  • FIG. 18 is a diagram schematically showing a form in which the image capturing unit 110 is attached from the lateral direction.
  • the area filled with halftone dots is the imaging range of the imaging unit 110.
  • the vertical coordinate value of the vanishing point V in the captured image is obtained.
  • the vertical coordinate in the captured image will be referred to as the SY coordinate
  • the horizontal coordinate will be referred to as the SX coordinate
  • the SY coordinate and the SX coordinate represent the position by the numerical value of the pixel unit.
  • the monitoring imaging in S412 and the monitoring target detection processing in S413 are the same as those in S12 and S13 of the first embodiment.
  • the position specifying unit 124 specifies the actual position of the monitoring target.
  • the actual position of the monitoring target first, as the actual position of the monitoring target in the Y direction, the actual distance LY in the Y direction from immediately below the imaging unit 110 to the monitoring target (if the monitoring target is a person, , The distance in the Y direction to the foot).
  • FIG. 19 is a diagram schematically showing the relationship between the image capturing unit 110 and the monitoring target as viewed from above.
  • FIG. 20 is a diagram schematically showing the relationship between the image capturing unit 110 and the monitoring target from the lateral direction.
  • the distance LY shown in FIGS. 19 and 20 is obtained by the following formula.
  • PSY is a coordinate value (pixel number) in the vertical direction (SY direction) in the captured image
  • PNSY is a coordinate value (pixel number) in the vertical direction (SY direction) of the entire captured image.
  • FIG. 21 is a diagram in which a more detailed description is added to FIG. In order to consider the position in the X direction, each dimension shown in FIG. 21 is further obtained.
  • the image middle distance which is the coordinate value (pixel number) of the monitoring target in the SX direction, is obtained from the center line O in the X direction of the captured image.
  • P X
  • P SX is a coordinate value (pixel number) in the horizontal direction (SX direction) in the captured image to be monitored
  • PN SX is a coordinate value (pixel number) in the vertical direction (SY direction) of the entire captured image. ).
  • each processing of S415 to S417 is performed, but these operations are the same as S15 to S17 in FIG. 5 of the first embodiment.
  • the position of the monitoring target can be accurately specified by a simpler method.
  • the focal length of the taking lens 112 has been described on the assumption that the focal length is fixed.
  • the taking lens 112 may be configured as a zoom lens, a multifocal lens, or the like, which can change the focal length (angle of view).
  • the arithmetic processing unit 120 may acquire the focal length of the photographing lens 112 at the time of photographing from the photographing lens 112.
  • the description has been made on the assumption that one imaging unit 110 is provided, but the imaging units 110 may be configured as a monitoring system in which a plurality of imaging units 110 are arranged.
  • the arithmetic processing unit 120 integrally controls the plurality of imaging units 110 and sets common coordinates, so that it is possible to construct a monitoring system with few blind spots even with a simple configuration.
  • the coordinate set by the coordinate setting unit 121 is an XY Cartesian coordinate system as shown in FIG. Not limited to this, for example, the coordinates set by the coordinate setting unit 121 may be a polar coordinate system such as circular coordinates, cylindrical coordinates, or spherical coordinates.
  • the imaging unit 110 has been described as an example fixed to the ceiling. Not limited to this, for example, the imaging unit 110 may be fixed to another place such as a wall surface or furniture. Further, the image capturing unit 110 may be provided in a movable body (for example, a monitoring robot) that can move within the monitoring area so as to be movable. If the coordinates are set, even if the moving body (imaging unit 110) moves, it is possible to successively acquire the coordinates in which the mobile body exists, and the monitoring operation using the coordinates can be performed in the same manner as in the above embodiment. ..
  • a movable body for example, a monitoring robot
  • the monitoring target may be an animal, an article, or the like.
  • an alarm can be given.
  • the monitoring target in the image and other dimensions can be easily obtained. Therefore, for example, a function or the like for obtaining the dimensions of the monitoring target may be added to the monitoring device.
  • the size of the monitoring target may be automatically displayed, the distance between a plurality of monitoring targets may be displayed, or the distance between any two points designated by the operator may be displayed.
  • Monitoring Device 110 Imaging Unit 111 Imaging Element 112 Imaging Lens 113 Image Processing Unit 114 Driving Unit 115 Optical Axis Detection Unit 120 Arithmetic Processing Unit 121 Coordinate Setting Unit 122 Input Unit 123 Monitoring Target Identification Unit 124 Position Identification Unit 125 Abnormal Behavior Detection Unit 200 Monitoring device 400 Monitoring device 420 Arithmetic processing unit 421 Condition setting unit 422 Input unit 423 Monitoring target specifying unit 424 Position specifying unit 425 Abnormal behavior detecting unit 501 Floor surface 502 Wall surface 503 Display shelf

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

測距部を必要とせず、より簡単に監視を行うことができる監視装置を提供する。　撮影部１１０と、監視対象特定部１２３と、位置特定部１２４と、座標設定部１２１と、を備え、撮影部１１０は、撮影部１１０が撮影する映像光の光軸の向きを変更可能な駆動部１１４と、撮影部１１０が撮影する映像光の光軸の向きを検出可能な光軸検出部１１５と、を備え、座標設定部１２１は、複数の異なる光軸の向きにおいて撮影部１１０が撮影する複数の撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、光軸検出部１１５が検出した映像光の光軸の向きを用いて座標を設定し、位置特定部１２４は、座標設定部１２１が設定した座標に基づいて監視対象の位置を特定する監視装置１００とする。

Description

監視装置、監視システム、監視方法、監視プログラム
　本発明は、監視装置、監視システム、監視方法、監視プログラムに関するものである。
　従来、防犯や防災等の目的で監視カメラを用いた監視システムが利用されている。この種の監視システムでは、例えば店舗や商業施設、公共施設等の所定の監視対象領域や監視対象物に監視カメラを設置し、監視カメラで撮影された画像を用いて、異常状態や危険事象の発生の有無を監視する。
　監視システムとして、従来、監視領域の背景にメッシュモデルを適用して、監視に利用する技術が知られている（特許文献１参照）。
特許第５８９９５０６号公報
　しかし、特許文献１に開示されている技術では、測定対象までの距離を測定する測距部を設けて、この測距部で測定される距離に基づき、メッシュモデルを生成していた。特許文献１では、測距部として、赤外線や超音波、レーザ等を利用するものが例示されているが、いずれの構成であっても、測距部を設けることが必要であることから、装置やシステムの構造が複雑になったり、価格上昇の原因となったりしていた。
　本発明の課題は、測距部を必要とせず、より簡単に監視を行うことができる監視装置、監視システム、監視方法、監視プログラムを提供することである。
　本発明は、以下のような解決手段により、前記課題を解決する。
　（１）　撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定部と、前記監視対象特定部が特定した監視対象の実際の位置を前記撮影部が撮影した撮影画像に基づいて特定する位置特定部と、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部と、を備え、前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、を備え、前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する複数の撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視装置。
　（２）　前記座標設定部は、監視を実行するよりも先に、座標の設定を行う、（１）に記載の監視装置。
　（３）　前記座標設定部は、前記撮影部から床面又は地面までの距離と、前記撮影部が撮影する映像光の光軸の向きと、前記撮影部が撮影する撮影画像の画角とを用いて座標を設定する、（１）又は（２）に記載の監視装置。
　（４）　少なくとも前記撮影部から床面又は地面までの距離について、外部からの入力を受け付ける入力部を備える、（３）に記載の監視装置。
　（５）　前記入力部は、前記撮影部が撮影する映像光の光軸の向きの入力を受け付ける、（４）に記載の監視装置。
　（６）　前記座標設定部は、基準被写体を前記撮影部により撮影した撮影画像を用いて座標を設定する、（１）から（５）までのいずれかに記載の監視装置。
　（７）　前記基準被写体は、座標設定時に撮影範囲内に設置される寸法が既知の設定用被写体である、（６）に記載の監視装置。
　（８）　前記基準被写体は、座標設定時に撮影範囲内に含まれる背景物品である、（７）に記載の監視装置。
　（９）　当該監視装置を構成する部位のうちの少なくとも１つは、他の部位から離れた場所に配置されており、通信を介して接続されている、（１）から（８）までのいずれかに記載の監視装置。
　（１０）　複数の撮影部と、前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定部と、前記監視対象特定部が特定した監視対象の実際の位置を前記撮影部が撮影した撮影画像に基づいて特定する位置特定部と、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部を備え、前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、を備え、前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視システム。
　（１１）　前記座標設定部は、複数の前記撮影部が撮影する撮影画像における座標を同一の座標として共通化する、（１０）に記載の監視システム。
　（１２）　撮影部が撮影を行う撮影ステップと、監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、位置特定部が、前記監視対象特定部が特定した監視対象の実際の位置を特定する位置特定ステップと、座標設定部が、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定ステップと、を備え、前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、を備え、前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視方法。
　（１３）　前記座標設定ステップは、前記撮影部の設置後少なくとも１回行われ、前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われる、（１２）に記載の監視方法。
　（１４）　監視装置又は監視システムのコンピュータに、撮影部が撮影を行う撮影ステップと、監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、位置特定部が、前記監視対象特定部が特定した監視対象の実際の位置を特定する位置特定ステップと、座標設定部が、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を撮影画像に基づいて設定する座標設定ステップと、を実行させるための監視プログラムであって、前記撮影部は、前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、を備え、前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視プログラム。
　（１５）　前記座標設定ステップは、前記撮影部の設置後少なくとも１回行われ、前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われる、（１４）に記載の監視プログラム。
　本発明によれば、測距部を必要とせず、より簡単に監視を行うことができる監視装置、監視システム、監視方法、監視プログラムを提供することができる。
第１実施形態の監視装置１００の構成を示すブロック図である。 撮影部１１０が取り付けられている形態の一例を示す図である。 座標設定部１２１が座標設定を行うときに撮影される背景画像の一例を示す図である。 座標設定部１２１が設定した座標例を説明する図である。 第１実施形態の監視装置１００の動作の流れを示すフローチャートである。 第１実施形態における座標設定処理の動作の流れを示すフローチャートである。 監視撮影における撮影画像の一例を示す図である。 図７の撮影画像の例において、監視対象を検出して、その結果を座標のグリッドとともに撮影画像と重ねて表示した例である。 抽出した監視対象の骨格Ｂと座標のグリッドとを重ねて示した図である。 第２実施形態における座標設定処理の動作の流れを示すフローチャートである。 設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。 第３実施形態の監視装置２００の構成を示すブロック図である。 第３実施形態における座標設定処理の動作の流れを示すフローチャートである。 第４実施形態の監視装置４００の構成を示すブロック図である。 第４実施形態の監視装置４００の動作の流れを示すフローチャートである。 第４実施形態における条件設定処理の動作の流れを示すフローチャートである。 基準被写体と消失点を説明する図であり、撮影部１１０により撮影された画像に相当する。 撮影部１１０が取り付けられている形態を横方向から模式的に示す図である。 撮影部１１０と監視対象との関係を上方から見た状態として模式的に示す図である。 撮影部１１０と監視対象との関係を横方向から模式的に示す図である。 より詳細な説明を図１９に追加した図である。
　以下、本発明を実施するための最良の形態について図面等を参照して説明する。
　（第１実施形態）
　図１は、第１実施形態の監視装置１００の構成を示すブロック図である。尚、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。又、以下の説明では、具体的な構成を示して説明を行うが、これらは、適宜変更することができる。
　本実施形態の監視装置１００は、撮影部１１０と、演算処理部１２０とを備えている。以下では、監視装置１００は、撮影部１１０と演算処理部１２０とを離れた位置に別々に配置可能として構成した例を挙げて説明する。しかし、撮影部１１０と演算処理部１２０とを１つの監視装置としてまとめた構成としてもよい。
　図２は、撮影部１１０が取り付けられている形態の一例を示す図である。撮影部１１０は、監視対象領域を撮影する、いわゆる監視カメラである。図２には、撮影部１１０が天井に取り付けられている例を示したが、取り付け場所は、監視対象領域に応じて適宜変更可能である。本実施形態の撮影部１１０は、撮像素子１１１と、撮影レンズ１１２と、画像処理部１１３とを備えている。
　撮像素子１１１は、撮影レンズ１１２が結像する像を撮像して、画像処理部１１３へ送る。又、図２中には、撮影レンズ１１２の光軸（映像光の光軸）Ｏと、撮影範囲（角度θの範囲）と、を模式的に示した。尚、撮影範囲は、アスペクト比に応じて、上下、左右の各方向における実撮影範囲が異なるので、ここでは、理解を容易にするために図示したような撮影画面における上下方向の撮影範囲を角度θ（垂直方向画角）の範囲として示した。
　画像処理部１１３は、撮像素子１１１から出力されるデータを処理して画像データ化して、演算処理部１２０へ送信する。
　演算処理部１２０は、撮影部１１０から送信された画像データに対して、監視に必要な演算処理を行うものであり、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成したり、監視動作に特化した専用の装置として構成したりすることができる。いずれの構成においても、演算処理部１２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えており、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行可能である。又、演算処理部１２０内の構成として以下に説明する各部については、その一部を演算処理部１２０とは別の装置内に構成してもよい。
　演算処理部１２０は、撮影部１１０から画像データを受信可能なように撮影部１１０と接続されている。この接続には、専用の通信ケーブルを利用した有線接続としてもよいし、有線ＬＡＮを用いてもよい。さらに、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いてもよい。又、演算処理部１２０は、撮影部１１０の近傍に配置せずに、撮影部１１０から離れた遠隔地に配置してもよい。
　第１実施形態の演算処理部１２０は、座標設定部１２１と、入力部１２２と、監視対象特定部１２３と、位置特定部１２４と、異常行動検出部１２５とを備えている。
　座標設定部１２１は、撮影部１１０が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。座標設定部１２１のより詳しい説明は、後述する。
　入力部１２２は、撮影部１１０から床面又は地面までの距離（高さｈ）について、外部からの入力を受け付ける。又、入力部１２２は、撮影部１１０が撮影する映像光の光軸の向き（鉛直方向（Ｚ方向）に対する角度α）の入力を受け付ける。入力部１２２は、演算処理部１２０に設けられたキーボード等の汎用の入力装置を介して入力される値を受け付けてもよいし、設定値が保存された記憶媒体を介して入力される値を受け付けてもよいし、ネットワーク等を介して入力される値を受け付けてもよい。
　監視対象特定部１２３は、監視動作中に、撮影画像中の人物等を自動的に抽出して、これを監視対象として特定し、監視を続ける。位置特定部１２４は、監視対象特定部１２３が特定した監視対象の実際の位置を、座標設定部１２１が設定した座標に基づいて特定する。異常行動検出部１２５は、位置特定部１２４が特定した監視対象の実際の位置に基づいて、監視対象が異常行動を行っているか否かを判断する。監視対象特定部１２３、位置特定部１２４、異常行動検出部１２５の具体的な動作については、後述する。尚、上述の「監視対象の実際の位置」とは、「監視対象」が実際に存在している「監視領域」を構成する３次元空間内において、特定の座標で規定することができる監視対象の位置のことを言う。
　次に、座標設定部１２１が行う座標設定動作について、さらに詳しく説明する。上述したように、座標設定部１２１は、撮影部１１０が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。この座標設定部１２１が行う座標の設定は、監視を実行するよりも先に行われることが好ましい。より具体的には、座標設定部１２１が行う座標の設定は、例えば、監視装置１００を設置したときに適切に行われていることが好ましく、これにより、その後、撮影部１１０の配置を変更したりしない限り、再度の設定を不要とすることができる。
　この座標設定部１２１が設定する座標とは、撮影部１１０が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。すなわち、この設定される座標上の位置は、実寸法と関連付けて設定される。
　図３は、座標設定部１２１が座標設定を行うときに撮影される背景画像の一例を示す図である。図３に示した例では、床面５０１と、壁面５０２と、陳列棚５０３とが撮影画像中に含まれている。図３において、床面に平行な面をＸＹ平面とし、ＸＹ平面のうち図３中の左右方向をＸ方向とし、左右方向に直交する奥行方向をＹ方向とする。又、床面に垂直な鉛直方向をＺ方向とする。以下図４、図７～９、図１１においても同様である。
　撮影部１１０が撮影する撮影画像は、二次元の画像情報であることから、撮影画像中である位置を選択（特定）したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面、又は、地面上に実寸法と関連付けた座標を設定した上で、撮影画像中で選択（特定）する位置を、床面、又は、地面であると限定すれば、撮影画像中で選択（特定）された位置が実空間（監視領域）のどの位置の床面、又は、地面であるのかを特定可能となる。そこで、座標設定部１２１は、床面、又は、地面に対応させた座標を設定する。
　本実施形態の座標設定部１２１は、撮影部１１０から床面又は地面までの距離ｈと、撮影部１１０が撮影する映像光の光軸Ｏの向き（角度α）と、撮影部１１０が撮影する撮影画像の画角（θ）とを用いて座標を設定する。
　図２に示すように、撮影部１１０が撮影する撮影画像中における、中心位置に存在する床面又は地面の実際の中心位置ＰＯ、すなわち、撮影レンズ１１２の光軸Ｏが床面又は地面と交わる中心位置ＰＯは、幾何学的に特定可能である。具体的には、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができる。又、垂直方向画角θは、撮像素子１１１のサイズと撮影レンズ１１２の諸元から一義的に決まる既知の値であるので、中心位置ＰＯから撮影範囲の最近点Ｐ１までの距離Ｌ１と、中心位置ＰＯから撮影範囲の最遠点Ｐ２までの距離Ｌ２とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と実際の位置（実寸法、実距離）とを関連付けることができる。又、上述した奥行方向（図中のＹ方向）と同様に、左右方向（図中のＸ方向）についても、画像中の位置と実際の位置（実寸法、実距離）とを関連付けることができる。したがって、座標設定部１２１は、撮影画像中に実際の位置と関連付けされた座標を設定することが可能である。
　図４は、座標設定部１２１が設定した座標例を説明する図である。図４では、説明のために、図３の撮影画像にＹ方向及びＸ方向に実寸法において等間隔となるグリッドを重ねて示した。尚、このようにグリッドで領域を分割することは、一例であって、グリッド分けをせずに連続した座標が設定されている形態であってもよい。座標設定部１２１が設定する座標は、床面５０１（又は地面）が無限に広がっていると仮定して設定されるので、これを説明するために、あえて壁面５０２や陳列棚５０３等に対してもグリッドを重ねて表示した。撮影画像では、実寸法が同じであっても、近くの位置よりも遠くの位置の方が小さく見える。よって、設定された座標において、実寸法上で等間隔のグリッドは、遠方の方が小さくなるように設定される。このように、本実施形態の座標設定部１２１が設定する座標は、実際の位置（実寸法、実距離）と関連付けられている。
　上記説明では、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができると説明した。ここで、本実施形態の撮影部１１０は、赤外線等を照射して距離測定を行う距離測定部に相当する構成を備えていない。したがって、特に高さｈに関しては、監視装置１００が自動的に得られる値ではない。撮影部１１０が設置される高さは、監視を行う現場に応じて様々である。そこで、本実施形態の監視装置１００では、入力部１２２が高さｈの入力を受け付けることで、適切な高さｈを取得する。
　又、光軸Ｏの向きを特定可能な角度αについても、正しい値を取得する必要がある。ここで説明する第１実施形態の撮影部１１０は、光軸Ｏの向きを任意の向きに向けて設置が可能なように構成されているが、設置後は、光軸Ｏの向きに変化はない。そこで、本実施形態の監視装置１００では、角度αについても、入力部１２２が入力を受け付けることで、適切な角度αを取得する。尚、角度αについては、撮影部１１０の設置工事時に調整されるので、設置工事完了後に入力が行われる。その際、最終的な調整値を得ることができるように、例えば、撮影部１１０の向き調整機構に目盛を設けておけば、この目盛に応じた値を入力部１２２に入力することにより、適切な値を簡単に入力可能である。尚、光軸Ｏの向きを変更できない簡素な構成の撮影部１１０の場合には、この角度αは、その規定値を用いればよいので、入力部１２２による角度αの入力を省略することが可能である。
　次に、本実施形態の監視装置１００の動作について説明する。図５は、第１実施形態の監視装置１００の動作の流れを示すフローチャートである。ステップ（以下、Ｓとする）１１では、座標設定部１２１が、座標設定処理を行う。図６は、第１実施形態における座標設定処理の動作の流れを示すフローチャートである。Ｓ１０１では、入力部１２２が、高さｈと角度αの入力を受け付ける。Ｓ１０２では、座標設定部１２１が、座標を設定する座標設定処理を行い、座標設定処理を終了する。尚、第１実施形態では、上述したように、入力部１２２を用いて、高さｈと角度αの入力が行われれば、上述したように座標の演算自体は、容易であるので、ここでの重複する説明は省略する。
　Ｓ１２では、撮影部１１０が監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることができる。
　Ｓ１３では、監視対象特定部１２３が、監視対象を検出したか否かについて判断を行う。監視対象を検出した場合（Ｓ１３、Ｙｅｓ）には、Ｓ１４へ進み、監視対象が検出されていない場合（Ｓ１３、Ｎｏ）には、Ｓ１２へ戻り、監視動作を継続する。ここで、監視対象の検出の具体的な手法は、従来から公知の様々な手法のいずれか、又は、それらを組み合わせて用いることができる。ここでは、一例として、Ｚｈｅ　Ｃａｏ　他　Ｒｅａｌｔｉｍｅ　Ｍｕｌｔｉ－Ｐｅｒｓｏｎ　２Ｄ　Ｈｕｍａｎ　Ｐｏｓｅ　Ｅｓｔｉｍａｔｉｏｎ　ｕｓｉｎｇ　Ｐａｒｔ　Ａｆｆｉｎｉｔｙ　Ｆｉｅｌｄｓ，　ＣＶＰＲ　２０１７　に開示されている技術を用いた。この技術（以下、ＯｐｅｎＰｏｓｅと呼ぶ）では、二次元画像から人物の骨格を抽出することができる。
　Ｓ１４では、位置特定部１２４が、監視対象の位置を座標上で特定する。図７は、監視撮影における撮影画像の一例を示す図である。図８は、図７の撮影画像の例において、監視対象を検出して、その結果を座標のグリッドとともに撮影画像と重ねて表示した例である。尚、表示部は、監視装置１００において必須の要件ではないが、ここでは理解を容易にするために、表示例を示す。ＯｐｅｎＰｏｓｅを用いれば、撮影画像中から人物を抽出できるだけなく、図７に示すように人物の骨格Ｂを大まかにではあるが抽出できる。
　図９は、抽出した監視対象の骨格Ｂと座標のグリッドとを重ねて示した図である。位置特定部１２４は、図９に示すように、骨格Ｂの足下の位置が、どの座標にあるかによって、監視対象の位置を特定する。すなわち、抽出された骨格Ｂの足の先端部の位置を監視対象の足下の位置と推定して、この骨格Ｂの足の先端部の座標位置を、監視対象の位置であると特定する。図９中には、特定した座標の対応するグリッド位置にハッチングを付して示した。
　図５のフローチャートに戻って、Ｓ１５では、異常行動検出部１２５が、監視対象が異常行動を行っているか否かを判断する。異常行動を行っていると判断した場合（Ｓ１５、Ｙｅｓ）には、Ｓ１６へ進み、異常行動を行っていないと判断した場合（Ｓ１５、Ｎｏ）には、Ｓ１２へ戻る。例えば、異常行動検出部１２５は、監視対象が進入禁止の位置に浸入したことを検知したり、一定の位置に所定時間以上留まっていること、或いは、短時間のうちに一定の位置の周囲を徘徊する行動等、を検知したりした場合等に、異常行動を行っていると判断する。尚、異常行動検出部１２５の上記判断例は、簡単な構成を例示したに過ぎず、様々な条件の組み合せからより高度な異常行動の検出を行うことが可能である。
　Ｓ１６では、演算処理部１２０が、異常行動を検知した場合に行われる異常検知処理を行う。異常検知処理としては、従来から公知の様々な処理を適宜利用可能である。例えば、警告音を発したり、警告表示を行ったりするといった簡単な処理であってもよいし、管理者や警備会社等への通報をさらに行ってもよい。又、異常行動の種類やレベルに応じて、異常検知処理の内容を変更してもよい。
　Ｓ１７では、演算処理部１２０が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合（Ｓ１７、Ｙｅｓ）には、監視動作を終了し、それ以外の場合（Ｓ１７、Ｎｏ）には、Ｓ１２へ戻り、監視を継続する。尚、上述の説明では、簡単のため、監視対象を単数である例を挙げて説明したが、店舗等での使用を想定すると、監視対象は複数検出されることが通常である。したがって、本実施形態の監視装置１００においても、複数の監視対象に対して対応可能である。複数の監視対象が検出された場合には、例えば、Ｓ１３からＳ１７の動作を監視対象ごとに並列で処理を行う。
　以上説明したように、第１実施形態によれば、撮影部１１０に測距部を設けることなく、撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を撮影部１１０が撮影した撮影画像に基づいて設定することができる。よって、撮影システムの構成をより簡単にすることができる。そして、座標が設定されることにより、撮影画像のみから監視対象の位置を正確に把握することができ、簡易なシステムであっても精度の高い監視体制を実現できる。
　（第２実施形態）
　図１０は、第２実施形態における座標設定処理の動作の流れを示すフローチャートである。第２実施形態は、座標設定処理の動作が異なる他は、第１実施形態と同様な形態である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。第２実施形態において座標設定処理を開始すると、Ｓ２０１では、高さｈ及び角度αの入力を行うか否かを判断する。この判断は、例えば、不図示の表示部等を利用して、作業者による選択入力の結果に応じて行われる。入力を行う場合（Ｓ２０１、Ｙｅｓ）には、Ｓ２０２へ進み、入力を行わない場合（Ｓ２０１、Ｎｏ）には、Ｓ２０４へ進む。
　Ｓ２０２では、入力部１２２が、高さｈと角度αの入力を受け付ける。
　Ｓ２０３では、座標設定部１２１が、座標を設定する座標設定処理を行い、座標設定処理を終了する。尚、このＳ２０２，Ｓ２０３の動作は、第１実施形態のＳ１０１，Ｓ１０２と同様な処理である。
　Ｓ２０４では、演算処理部１２０が、基準被写体の撮影を行うか否かの判断を行う。この判断も、作業者による選択入力に基づいて行われる。入力を行う場合（Ｓ２０４、Ｙｅｓ）には、Ｓ２０５へ進み、入力を行わない場合（Ｓ２０４、Ｎｏ）には、Ｓ２０１へ戻る。ここで、基準被写体とは、予め形状及び寸法が既知の被写体であり、この基準被写体を撮影することにより、撮影画面内のどの位置で既知の寸法がどのように撮影されているかを演算することにより、高さｈと角度αの入力を行わなくても、精度の高い座標設定を行うことが可能である。又、基準被写体としては、座標設定用に作製された専用の設定用被写体であることが望ましいが、座標設定時に撮影範囲内に含まれる背景物品（例えば、陳列棚５０３）を基準被写体として利用してもよい。その場合には、基準被写体とする背景物品の実寸法や形状等を入力可能とするとよい。
　Ｓ２０５では、撮影部１１０が、基準被写体を含めて背景の撮影を行う。
　Ｓ２０６では、座標設定部１２１が、基準被写体に基づいて座標設定処理を行う。
　図１１は、設定用被写体を含めて背景の撮影を行った撮影画像を示す図である。図１１のように、床面に置かれた設定用被写体Ｓの形状及び寸法が既知であることから、撮影画像中で設定用被写体Ｓがどのような寸法で撮影されているのかに基づいて、床面又は地面と撮影部１１０との位置関係と撮影部１１０の向きを求めることができ、精度の高い座標を設定可能である。尚、図１１では、設定用被写体Ｓは、正方形に形成された単純なものを床面に沿って置く例を示した。特に正方形の設定用被写体Ｓを用いれば、撮影画像内で認識される設定用被写体Ｓの各辺の寸法差に基づいて、幅方向と奥行き方向の座標系を、より簡易な演算で高精度に設定することができる。これに限らず、例えば、自動検出用のマークや目盛等が設けられた形態としてもよいし、床面に垂直に立てて配置するものであってもよい。又、設定用被写体Ｓは、正方形に限らず、長方形や三角形等、他の形状であってもよい。
　第２実施形態によれば、基準被写体を座標設定に利用することができ、座標設定の作業をより簡単、かつ、精度よく行うことができる。
　（第３実施形態）
　図１２は、第３実施形態の監視装置２００の構成を示すブロック図である。第３実施形態の監視装置２００は、撮影部１１０に駆動部１１４と光軸検出部１１５とを備える点と、座標設定部１２１による座標設定の動作が異なる他は、第１実施形態の監視装置１００と同様な構成をしている。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
　上述したように、第３実施形態の撮影部１１０は、駆動部１１４と光軸検出部１１５とを備えている。
　駆動部１１４は、撮影部１１０の向きを移動させる駆動機構である。よって、駆動部１１４の駆動によって、撮影レンズ１１２の光軸Ｏの向き、すなわち、撮影される監視領域を変更させることができる。駆動部１１４の具体的な構成については、従来から様々な構成が公知であり、そのうちのどのような構成を採用してもよい。例えば、天井に取り付けられる撮影部１１０においては、鉛直方向に平行な軸まわりにおける回転（φｚ）と、この鉛直方向の軸に直交する方向の軸（水平方向に平行な軸、例えばＸ軸）まわりにおける回転（φｘ）との２つの回転を組み合わせる構成を採用すれば、広範囲の監視が可能である。
　光軸検出部１１５は、撮影レンズ１１２の光軸Ｏの向きを取得できるように構成されている。例えば、ロータリーエンコーダ等のセンサを備えたり、駆動部１１４の駆動用にステッピングモーターを用いていたりすることにより、撮影レンズ１１２の光軸Ｏの向きを取得可能である。
　図１３は、第３実施形態における座標設定処理の動作の流れを示すフローチャートである。第３実施形態では、第１実施形態のような高さｈと角度αの入力を行わず、複数回の撮影を行うことにより、座標設定を自動的に行うことが可能である。
　Ｓ３０１では、座標設定部１２１が、撮影部１１０を制御して第１の方向（φｘ１、φｚ１）に撮影部１１０を向ける。
　Ｓ３０２では、座標設定部１２１が、撮影部１１０を制御して撮影部１１０を第１の方向に向けたまま第１の撮影を行う。
　Ｓ３０３では、座標設定部１２１が、撮影部１１０を制御して第２の方向（φｘ２、φｚ２）に撮影部１１０を向ける。ここで、第２の方向は、第１の方向とは異なる方向であって、かつ、第１の方向と第２の方向とで共通の被写体が含まれていることが望ましい。さらに、この共通の被写体は、床面又は地面に近い位置にあることがさらに望ましい。
　Ｓ３０４では、座標設定部１２１が、撮影部１１０を制御して撮影部１１０を第２の方向に向けたまま第２の撮影を行う。
　Ｓ３０５では、座標設定部１２１が、第１の撮影及び第２の撮影のそれぞれで得られた撮影画像を用いて、座標設定を行う。このとき、第１の方向、及び、第２の方向のそれぞれにおいて、光軸検出部１１５の検出結果から、光軸Ｏの向きが正確にわかっているので、第１の撮影の撮影画像、及び、第２の撮影の撮影画像の双方に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化から、撮影部１１０が、床面又は地面とどのような位置関係にあるのかが演算により求めることができる。よって、座標設定部１２１は、上記２つの撮影結果から、正確に座標を設定可能である。尚、上記共通の被写体については、例えば、画像認識によって座標設定部１２１が自動的に共通被写体を設定して演算するように構成することができる。さらに、共通被写体として、第２実施形態に示した設定用被写体Ｓを組み合わせると、より精度の高い座標設定が可能である。又、ここでは、第１の方向と第２の方向の２方向それぞれの位置で撮影を行う例を示したが、より多くの方向で撮影を行って座標を設定してもよいし、駆動部１１４を駆動しながら連続的に撮影を行いながら座標を求めるようにしてもよい。
　第３実施形態によれば、入力操作を行ったり、基準被写体を配置したりすることなく、自動的に座標設定を行うことができ、より簡単に座標の設定を行うことができる。
　（第４実施形態）
　図１４は、第４実施形態の監視装置４００の構成を示すブロック図である。第４実施形態は、第１実施形態の座標設定部１２１が行なう座標設定に相当する処理を行なわずに、監視対象の実際の位置を特定するようにした形態である。前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
　第４実施形態の演算処理部４２０は、条件設定部４２１と、入力部４２２と、監視対象特定部４２３と、位置特定部４２４と、異常行動検出部４２５とを備えている。
　条件設定部４２１は、撮影部１１０の設置状況、より具体的には、地面（床面）と撮影部１１０の撮影範囲との位置関係の条件を設定する。
　　入力部４２２は、撮影部１１０から床面又は地面までの距離（高さｈ）について、外部からの入力を受け付ける。
　監視対象特定部４２３は、監視動作中に、撮影画像中の人物等を自動的に抽出して、これを監視対象として特定し、監視を続ける。
　位置特定部４２４は、監視対象特定部１２３が特定した監視対象の実際の位置を特定する。第４実施形態では、この位置特定部４２４の機能が、第１実施形態と大きく異なっている。
　異常行動検出部４２５は、位置特定部１２４が特定した監視対象の実際の位置に基づいて、監視対象が異常行動を行っているか否かを判断する。
　次に、本実施形態の監視装置４００の動作について説明する。図１５は、第４実施形態の監視装置４００の動作の流れを示すフローチャートである。Ｓ４１１では、条件設定部４２１が、条件設定処理を行う。図１６は、第４実施形態における条件設定処理の動作の流れを示すフローチャートである。
　Ｓ４２１では、入力部１２２が、高さｈの入力を受け付ける。
　Ｓ４２２では、条件設定部４２１が、消失点Ｖと、消失点Ｖから撮影部１１０へ引かれる仮想直線Ｌ０が床面（又は、地面）とのなす角度β０を求める。
　図１７は、基準被写体と消失点を説明する図であり、撮影部１１０により撮影された画像に相当する。本実施形態では、基準被写体として、図１７中の壁面Ｗを用いている。この壁面Ｗの上端部のラインＬ１と下端部のラインＬ２とは、実物では、両者が平行であって、かつ、水平に延在しているが、撮影画像中では、遠くに行くにしたがって両者の間の間隔が狭くなって撮影される。そして、これら２本のラインＬ１、Ｌ２を仮想的に図中の一点鎖線のように延長して交わる点が、消失点Ｖとなる。
　尚、ラインＬ１、Ｌ２の設定は、画像処理によって自動的、又は、基準被写体をオペレータが指定することによって半自動的に行なわれるようにしてもよいし、オペレータが撮影画像中の基準被写体に基づいて手動でラインを指定（ライン上の２点をマウス等のポインティングデバイス等により指定）してもよい。
　図１８は、撮影部１１０が取り付けられている形態を横方向から模式的に示す図である。尚、図１８を含め、以下の図中で、網点で塗りつぶした領域は、撮影部１１０の撮影範囲である。消失点Ｖが撮影画像中で特定できたら、その消失点Ｖの撮影画像中における縦方向の座標値を求める。以下、この撮影画像中における縦方向の座標をＳＹ座標、横方向の座標をＳＸ座標と呼び、実際の空間において設定したＸ座標、及び、Ｙ座標と区別することとする。したがって、ＳＹ座標、ＳＸ座標は、画素単位の数値で位置を表すことになる。消失点Ｖの撮影画像中における縦方向の座標値ＶＳＹを求めたら、以下の式により、角度β０を求めることができる。尚、角度β０は、監視対象のある床面又は地面の位置から撮影部１１０へ向けて引いた仮想線が床面となす角度である。
　β０＝θＹ－（Ｋ×ＶＳＹ）　・・・式（１）
　ここで、θＹは、撮影部１１０の縦方向（ＳＹ方向）の画角である。又、Ｋは、撮影部係数である。
　図１５に戻って、Ｓ４１２の監視撮影、及び、Ｓ４１３の監視対象検出の処理は、第１実施形態のＳ１２及びＳ１３と同様の処理を行なう。
　Ｓ４１４では、位置特定部１２４が、監視対象の実際の位置を特定する。監視対象の実際の位置を特定するためには、先ず、監視対象のＹ方向の実際の位置として、撮影部１１０直下から監視対象までのＹ方向の実際の距離ＬＹ（監視対象が人であれば、その足下までのＹ方向の距離）を求める。図１９は、撮影部１１０と監視対象との関係を上方から見た状態として模式的に示す図である。図２０は、撮影部１１０と監視対象との関係を横方向から模式的に示す図である。
　先ず、図１９、図２０中に示した距離ＬＹを、以下の式により求める。
　β１＝ＰＳＹ／（ＰＮＳＹ／θＹ）－β０　・・・式（２）
　ＬＹ＝ｈ／（ｔａｎ（β１））　・・・式（３）
　ここで、ＰＳＹは、撮影画像中の縦方向（ＳＹ方向）の座標値（画素数）であり、ＰＮＳＹは、撮影画像全体の縦方向（ＳＹ方向）の座標値（画素数）である。
　図２１は、より詳細な説明を図１９に追加した図である。Ｘ方向の位置を考慮するために、図２１に示す各寸法をさらに求める。先ず、撮影画像のＸ方向における中心線Ｏから監視対象のＳＸ方向の座標値（画素数）である画像中距離を求める。
　ＰＸ＝｜ＰＳＸ－（ＰＮＳＸ／２）｜　・・・式（４）
　ここで、ＰＳＸは、監視対象の撮影画像中の横方向（ＳＸ方向）の座標値（画素数）であり、ＰＮＳＸは、撮影画像全体の縦方向（ＳＹ方向）の座標値（画素数）である。
　次に、図２１中の角度β２を求める。尚、監視対象の床面又は地面から撮影部１１０直下へ向かって引いた仮想線がＸ軸（ＳＸ軸）となす角度である。
　β２＝９０－（ＰＸ×（θＸ／ＰＮＳＸ）　・・・式（５）
　ここで、θＸは、撮影部１１０のＸ方向における画角である。
　最後に、以下の式により、監視対象の床面又は地面から撮影部１１０直下までの距離ＬＰを求める。
　ＬＰ＝ＬＹ／ｓｉｎ（β２）　・・・式（６）
　このようにして、本実施形態の位置特定部４２４は、監視対象の位置を具体的に特定することができる。
　図１５のフローチャートに戻って、Ｓ４１５からＳ４１７の各処理を行なうが、これらの動作については、第１実施形態の図５におけるＳ１５からＳ１７と同様である。
　以上説明したように、第４実施形態によれば、より簡易的な手法により、正確に監視対象の位置を特定することができる。
　（変形形態）
　以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
　各実施形態において、撮影レンズ１１２の焦点距離については、固定焦点であることを前提として説明を行った。しかし、撮影レンズ１１２は、ズームレンズや多焦点レンズ等として、焦点距離（画角）を変更できる構成としてもよい。その場合、撮影レンズ１１２の撮影時の焦点距離を撮影レンズ１１２から演算処理部１２０が取得するようにするとよい。
　各実施形態において、撮影部１１０が１つ設けられていることを前提として説明を行ったが、撮影部１１０は、複数配置された監視システムとして構成してもよい。その場合、演算処理部１２０が複数の撮影部１１０を統括的に制御して、共通の座標を設定することにより、簡単な構成であっても、死角の少ない監視体制を構築可能である。
　各実施形態において、座標設定部１２１が設定する座標は、図４に示すようなＸＹ直交座標系である形態を例示した。これに限らず、例えば、座標設定部１２１が設定する座標は、円座標、円柱座標、球座標等の極座標系であってもよい。
　各実施形態において、撮影部１１０は、天井に固定されている例を挙げて説明した。これに限らず、例えば、撮影部１１０は、壁面や家具等、他の場所に固定されていてもよい。又、撮影部１１０は、監視領域内を移動可能な移動体（例えば、監視ロボット）に設けて、移動可能な構成となっていてもよい。座標が設定されれば、移動体（撮影部１１０）が移動しても、自らの存在する座標を逐次取得可能であり、座標を利用した監視動作を上記実施形態と同様にして行うことができる。
　各実施形態において、人物を監視対象として説明を行なった。これに限らず、例えば、監視対象は、動物であっても、物品等であってもよい。物品の場合は、例えば、一定時間、物品が放置された状態を検出したら、警報を行なう等することができる。
　各実施形態において、監視対象の実際の位置が具体的に把握可能であることから、画像中の監視対象、その他の寸法を容易に求めることが可能となる。したがって、例えば、監視対象の寸法等を求める機能等を監視装置に追加してもよい。例えば、監視対象の寸法を自動的に表示したり、複数の監視対象間の距離を表示したり、オペレータが指定した任意の２点間の距離を表示したりしてもよい。
　尚、各実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。又、本発明は以上説明した各実施形態によって限定されることはない。
１００　　監視装置
１１０　　撮影部
１１１　　撮像素子
１１２　　撮影レンズ
１１３　　画像処理部
１１４　　駆動部
１１５　　光軸検出部
１２０　　演算処理部
１２１　　座標設定部
１２２　　入力部
１２３　　監視対象特定部
１２４　　位置特定部
１２５　　異常行動検出部
２００　　監視装置
４００　　監視装置
４２０　　演算処理部
４２１　　条件設定部
４２２　　入力部
４２３　　監視対象特定部
４２４　　位置特定部
４２５　　異常行動検出部
５０１　　床面
５０２　　壁面
５０３　　陳列棚

Claims (15)

  1. 　撮影部と、
    　前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定部と、
    　前記監視対象特定部が特定した監視対象の実際の位置を前記撮影部が撮影した撮影画像に基づいて特定する位置特定部と、
    　前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部と、を備え、
    　前記撮影部は、
    　前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、
    　前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、
    　を備え、
    　前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する複数の撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、
    　前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視装置。
  2. 　前記座標設定部は、監視を実行するよりも先に、座標の設定を行う、請求項１に記載の監視装置。
  3. 　前記座標設定部は、前記撮影部から床面又は地面までの距離と、前記撮影部が撮影する映像光の光軸の向きと、前記撮影部が撮影する撮影画像の画角とを用いて座標を設定する、請求項１又は請求項２に記載の監視装置。
  4. 　少なくとも前記撮影部から床面又は地面までの距離について、外部からの入力を受け付ける入力部を備える、請求項３に記載の監視装置。
  5. 　前記入力部は、前記撮影部が撮影する映像光の光軸の向きの入力を受け付ける、請求項４に記載の監視装置。
  6. 　前記座標設定部は、基準被写体を前記撮影部により撮影した撮影画像を用いて座標を設定する、請求項１から請求項５までのいずれかに記載の監視装置。
  7. 　前記基準被写体は、座標設定時に撮影範囲内に設置される寸法が既知の設定用被写体である、請求項６に記載の監視装置。
  8. 　前記基準被写体は、座標設定時に撮影範囲内に含まれる背景物品である、請求項７に記載の監視装置。
  9. 　当該監視装置を構成する部位のうちの少なくとも１つは、他の部位から離れた場所に配置されており、通信を介して接続されている、請求項１から請求項８までのいずれかに記載の監視装置。
  10. 　複数の撮影部と、
    　前記撮影部が撮影した撮影画像中の監視対象を特定する監視対象特定部と、
    　前記監視対象特定部が特定した監視対象の実際の位置を前記撮影部が撮影した撮影画像に基づいて特定する位置特定部と、
    　前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定部を備え、
    　を備え、
    　前記撮影部は、
    　前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、
    　前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、
    　を備え、
    　前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、
    　前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視システム。
  11. 　前記座標設定部は、複数の前記撮影部が撮影する撮影画像における座標を同一の座標として共通化する、請求項１０に記載の監視システム。
  12. 　撮影部が撮影を行う撮影ステップと、
    　監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、
    　位置特定部が、前記監視対象特定部が特定した監視対象の実際の位置を特定する位置特定ステップと、
    　座標設定部が、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を前記撮影部が撮影した撮影画像に基づいて設定する座標設定ステップと、
    　を備え、
    　前記撮影部は、
    　前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、
    　前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、
    　を備え、
    　前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、
    　前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視方法。
  13. 　前記座標設定ステップは、前記撮影部の設置後少なくとも１回行われ、
    　前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われる、請求項１２に記載の監視方法。
  14. 　監視装置又は監視システムのコンピュータに、
    　撮影部が撮影を行う撮影ステップと、
    　監視対象特定部が、撮影画像中の監視対象を特定する監視対象特定ステップと、
    　位置特定部が、前記監視対象特定部が特定した監視対象の実際の位置を特定する位置特定ステップと、
    　座標設定部が、前記撮影部が撮影した撮影画像中の床面又は地面に相当する位置を実寸法と関連付けて特定可能な座標を撮影画像に基づいて設定する座標設定ステップと、
    　を実行させるための監視プログラムであって、
    　前記撮影部は、
    　前記撮影部が撮影する映像光の光軸の向きを変更可能な駆動部と、
    　前記撮影部が撮影する映像光の光軸の向きを検出可能な光軸検出部と、
    　を備え、
    　前記座標設定部は、複数の異なる前記光軸の向きにおいて前記撮影部が撮影する撮影画像に含まれている共通の被写体の形状、寸法、撮影画面中における位置の変化、及び、前記光軸検出部が検出した前記映像光の光軸の向きを用いて座標を設定し、
    　前記位置特定部は、前記座標設定部が設定した座標に基づいて監視対象の位置を特定する監視プログラム。
  15. 　前記座標設定ステップは、前記撮影部の設置後少なくとも１回行われ、
    　前記撮影ステップと、前記監視対象特定ステップと、前記位置特定ステップとは、繰り返し行われる、請求項１４に記載の監視プログラム。
PCT/JP2019/046144 2018-11-28 2019-11-26 監視装置、監視システム、監視方法、監視プログラム WO2020111053A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018222641A JP6581280B1 (ja) 2018-11-28 2018-11-28 監視装置、監視システム、監視方法、監視プログラム
JP2018-222641 2018-11-28

Publications (1)

Publication Number Publication Date
WO2020111053A1 true WO2020111053A1 (ja) 2020-06-04

Family

ID=68053495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046144 WO2020111053A1 (ja) 2018-11-28 2019-11-26 監視装置、監視システム、監視方法、監視プログラム

Country Status (2)

Country Link
JP (1) JP6581280B1 (ja)
WO (1) WO2020111053A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102126498B1 (ko) * 2019-11-15 2020-06-25 한국건설기술연구원 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템
WO2024201654A1 (ja) * 2023-03-27 2024-10-03 日本電気株式会社 監視装置、通信システム、監視方法、及び非一時的なコンピュータ可読媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138169A (ja) * 1994-11-10 1996-05-31 Nittan Co Ltd 炎検出装置および炎検出方法
JPH08263768A (ja) * 1995-03-09 1996-10-11 Nittan Co Ltd 炎検出装置および炎検出方法
JP2008293172A (ja) * 2007-05-23 2008-12-04 Toyota Central R&D Labs Inc 消失点推定装置及びプログラム
JP2013196387A (ja) * 2012-03-19 2013-09-30 Pioneer Electronic Corp 画像処理装置、及び画像処理方法
JP2015114930A (ja) * 2013-12-13 2015-06-22 ホーチキ株式会社 火災検知システム及び火災検知方法
JP2016004446A (ja) * 2014-06-17 2016-01-12 トヨタ自動車株式会社 動き推定装置
JP2016163254A (ja) * 2015-03-04 2016-09-05 三郎 山内 監視システム、監視方法、プログラム及びコンピュータ記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138169A (ja) * 1994-11-10 1996-05-31 Nittan Co Ltd 炎検出装置および炎検出方法
JPH08263768A (ja) * 1995-03-09 1996-10-11 Nittan Co Ltd 炎検出装置および炎検出方法
JP2008293172A (ja) * 2007-05-23 2008-12-04 Toyota Central R&D Labs Inc 消失点推定装置及びプログラム
JP2013196387A (ja) * 2012-03-19 2013-09-30 Pioneer Electronic Corp 画像処理装置、及び画像処理方法
JP2015114930A (ja) * 2013-12-13 2015-06-22 ホーチキ株式会社 火災検知システム及び火災検知方法
JP2016004446A (ja) * 2014-06-17 2016-01-12 トヨタ自動車株式会社 動き推定装置
JP2016163254A (ja) * 2015-03-04 2016-09-05 三郎 山内 監視システム、監視方法、プログラム及びコンピュータ記憶媒体

Also Published As

Publication number Publication date
JP6581280B1 (ja) 2019-09-25
JP2020088688A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
WO2020189313A1 (ja) 監視装置、監視システム、及び、監視方法
CN104902246B (zh) 视频监视方法和装置
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
JP5390813B2 (ja) 空間情報表示装置及び支援装置
JP6562437B1 (ja) 監視装置、及び、監視方法
TWI551137B (zh) 視域顯示系統、視域顯示方法及記錄有視域顯示程式之電腦可讀取記錄媒體
JP6712778B2 (ja) 物体検知装置、物体検知システムおよび物体検知方法
JP4780455B2 (ja) 映像監視装置及び方法
JP6512793B2 (ja) 撮像装置、監視カメラシステム、撮像装置の制御方法およびプログラム
JP2018180654A5 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020111053A1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP2020088840A (ja) 監視装置、監視システム、監視方法、監視プログラム
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
TW201205506A (en) System and method for managing security of a roof
JP3875199B2 (ja) 撮影装置
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
KR102257846B1 (ko) 입체 모델 생성 장치 및 그 영상 표시 방법
JP2020069572A (ja) ロボットシステム
JP2006033188A (ja) 監視装置および監視方法
KR101497396B1 (ko) 타겟 위치 측정시스템 및 이를 이용한 타겟 위치 측정방법
JP5007786B2 (ja) 映像監視装置及び方法
JP2694025B2 (ja) 架空送電線障害物接近検知装置
JP6022330B2 (ja) カメラシステム
JP2021197572A (ja) カメラ制御装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19891223

Country of ref document: EP

Kind code of ref document: A1