Nothing Special   »   [go: up one dir, main page]

WO2023162688A1 - 制御装置、制御方法、及び制御プログラム - Google Patents

制御装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2023162688A1
WO2023162688A1 PCT/JP2023/004220 JP2023004220W WO2023162688A1 WO 2023162688 A1 WO2023162688 A1 WO 2023162688A1 JP 2023004220 W JP2023004220 W JP 2023004220W WO 2023162688 A1 WO2023162688 A1 WO 2023162688A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
control
image
marker
control device
Prior art date
Application number
PCT/JP2023/004220
Other languages
English (en)
French (fr)
Inventor
和幸 板垣
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2024503001A priority Critical patent/JPWO2023162688A1/ja
Priority to CN202380023671.7A priority patent/CN118765497A/zh
Publication of WO2023162688A1 publication Critical patent/WO2023162688A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to a control device, control method, and control program.
  • Patent Document 1 when adjusting the position of a projected image in lens shift, a projected image including a test pattern is projected onto a projection surface, the projected image is moved in a first direction, the projected image is captured, and the captured image is captured. It is described that a change in a test pattern included in a projected image is detected, and if a change in the test pattern is detected, it is determined that the projected image has reached the edge of the projection plane.
  • US Pat. No. 5,200,003 discloses a projection having a first side and a second side extending parallel to the first side for producing a calibrated projected image on a projection surface. and the calibration structure having a constant height in the direction of the first or second side is arranged so as to follow the spatial extent of the projection surface.
  • One embodiment according to the technology of the present disclosure provides a control device, a control method, and a control program that can accurately adjust the projection position.
  • a control device is a control device comprising a processor, wherein the processor reproduces the projected image of the first image based on captured data of the projected image of the first image projected by the projection device. determining continuity, performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity, and performing the first control after the first control; performing second control for moving a boundary in the first direction of the projection range of the first image in a second direction opposite to the first direction by image processing until at least it is determined that the continuity exists. It is.
  • a control device is a control device comprising a processor, and the processor projects a plurality of two-dimensionally arranged marker images based on imaging data of projection images projected by a projection device. and performing first control for detecting the plurality of marker images and moving a boundary in the first direction of the projection range of the projection device in the first direction until at least part of the plurality of marker images are no longer detected. after the first control, moving the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected. is performed.
  • a control method includes a processor included in a control device, based on imaging data of a projection image of the first image projected by a projection device, determining continuity of the projection image of the first image, performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity; after the first control, at least the continuity is established; Second control is performed to move the projection range of the first image in a second direction opposite to the first direction by image processing until it is determined that there is.
  • a processor included in a control device projects a plurality of marker images two-dimensionally arranged based on imaging data of projection images of the plurality of marker images projected by a projection device. and performing first control to move a boundary in the first direction of the projection range of the projection device in the first direction until at least a part of the plurality of marker images is no longer detected, and performing the first control After that, second control is performed to move the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected.
  • a control program causes a processor included in a control device to determine continuity of a projected image of the first image based on imaging data of the projected image of the first image projected by a projection device, performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity; after the first control, at least the continuity is established; This is for executing a process of performing second control for moving the projection range of the first image in a second direction opposite to the first direction by image processing until it is determined that there is.
  • a control program causes a processor included in a control device to generate a plurality of marker images based on imaging data of projection images of a plurality of marker images arranged two-dimensionally, which are projected by a projection device. and performing first control to move a boundary in the first direction of the projection range of the projection device in the first direction until at least a part of the plurality of marker images is no longer detected, and performing the first control After that, performing a second control of moving the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected. It is for
  • FIG. 1 is a diagram showing an example of a projection device 10
  • FIG. 2 is a schematic diagram showing an example of an internal configuration of a projection unit 1
  • FIG. 1 is a schematic diagram showing an external configuration of a projection device 10
  • FIG. 5 is a schematic cross-sectional view of an optical unit 106 of the projection device 10 shown in FIG. 4.
  • FIG. 5 is a diagram showing an example of a hardware configuration of a computer 50
  • FIG. 5 is a flowchart showing an example of processing by a computer 50
  • 8 is a diagram (part 1) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 7;
  • FIG. 1 is a diagram showing an example of a projection device 10
  • FIG. 2 is a schematic diagram showing an example of an internal configuration of a projection unit 1
  • FIG. 1 is a schematic diagram showing an external configuration of a projection device 10
  • FIG. 5 is a schematic cross-sectional view of an optical unit 106 of the projection device 10 shown
  • FIG. 8 is a diagram (part 2) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 7;
  • FIG. 8 is a diagram (part 3) showing an example of changes in the projection state of the projection device 10 by the process shown in FIG. 7;
  • FIG. 8 is a diagram (part 4) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 7;
  • FIG. FIG. 8 is a diagram showing an example of projection of a content image onto a content projection range set by the process shown in FIG. 7;
  • 10 is a flowchart showing another example of content projection range determination processing 72.
  • FIG. 14A and 14B are diagrams (part 1) showing an example of changes in the projection state of the projection device 10 by the process shown in FIG.
  • FIG. 14 is a diagram (part 2) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 13;
  • FIG. 14 is a diagram (part 3) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 13;
  • FIG. 14 is a diagram (part 4) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 13;
  • FIG. FIG. 14 is a diagram (No. 5) showing an example of a change in the projection state of the projection device 10 by the process shown in FIG. 13;
  • FIG. 14 is a diagram (Part 1) showing an example of projection control when an S marker 130S cannot be detected in the processing of FIG. 13;
  • FIG. 14 is a diagram (part 2) showing an example of projection control when the S marker 130S cannot be detected in the processing of FIG. 13;
  • FIG. 14 is a diagram (part 3) showing an example of projection control when the S marker 130S cannot be detected in the processing of FIG. 13;
  • FIG. 11 is a diagram showing an example of a state in which projectionable range determination processing 71 is performed while the projectable range 11 is tilted.
  • FIG. 10 is a diagram showing another example of a state in which the projectable range determination process 71 is performed while the projectable range 11 is tilted;
  • FIG. 10 is a diagram (part 1) showing a specific example of determining whether or not a plurality of marker projection images exist on the same plane;
  • FIG. 11 is a diagram (part 2) showing a specific example of determining whether or not a plurality of projected marker images exist on the same plane;
  • FIG. 11 is a diagram (Part 1) showing an example of setting a content projection range with respect to an auxiliary line;
  • FIG. 11 is a diagram (part 2) showing an example of setting a content projection range with respect to an auxiliary line;
  • FIG. 13 is a diagram (part 3) showing an example of setting a content projection range with respect to an auxiliary line;
  • FIG. 12 is a diagram (part 4) showing an example of setting a content projection range with respect to an auxiliary line;
  • 3 is a schematic diagram showing another external configuration of the projection device 10.
  • FIG. 31 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. 30.
  • FIG. 1 is a diagram showing an example of a projection system 100 according to an embodiment.
  • projection system 100 includes projection device 10 , computer 50 , and imaging device 30 .
  • Computer 50 is an example of a control device in the present invention.
  • the computer 50 can communicate with the projection device 10 and the imaging device 30.
  • the computer 50 is connected to the projection device 10 via the communication cable 8 and can communicate with the projection device 10 .
  • the computer 50 is connected to the imaging device 30 via the communication cable 9 and can communicate with the imaging device 30 .
  • the projection device 10 is a projection device capable of projecting onto a projection target.
  • the imaging device 30 is an imaging device capable of capturing an image projected onto the projection target by the projection device 10 .
  • the projection system 100 is installed indoors, and the indoor wall 6a is the projection target.
  • the projection system 100 also projects the content image from the projection device 10 onto the wall 6a, and controls the projection device 10 so that the edge (eg, left edge) of the content image substantially coincides with the edge (eg, left edge) of the wall 6a. It is.
  • the top, bottom, left, and right of the wall 6a in FIG. 1 are the top, bottom, left, and right of the space in which the projection system 100 is installed.
  • the wall 6b is a wall adjacent to the left end of the wall 6a and perpendicular to the wall 6a.
  • the wall 6c is a wall adjacent to the right end of the wall 6a and perpendicular to the wall 6a.
  • the ceiling 6d is a ceiling adjacent to the upper end of the wall 6a and perpendicular to the wall 6a.
  • the floor 6e is a floor adjacent to the lower end of the wall 6a and perpendicular to the wall 6a.
  • the projection device 10 and the computer 50 are installed on the floor 6e. Alternatively, it may be installed on the walls 6b, 6c or the ceiling 6d using a mounting device. In the example of FIG. 1, the imaging device 30 is hand-held by a person (not shown).
  • a projectable range 11 illustrated by a dashed line is a range that can be projected by the projection device 10 .
  • FIG. 2 is a diagram showing an example of the projection device 10. As shown in FIG. Each projection device 10 is configured by the projection device 10 shown in FIG. 2, for example.
  • Projection device 10 includes projection unit 1 , control unit 4 , operation reception unit 2 , and communication unit 5 .
  • the projection unit 1 is configured by, for example, a liquid crystal projector or a projector using LCOS (Liquid Crystal On Silicon). In the following description, it is assumed that the projection unit 1 is a liquid crystal projector.
  • LCOS Liquid Crystal On Silicon
  • the control unit 4 controls projection by the projection device 10 .
  • the control unit 4 includes a control unit configured by various processors, a communication interface (not shown) for communicating with each unit, and a storage medium such as a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory). 4a, and controls the projection unit 1 in an integrated manner.
  • various processors of the control unit of the control unit 4 the circuit configuration is changed after manufacturing such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes programs and performs various processes.
  • Programmable Logic Device which is a processor, or dedicated electric circuit, etc., which is a processor having a circuit configuration specially designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) is included.
  • control unit of the control unit 4 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). may consist of
  • the operation reception unit 2 detects instructions from the user (user instructions) by receiving various operations from the user.
  • the operation reception unit 2 may be a button, key, joystick, or the like provided in the control unit 4 , or may be a reception unit or the like that receives a signal from a remote controller that remotely operates the control unit 4 .
  • the communication unit 5 is a communication interface capable of communicating with the computer 50.
  • the communication unit 5 may be a wired communication interface that performs wired communication as shown in FIG. 1, or a wireless communication interface that performs wireless communication.
  • the projection unit 1, the control unit 4, and the operation reception unit 2 are realized by, for example, one device (see FIGS. 4 and 5, for example).
  • the projection unit 1, the control unit 4, and the operation reception unit 2 may be separate devices that cooperate by communicating with each other.
  • FIG. 3 is a schematic diagram showing an example of the internal configuration of the projection unit 1.
  • the projection unit 1 of the projection device 10 shown in FIG. 2 includes a light source 21, a light modulation unit 22, a projection optical system 23, and a control circuit 24, as shown in FIG.
  • the light source 21 includes a light-emitting element such as a laser or an LED (Light Emitting Diode), and emits white light, for example.
  • the light modulation unit 22 modulates each color light emitted from the light source 21 and separated into three colors of red, blue, and green by a color separation mechanism (not shown) based on image information, and outputs each color image. It is composed of a liquid crystal panel (light modulation element) and a dichroic prism that mixes the respective color images emitted from the three liquid crystal panels and emits them in the same direction. Red, blue, and green filters may be mounted on these three liquid crystal panels, respectively, and the white light emitted from the light source 21 may be modulated by each liquid crystal panel to emit an image of each color.
  • the projection optical system 23 receives the light from the light source 21 and the light modulation section 22, and includes at least one lens and is configured by, for example, a relay optical system.
  • the light that has passed through the projection optical system 23 is projected onto the projection target (for example, the wall 6a).
  • a region of the projection object irradiated with light that passes through the entire range of the light modulation unit 22 is a projectable range 11 that can be projected by the projection unit 1 .
  • the size, position, and shape of the projection range of the projection unit 1 change in the projectable range 11. .
  • the control circuit 24 controls the light source 21, the light modulation unit 22, and the projection optical system 23 based on the display data input from the control unit 4, thereby displaying an image based on the display data on the projection object. project it.
  • the display data to be input to the control circuit 24 is composed of red display data, blue display data, and green display data.
  • control circuit 24 enlarges or reduces the projection range of the projection unit 1 by changing the projection optical system 23 based on commands input from the control unit 4 . Further, the control unit 4 may move the projection range of the projection unit 1 by changing the projection optical system 23 based on the user's operation received by the operation receiving unit 2 .
  • the projection device 10 also includes a shift mechanism that mechanically or optically moves the projection range of the projection unit 1 while maintaining the image circle of the projection optical system 23 .
  • the image circle of the projection optical system 23 is an area in which the projection light incident on the projection optical system 23 passes through the projection optical system 23 properly in terms of light falloff, color separation, peripheral curvature, and the like.
  • the shift mechanism is realized by at least one of an optical system shift mechanism that performs optical system shift and an electronic shift mechanism that performs electronic shift.
  • the optical system shift mechanism is, for example, a mechanism for moving the projection optical system 23 in a direction perpendicular to the optical axis (see, for example, FIGS. 5 and 31), or a mechanism for shifting the light modulation section 22 instead of moving the projection optical system 23. It is a mechanism that moves in the direction perpendicular to the axis. Further, the optical system shift mechanism may combine the movement of the projection optical system 23 and the movement of the light modulation section 22 .
  • the electronic shift mechanism is a mechanism that shifts the pseudo projection range by changing the light transmission range in the light modulation section 22 .
  • the projection device 10 may also include a projection direction changing mechanism that moves the projection range together with the image circle of the projection optical system 23 .
  • the projection direction changing mechanism is a mechanism that changes the projection direction of the projection unit 1 by changing the orientation of the projection unit 1 by mechanical rotation (see FIG. 20, for example).
  • FIG. 4 is a schematic diagram showing the external configuration of the projection device 10.
  • FIG. 5 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. FIG. 5 shows a cross section along the optical path of light emitted from the main body 101 shown in FIG.
  • the projection device 10 includes a main body 101 and an optical unit 106 protruding from the main body 101 .
  • the operation reception unit 2 , the control unit 4 , the light source 21 , the light modulation unit 22 and the control circuit 24 in the projection unit 1 , and the communication unit 5 are provided in the main unit 101 .
  • a projection optical system 23 in the projection unit 1 is provided in the optical unit 106 .
  • the optical unit 106 includes a first member 102 supported by the body portion 101 .
  • the optical unit 106 may be detachably attached to the main body 101 (in other words, replaceable).
  • the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG.
  • a light source 21 inside the housing 15 of the main unit 101 are a light source 21 and a light modulation unit 22 ( (see FIG. 3) is provided.
  • the light emitted from the light source 21 enters the light modulating section 22 of the light modulating unit 12, is spatially modulated by the light modulating section 22, and is emitted.
  • an image formed by the light spatially modulated by the light modulation unit 12 passes through the opening 15a of the housing 15, enters the optical unit 106, and is projected onto the projection target 6 (for example, the wall 6a). , and the image G1 becomes visible to the observer.
  • the optical unit 106 includes a first member 102 having a hollow portion 2A connected to the inside of the body portion 101, a first optical system 121 arranged in the hollow portion 2A, a lens 34, a first and a shift mechanism 105 .
  • the first member 102 is, for example, a member having a rectangular cross-sectional outline, and the opening 2a and the opening 2b are formed on planes parallel to each other.
  • the first member 102 is supported by the body portion 101 with the opening 2a arranged at a position facing the opening 15a of the body portion 101 .
  • Light emitted from the light modulating portion 22 of the light modulating unit 12 of the main body portion 101 enters the hollow portion 2A of the first member 102 through the openings 15a and 2a.
  • the incident direction of light entering the hollow portion 2A from the main body portion 101 is described as the direction X1, the direction opposite to the direction X1 is described as the direction X2, and the directions X1 and X2 are collectively described as the direction X.
  • the direction from the front to the back of the paper surface and the opposite direction are described as a direction Z.
  • the direction from the front to the back of the paper is described as a direction Z1
  • the direction from the back to the front of the paper is described as a direction Z2.
  • a direction perpendicular to the direction X and the direction Z is described as a direction Y.
  • the upward direction in FIG. 5 is described as a direction Y1
  • the downward direction in FIG. 5 is described as a direction Y2.
  • the projection device 10 is arranged such that the direction Y2 is the vertical direction.
  • the projection optical system 23 shown in FIG. 3 is composed of the first optical system 121 and the lens 34 in the example of FIG.
  • the optical axis K of this projection optical system 23 is shown in FIG.
  • the first optical system 121 and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 includes at least one lens, and guides the light incident on the first member 102 from the main body 101 and traveling in the direction X1 to the lens 34 .
  • the lens 34 is arranged at the end of the first member 102 so as to block the opening 2b formed at the end of the first member 102 on the direction X1 side.
  • the lens 34 projects the light incident from the first optical system 121 onto the projection object 6 .
  • the first shift mechanism 105 is a mechanism for moving the optical axis K of the projection optical system 23 (in other words, the optical unit 106) in a direction perpendicular to the optical axis K (direction Y in FIG. 5). Specifically, the first shift mechanism 105 is configured to change the position of the first member 102 in the direction Y with respect to the body portion 101 .
  • the first shift mechanism 105 may be one that moves the first member 102 manually, or one that moves the first member 102 electrically.
  • FIG. 5 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105. As shown in FIG. The first member 102 is moved in the direction Y2 by the first shift mechanism 105 from the state shown in FIG. , the image G1 projected onto the projection object 6 can be shifted (translated) in the direction Y2.
  • the first shift mechanism 105 may be a mechanism that moves the light modulation section 22 in the Y direction instead of moving the optical unit 106 in the Y direction. Even in this case, the image G1 projected onto the projection target 6 can be moved in the Y direction.
  • FIG. 6 is a diagram showing an example of the hardware configuration of the computer 50.
  • the computer 50 shown in FIG. 1 includes a processor 51, a memory 52, a communication interface 53, and a user interface 54, as shown in FIG.
  • Processor 51 , memory 52 , communication interface 53 and user interface 54 are connected by bus 59 , for example.
  • the processor 51 is a circuit that performs signal processing, such as a CPU that controls the entire computer 50 .
  • the processor 51 may be realized by other digital circuits such as FPGA and DSP (Digital Signal Processor). Also, the processor 51 may be realized by combining a plurality of digital circuits.
  • the memory 52 includes, for example, main memory and auxiliary memory.
  • the main memory is, for example, RAM (Random Access Memory).
  • the main memory is used as a work area for processor 51 .
  • Auxiliary memory is non-volatile memory such as magnetic disk, optical disk, flash memory, etc.
  • Various programs for operating the computer 50 are stored in the auxiliary memory. Programs stored in the auxiliary memory are loaded into the main memory and executed by the processor 51 .
  • auxiliary memory may include a portable memory removable from the computer 50.
  • Portable memories include memory cards such as USB (Universal Serial Bus) flash drives and SD (Secure Digital) memory cards, and external hard disk drives.
  • the communication interface 53 is a communication interface for communicating with the outside of the computer 50 (for example, the projection device 10 and the imaging device 30). Communication interface 53 is controlled by processor 51 .
  • the communication interface 53 may be a wired communication interface that performs wired communication, a wireless communication interface that performs wireless communication, or may include both a wired communication interface and a wireless communication interface.
  • the user interface 54 includes, for example, an input device that receives operation input from the user and an output device that outputs information to the user.
  • the input device can be implemented by, for example, a pointing device (eg mouse), a key (eg keyboard), a remote controller, or the like.
  • An output device can be realized by, for example, a display or a speaker. Also, the input device and the output device may be implemented by a touch panel or the like.
  • User interface 54 is controlled by processor 51 .
  • FIG. 7 is a flowchart showing an example of processing by the computer 50.
  • FIG. 8 to 11 are diagrams showing an example of changes in the projection state of the projection device 10 by the process shown in FIG.
  • FIG. 12 is a diagram showing an example of projection of a content image onto the content projection range set by the processing shown in FIG.
  • the computer 50 performs the processing shown in FIG. 7, for example.
  • the computer 50 controls the projection device 10 to project a marker grid image including a plurality of two-dimensionally arranged marker images (step S11). For example, as shown in FIG. 8, computer 50 causes projection device 10 to project marker grid image 80 .
  • the marker grid image 80 is an image containing 25 marker images arranged in a 5 ⁇ 5 matrix.
  • the 25 marker images included in marker grid image 80 are an example of the first image of the present invention. Although the 25 marker images included in the marker grid image 80 are actually different markers, they are all illustrated as the same marker (black rectangle).
  • a marker image 80 a is the marker image at the upper left corner of the marker grid image 80 .
  • a marker image 80 b is a marker image at the lower left end of the marker grid image 80 .
  • a marker grid projection image 81 shown in FIG. 8 is an image projected onto the projectable range 11 of the projection target (for example, the wall 6a) by projecting the marker grid image 80 from the projection device 10.
  • FIG. The marker projection images 81a and 81b are projection images corresponding to the marker images 80a and 80b, respectively.
  • Projectable range determination processing 71 is an example of the first control of the present invention.
  • the computer 50 first performs control to cause the imaging device 30 to capture a projection image of the marker grid image projected in step S11 (for example, the marker grid projection image 81 in FIG. 8) (step S12). ).
  • the control for capturing the projected image by the imaging device 30 will be described later.
  • the computer 50 performs marker detection processing for detecting 25 marker images included in the marker grid image 80 from the imaging data obtained by imaging in step S12 (step S13).
  • Various image recognition processes can be used for the marker detection process.
  • the computer 50 determines whether detection of at least one of all marker images included in the marker grid image 80 has failed in the marker detection process of step S13 (step S14). If all marker images have been successfully detected (step S14: No), the computer 50 shifts the projectable range 11 leftward by a predetermined first unit amount ⁇ 1 by shifting the optical system (step S15). , the process returns to step S12.
  • the leftward direction in this case is an example of the first direction of the present invention.
  • the marker grid projection image 81 is in the state shown in FIG. 9, for example. Specifically, the left end of the marker grid projection image 81 protrudes from the wall 6a and is projected onto the wall 6b. It is in a state of straddling the boundary with 6b. When the planarity of the marker image is lost in this manner, marker detection is generally difficult because the shape of the marker cannot be restored by projective transformation or the like in image recognition processing. Therefore, detection of these marker images fails in the marker detection process of step S13.
  • the marker images 80a and 80b are markers (ArUco markers) as shown in FIG. In this case, in the imaging data obtained in the state of FIG. 9, the projected marker images 81a and 81b have greatly deformed shapes as shown in FIG.
  • the computer 50 ends the projectable range determination process 71 and performs a content projection range determination process 72 for determining the content projection range for projecting the content image within the projectable range 11 .
  • the content projection range determination process 72 is an example of the second control of the present invention.
  • the computer 50 first causes the imaging device 30 to capture the projected image of the marker grid image projected in step S11 (for example, the marker grid projected image 81 in FIG. 9), as in step S12. Control is performed (step S16).
  • the computer 50 performs marker detection processing for detecting 25 marker images included in the marker grid image 80 from the imaging data obtained by imaging in step S16 (step S17).
  • the marker detection process may be performed based on one frame of imaging data, or may be performed based on a plurality of frames of imaging data.
  • step S18 determines whether all marker images included in the marker grid image 80 have been successfully detected by the marker detection process in step S17 (step S18). If the detection of at least one of the marker images fails (step S18: No), the computer 50 electronically shifts the marker image of the marker grid image 80 rightward by a predetermined second unit amount ⁇ 2 (step S19) and returns to step S16.
  • the second unit amount ⁇ 2 is a unit amount smaller than the first unit amount ⁇ 1.
  • the second unit amount ⁇ 2 may be, for example, a shift amount for one pixel, or may be a shift amount for a plurality of pixels. Further, the user may be able to set the second unit amount ⁇ 2.
  • the rightward direction in this case is an example of the second direction of the present invention.
  • step S18 if all marker images have been successfully detected (step S18: Yes), the marker grid projection image 81 is in the state shown in FIG. 11, for example. Specifically, the left end of the marker projection image of the left end of the marker grid projection image 81 is in a state of being substantially aligned with the left end of the wall 6a.
  • the computer 50 sets the content projection range 80c based on the positions of the ends of the marker images included in the current marker grid image 80 (step S20), and ends the content projection range determination processing 72.
  • step S20 for example, as shown in FIG. 11, the computer 50 adjusts the content projection range so that the left edge position of the leftmost marker image of the current marker grid image 80 coincides with the left edge position of the content projection range 80c. 80c.
  • the computer 50 controls the projection device 10 to project the content image onto the content projection range 80c set in step S20.
  • the computer 50 controls the projection device 10 to project a projection image 110 in which the content image 110a is arranged in the content projection range 80c.
  • the content image 110a is geometrically transformed (for example, reduction processing) in accordance with the content projection range 80c, and the geometrically transformed content image 110a is projected from the projection device 10.
  • a projected image 111 is a projected image corresponding to the projected image 110 .
  • the content projection image 111a is a projection image corresponding to the content image 110a. As shown in FIG. 12, the left edge of the projected content image 111a substantially coincides with the left edge of the wall 6a.
  • the computer 50 performs control for outputting a message prompting the imaging device 30 to capture a projected image by projection by the projection device 10, display by the computer 50 or the imaging device 30, or output by voice.
  • the control of causing the imaging device 30 to capture the projected image may be, for example, control of transmitting a control signal instructing imaging to the imaging device 30 .
  • the computer 50 receives from the imaging device 30 captured data of the projection image obtained by the imaging in steps S12 and S16.
  • the transmission of the imaging data by the imaging device 30 may be automatically performed by the imaging device 30 triggered by imaging by the imaging device 30, or may be performed by a user operation after imaging by the imaging device 30. good too.
  • imaging by the imaging device 30 may be performed automatically.
  • the imaging device 30 repeatedly performs imaging (for example, video imaging), and the computer 50 acquires the imaging data at that time from the imaging device 30 in steps S12 and S16.
  • the computer 50 projects the first image (the plurality of marker images included in the marker grid image 80) projected by the projection device 10 based on the imaging data of the projection image (marker grid projection image 81). Determine the continuity of the projected image of the image.
  • the continuity of the projection image of the first image can be determined, for example, by using a plurality of marker images arranged two-dimensionally as the first image and detecting those marker images based on the imaging data. .
  • the computer 50 moves the boundary in the first direction (for example, the left direction) of the projection range (projectable range 11) by the projection device 10 in the first direction until it is determined that there is no continuity.
  • Control projectable range determination processing 71
  • the edge of the projection range of the projection device 10 can be set to a state in which it slightly protrudes from the edge of the continuous projection target range (the wall 6a).
  • the computer 50 performs image processing to shift the projection range of the first image in a second direction opposite to the first direction (for example, rightward) until it is determined that there is continuity.
  • a second control for movement (content projection range determination processing 72) is performed.
  • the continuous projection target range can be used for projecting the content image without waste.
  • equipment costs and workload can be reduced compared to methods that use detection devices capable of spatial recognition, such as depth cameras and LiDAR (Light Detection And Ranging), and fixing members such as tripods to fix them. can be done.
  • detection devices capable of spatial recognition such as depth cameras and LiDAR (Light Detection And Ranging)
  • fixing members such as tripods to fix them. can be done.
  • adjustment can be performed using the handheld image pickup device 30 .
  • Control for shifting the projection range by the projection device 10 has been described as control for moving the boundary in the first direction (left direction) of the projection range (projectable range 11) by the projection device 10 in the first direction.
  • the computer 50 expands the projection range of the projection device 10 or expands and shifts the projection range of the projection device 10 to move the boundary of the projection range of the projection device 10 in the first direction in the first direction. You can move it.
  • control for shifting the content projection range 80c has been described as control for moving the boundary of the content projection range 80c in the first direction (left direction) in the second direction (right direction) by image processing.
  • the computer 50 reduces the content projection range 80c by image processing, or by reducing and shifting the content projection range 80c by image processing, thereby reducing the first direction (left direction) boundary of the content projection range 80c. It may be moved in the second direction (rightward).
  • the left end of the content projection range 80c is adjusted to match the left end of the wall 6a
  • the upper end of the content projection range 80c may be adjusted to match the upper end of the wall 6a
  • the right end of the content projection range 80c may be adjusted to the right end of the wall 6a.
  • the bottom end of the content projection range 80c can be aligned with the bottom end of the wall 6a.
  • the left end of the content projection range 80c is aligned with the left end of the wall 6a while maintaining the lateral optical shift position and the electronic shift position.
  • the left end of the content projection range 80c can be aligned with the left end of the wall 6a
  • the upper end of the content projection range 80c can be aligned with the upper end of the wall 6a.
  • the adjustment to align the left end of the content projection range 80c with the left end of the wall 6a and the adjustment to align the upper end of the content projection range 80c with the upper end of the wall 6a may be performed in parallel (see FIG. 13, for example). .
  • the projectable range 11 is expanded so that the top, bottom, left, and right ends of the projectable range 11 of the projection device 10 protrude from the wall 6a
  • the content projection range 80c is reduced. may be adjusted so that the top, bottom, left, and right edges of the content projection range 80c are aligned with the top, bottom, left, and right edges of the wall 6a.
  • the range of the wall 6a and the range of the content projection image 111a are substantially matched, enabling more effective spatial rendering.
  • FIG. 13 is a flow chart showing another example of the content projection range determination process 72.
  • FIG. 14 to 18 are diagrams showing an example of changes in the projection state of the projection device 10 by the process shown in FIG. 13.
  • FIG. Here, a case will be described in which the upper left end of the content projection image is matched with the upper left end of the wall 6a.
  • the computer 50 may execute the content projection range determination process 72 shown in FIG. 13, for example.
  • the computer 50 causes the projection device 10 to project the marker grid image 130 as shown in FIG.
  • the marker grid image 130 is an image including four marker images arranged in a 2 ⁇ 2 matrix near the upper left corner.
  • the four marker images included in marker grid image 130 are an example of the first image of the present invention. Although the four marker images included in the marker grid image 130 are actually different markers, they are all illustrated as the same marker (black rectangle).
  • the upper left marker image is the C marker 130C (corner marker)
  • the upper right marker image is the H marker 130H (horizontal movement instruction marker)
  • the lower left marker image is the V marker.
  • 130V longitudinal movement indicating marker
  • the lower right marker image is S marker 130S (start marker).
  • a marker grid projection image 131 shown in FIG. 14 is an image projected onto the projectable range 11 of the projection target (for example, the wall 6a) by projecting the marker grid image 130 from the projection device 10.
  • FIG. A C marker projection image 131C, a V marker projection image 131V, an H marker projection image 131H, and an S marker projection image 131S are projection images corresponding to the C marker 130C, V marker 130V, H marker 130H, and S marker 130S, respectively.
  • the computer 50 performs the projectable range determination processing 71 shown in FIG. 7 for each of the left direction and the upward direction.
  • the computer 50 first performs leftward projectable range determination processing 71, so that the C marker projected image 131C and the V marker projected image 131V straddle different planes (walls 6a and 6b).
  • the projectable range determination processing 71 in the left direction ends.
  • the computer 50 uses the H marker 130H and the S marker 130S for which detection has not failed to perform upward projectable range determination processing 71 so that the H marker projected image 131H is also on another plane (the wall 6a and When the camera straddles the ceiling 6d) and fails to detect the H marker 130H, the upward projectable range determination process 71 ends.
  • the projectable range 11 protrudes leftward and upward from the wall 6a, for example, as shown in FIG. In this state, only the S marker projection image 131S does not straddle another plane, and the S marker 130S can be detected. 15 to 21, illustration of the projectable range 11 is omitted.
  • the computer 50 executes the content projection range determination process 72 shown in FIG. 13, for example.
  • Steps S31-S32 shown in FIG. 13 are the same as steps S16-S17 shown in FIG.
  • the computer 50 determines whether or not the S marker 130S is detected by the marker detection process of step S32 (step S33). If the S marker 130S is not detected (step S33: No), the computer 50 returns to step S31.
  • step S33 If the S marker 130S is detected in step S33 (step S33: Yes), the computer 50 determines whether or not the C marker 130C is detected by the marker detection process in step S32 (step S34). When the C marker 130C is not detected (step S34: No), the computer 50 determines whether or not only the S marker 130S and the H marker 130H are detected by the marker detection processing of step S32 (step S35). .
  • step S35 If only the S marker 130S and the H marker 130H are not detected in step S35 (step S35: No), the computer 50 determines whether only the S marker 130S and the V marker 130V are detected by the marker detection process in step S32. It is determined whether or not (step S36).
  • step S36 If only the S marker 130S and the V marker 130V are not detected in step S36 (step S36: No), only the S marker 130S is detected, that is, the state shown in FIG. 15, for example.
  • the computer 50 electronically shifts the marker image of the marker grid image 130 downward and downward by a predetermined second unit amount ⁇ 2 (step S37), and returns to step S31.
  • step S35 if only the S marker 130S and the H marker 130H are detected (step S35: Yes), for example, as shown in FIG. 6a, but the projected C marker image 131C and the projected V marker image 131V protrude from the wall 6a to the left.
  • computer 50 electronically shifts the marker image of marker grid image 130 rightward by a predetermined second unit amount ⁇ 2 (step S38), and returns to step S31.
  • step S36 if only the S marker 130S and the V marker 130V are detected (step S36: Yes), as shown in FIG. 6a, but the C marker projection image 131C and the H marker projection image 131H protrude upward from the wall 6a.
  • the computer 50 electronically shifts the marker image of the marker grid image 130 downward by a predetermined second unit amount ⁇ 2 (step S39), and returns to step S31.
  • step S34 when the C marker 130C is detected (step S34: Yes), as shown in FIG.
  • the left ends of the projected marker image 131V and the projected V marker image 131V are aligned with the left end of the wall 6a.
  • the computer 50 sets the content projection range 130c based on the position of at least one of the C marker 130C, V marker 130V, H marker 130H, and S marker 130S (step S40), and performs content projection range determination processing 72. exit.
  • step S40 for example, the computer 50, for example, as shown in FIG. 18, renders the content so that the left end of at least one of the current C marker 130C and V marker 130V is the left end of the content projection range 130c.
  • a projection range 130c is set.
  • the computer 50 sets the content projection range 130c such that the position of the upper end of at least one of the current C marker 130C and the current H marker 130H is the position of the upper end of the content projection range 130c.
  • the computer 50 uses the detection of the S marker 130S as a trigger to determine whether the H marker 130H and the V marker 130V exist, while determining the presence or absence of the C marker 130C and the V marker 130V. , H marker 130H, and S marker 130S are repeatedly performed until the C marker 130C (corner) is detected.
  • the computer 50 controls the projection device 10 to project the content image onto the content projection range 130c set in step S40.
  • the projection of the content image onto the content projection range 130c is similar to the projection of the content image onto the content projection range 80c shown in FIG.
  • the upper left corner of the content projection image is substantially aligned with the upper left corner of the wall 6a.
  • step S37 if only the S marker 130S and the H marker 130H were detected in the previous loop, the computer 50 electronically shifts the marker image of the marker grid image 130 to the right in the same way as in step S38, and If only the S marker 130S and the V marker 130V are detected in the loop of (1), the marker image of the marker grid image 130 may be electronically shifted downward as in step S39.
  • the computer 50 sets the positional relationship of the C marker 130C, the V marker 130V, the H marker 130H, and the S marker 130S as shown in FIGS. Assume that the example is horizontally reversed.
  • the direction of the electronic shift is left in step S38 of FIG. 13, and left down in step S37.
  • the computer 50 may perform the projectable range determination process 71 and the content projection range determination process 72 for each of the multiple directions, with multiple directions different from each other as the first directions. At this time, the computer 50 performs content projection range determination processing 72 for a plurality of directions based on detection processing for a plurality of different marker images. This enables efficient adjustment in a plurality of directions.
  • FIG. 19 to 21 are diagrams showing an example of projection control when the S marker 130S cannot be detected in the process of FIG.
  • the S marker projection image 131S also straddles another plane (the wall 6a, the wall 6b, and the ceiling 6d)
  • the S marker 130S is not detected in steps S31 to S33 of FIG. Become.
  • steps S31 to S33 of FIG. 13 if the S marker 130S is not detected for a certain period of time or longer, the computer 50 adds a marker image of the marker grid image 130 as shown in FIG. 20, for example.
  • the computer 50 adds one column of marker images to the right and one row of marker images below the example marker grid images 130 of FIGS.
  • a marker grid image 130 containing nine marker images is projected from the projection device 10 .
  • the computer 50 sets the lower right marker image as a new S marker 130S, the marker image above the S marker 130S as a new H marker 130H, and the left marker of the S marker 130S.
  • Let the image be the new V marker 130V and let the center marker image be the new marker grid image 130 . That is, the C marker 130C, the V marker 130V, the H marker 130H, and the S marker 130S are shifted to the lower right with respect to the examples of the marker grid images 130 in FIGS.
  • the S marker 130S can be detected, and the state shown in FIG. 21, for example, can be achieved by the processing shown in FIG.
  • the computer 50 sets the content projection range 130c based on the position of at least one of the new C marker 130C, V marker 130V, H marker 130H, and S marker 130S.
  • the computer 50 may perform processing for adding a marker image when none of the plurality of marker images is detected in the content projection range determination processing 72. As a result, even if none of the plurality of marker images are detected by the content projection range determination processing 72, some of the marker images can be detected.
  • FIG. 22 is a diagram showing an example of a state in which the projectable range determination process 71 is performed while the projectable range 11 is tilted.
  • FIG. 23 is a diagram showing another example of a state in which the projectable range determination process 71 is performed while the projectable range 11 is tilted.
  • the projection device 10 is not placed horizontally or the boundary between the wall 6a and the wall 6b is tilted, as shown in FIG. It becomes tilted.
  • the projectable range determination process 71 When the projectable range determination process 71 is executed in this state, only a part of the marker projection images 81d to 81h corresponding to the five marker images 80d to 80h on the left end of the marker grid image 80 are projected onto the wall 6a. It can be in a state of straddling the boundary of the wall 6b.
  • the lower two marker projection images 81g and 81h straddle the boundary between the wall 6a and the wall 6b as expected, but the upper three marker projection images 81d to 81f are projected only on the wall 6b. is projected onto
  • the marker projection images 81d to 81f projected only on the wall 6b may be detected in the marker detection process based on the imaging data by the imaging device 30.
  • V marker projection image 131V is projected only on the wall 6b without straddling the boundary between the walls 6a and 6b, and all of the C marker 130C, V marker 130V, H marker 130H, and S marker 130S are detected. .
  • the S marker 130S and the C marker 130C are detected, so the content projection range determination process 72 ends at that point, and the position protruding from the wall 6b is moved to the left end of the content projection range 130c. It is possible to set it.
  • the computer 50 uses, for example, information on each vertex of the C marker projection image 131C and the S marker projection image 131S to determine whether or not these marker projection images exist on the same plane.
  • 24 and 25 are diagrams showing specific examples of determining whether or not a plurality of marker projection images exist on the same plane.
  • a straight line 241 in FIG. 24 is a straight line connecting the upper left end and the upper right end of the C marker projection image 131C in the imaging data obtained by the imaging device 30 .
  • a straight line 242 in FIG. 24 is a straight line connecting the upper left end and the upper right end of the S marker projection image 131S in the imaging data obtained by the imaging device 30 .
  • a straight line 251 in FIG. 25 is a straight line connecting the upper right end and the lower right end of the C marker projection image 131C in the imaging data obtained by the imaging device 30 .
  • a straight line 252 in FIG. 25 is a straight line connecting the upper right end and the lower right end of the S marker projection image 131S in the imaging data obtained by the imaging device 30 .
  • the computer 50 calculates a straight line 241 based on the detection result of the C marker projection image 131C by the marker detection process, and calculates a straight line 242 based on the detection result of the S marker projection image 131S by the marker detection process. Then, the computer 50 calculates the angle between the straight line 241 and the straight line 242, and determines that the C marker projected image 131C and the S marker projected image 131S do not exist on the same plane if the calculated angle is equal to or greater than a predetermined value. do. In this case, for example, in the processing shown in FIG. 13, the computer 50 makes each judgment assuming that the C marker 130C is not detected.
  • the computer 50 also calculates a straight line 251 based on the detection result of the C marker projection image 131C by the marker detection process, and calculates a straight line 252 based on the detection result of the S marker projection image 131S by the marker detection process. Then, the computer 50 calculates the angle between the straight line 251 and the straight line 252, and determines that the C marker projected image 131C and the S marker projected image 131S do not exist on the same plane if the calculated angle is equal to or greater than a predetermined value. You may In this case, for example, in the processing shown in FIG. 13, the computer 50 makes each judgment assuming that the C marker 130C is not detected.
  • the computer 50 determines whether the projected H marker image 131H and the projected V marker image 131V are aligned with the projected S marker image 131S. , and the marker image corresponding to the marker projection image determined not to exist on the same plane as the S marker projection image 131S is detected in the processing shown in FIG. Each judgment is made as if it were not.
  • the computer 50 determines the continuity of the plurality of marker images based on the result of image processing to determine whether or not the marker images detected by the marker detection processing among the plurality of marker images are projected onto the same plane. You can judge. As a result, the continuity of a plurality of marker images can be correctly determined even if some of the marker images pass through the boundary between the planes and do not straddle the boundary between the planes, for example, due to the projectable range determination processing 71. can.
  • ⁇ Set content projection range for auxiliary lines> 26 to 29 are diagrams showing an example of setting a content projection range for auxiliary lines. Although the adjustment for matching the ends of the content projection ranges 80c and 130c with the ends of the wall 6a, that is, the ends of the physical plane has been described, the adjustment of the content projection ranges 80c and 130c is not limited to this.
  • a laser marking device 260 shown in FIG. 26 is a device that irradiates laser light onto walls 6a, 6b, 6c, ceiling 6d, and floor 6e to display reference lines such as "horizontal” and "vertical".
  • a reference line 261 is a reference line displayed on the wall 6a, the ceiling 6d, and the floor 6e by irradiation of laser light from the laser marking device 260.
  • FIG. A reference line 262 is a reference line displayed on the wall 6a, the wall 6b, and the wall 6c by irradiation of laser light from the laser marking device 260.
  • the computer 50 can also make adjustments so that the ends of the content projection ranges 80c and 130c are aligned with the reference lines 261 and 262.
  • the colors of the marker images of the marker grid images 80 and 130 projected from the projection device 10 are the same as or similar to the colors of the reference lines 261 and 262 .
  • the computer 50 sets the content projection range 80c as in the example of FIG. Then, the computer 50 controls the projection device 10 to project the projection image 110 in which the content image 110a is arranged in the content projection range 80c. As a result, the state shown in FIG. 29 is obtained.
  • the computer 50 can adjust the ends of the content projection ranges 80c and 130c in addition to the ends of the physical plane.
  • the adjustment for matching the ends of the content projection ranges 80c and 130c with the ends of the reference line 261 and the reference line 262 by the laser marking device 260 has been described.
  • the line 262 for example, by attaching a line tape of the same or similar color to the marker image on the wall 6a, it is also possible to adjust the ends of the content projection ranges 80c and 130c to coincide with the ends of the line tape. .
  • FIG. 30 is a schematic diagram showing another external configuration of the projection device 10.
  • FIG. 31 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. 30.
  • the optical unit 106 includes a second member 103 supported by the first member 102 in addition to the first member 102 supported by the body portion 101 .
  • the first member 102 and the second member 103 may be an integrated member.
  • the optical unit 106 includes, in addition to the first member 102, a second member 103 having a hollow portion 3A connected to the hollow portion 2A of the first member 102, and a first member 103 arranged in the hollow portion 2A.
  • the openings 2a and 2b of the first member 102 are formed on planes perpendicular to each other.
  • the projection optical system 23 shown in FIGS. It is configured by the third optical system 33 .
  • the optical axis K is folded back by being bent twice.
  • the first optical system 121, the reflecting member 122, the second optical system 31, the reflecting member 32, the third optical system 33, and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 guides the light that has entered the first member 102 from the main body 101 and travels in the direction X1 to the reflecting member 122 .
  • the reflecting member 122 reflects the light incident from the first optical system 121 in the direction Y1.
  • the reflecting member 122 is composed of, for example, a mirror.
  • the first member 102 has an opening 2b on the optical path of the light reflected by the reflecting member 122, and the reflected light passes through the opening 2b and advances to the hollow portion 3A of the second member 103.
  • the second member 103 is a member having a substantially L-shaped cross-sectional outline, and an opening 3a is formed at a position facing the opening 2b of the first member 102.
  • the light from the body portion 101 that has passed through the opening 2b of the first member 102 enters the hollow portion 3A of the second member 103 through this opening 3a.
  • the cross-sectional outlines of the first member 102 and the second member 103 are arbitrary, and are not limited to those described above.
  • the second optical system 31 includes at least one lens and guides light incident from the first member 102 to the reflecting member 32 .
  • the reflecting member 32 reflects the light incident from the second optical system 31 in the direction X ⁇ b>2 and guides it to the third optical system 33 .
  • the reflecting member 32 is composed of, for example, a mirror.
  • the third optical system 33 includes at least one lens and guides the light reflected by the reflecting member 32 to the lens 34 .
  • the lens 34 is arranged at the end of the second member 103 in the direction X2 so as to block the opening 3c formed at the end.
  • the lens 34 projects the light incident from the third optical system 33 onto the projection object 6 .
  • FIG. 31 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105.
  • the projection direction changing mechanism 104 is a rotating mechanism that rotatably connects the second member 103 to the first member 102 .
  • the projection direction changing mechanism 104 allows the second member 103 to rotate about a rotation axis extending in the direction Y (specifically, the optical axis K).
  • the projection direction changing mechanism 104 is not limited to the arrangement position shown in FIG. 31 as long as it can rotate the optical system.
  • the number of rotating mechanisms is not limited to one, and a plurality of rotating mechanisms may be provided.
  • the control device of the present invention is not limited to this.
  • the control device of the present invention may be the projection device 10 .
  • each control by the computer 50 described above is performed by the projection device 10 .
  • the projection device 10 may communicate with the imaging device 30 via the computer 50 or may communicate with the imaging device 30 without the computer 50 .
  • the projection system 100 may be configured without the computer 50 .
  • control device of the present invention may be the imaging device 30.
  • each control by the computer 50 is performed by the imaging device 30 .
  • the imaging device 30 may communicate with the projection device 10 via the computer 50 , or may communicate with the projection device 10 without the computer 50 .
  • the projection system 100 may have a configuration in which the computer 50 is omitted.
  • the imaging device 30 may be installed on the floor 6e, or may be installed on a tripod, pedestal, or the like installed on the floor 6e. However, it may be installed on the walls 6b, 6c or the ceiling 6d using a mounting device.
  • ⁇ Modification 5> In the content projection range determination processing 72 (second control), control for moving or shifting all marker images included in the marker grid images 80 and 130 has been described, but the control is not limited to such.
  • the computer 50 may perform control to move or shift only some of the marker images included in the marker grid images 80 and 130 .
  • Control program> The control method described in the above embodiment can be realized by executing a prepared control program on a computer.
  • the control program is recorded in a computer-readable storage medium and executed by reading from the storage medium.
  • the control program may be provided in a form stored in a non-transitory storage medium such as a flash memory, or may be provided via a network such as the Internet.
  • the computer that executes this control program may be included in the control device, or may be included in an electronic device such as a smartphone, tablet terminal, or personal computer that can communicate with the control device. , may be included in a server device that can communicate with these control devices and electronic devices.
  • a controller comprising a processor, The above processor determining the continuity of the projected image of the first image based on the imaging data of the projected image of the first image projected by the projection device; performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity; After the first control, the boundary in the first direction of the projection range of the first image is moved in a second direction opposite to the first direction by image processing until at least it is determined that the continuity exists. perform a second control that causes Control device.
  • control device performs control to project the content image from the projection device in a range based on the projection range of the first image determined to have continuity in the second control. Control device.
  • the control device according to (1) or (2), The first control is control of at least one of shift and enlargement of the projection range by the projection device. Control device.
  • the control device is control of at least one of shift and reduction of the projection range of the first image by image processing. Control device.
  • the control device according to any one of (1) to (4), The processor performs the first control by controlling an optical system of the projection device. Control device.
  • the control device according to any one of (1) to (5),
  • the first image includes a plurality of marker images arranged two-dimensionally,
  • the processor determines the continuity by detection processing of the plurality of marker images. Control device.
  • the control device adds a marker image to the first image when none of the plurality of marker images is detected in the second control. Control device.
  • the control device determines the continuity based on the result of determining by image processing whether or not the marker images detected by the detection processing among the plurality of marker images are projected onto the same plane. Control device.
  • the control device according to any one of (1) to (9), The processor performs the first control and the second control with a plurality of directions different from each other as the first direction, Control device.
  • the control device includes a plurality of different marker images arranged two-dimensionally, The processor performs the second control for the plurality of directions based on the detection processing of the plurality of marker images. Control device.
  • a controller comprising a processor, The above processor detecting the plurality of marker images based on captured data of projection images of the plurality of marker images arranged two-dimensionally, projected by a projection device; performing first control to move a boundary in the first direction of the projection range of the projection device in the first direction until at least a part of the plurality of marker images is no longer detected; After the first control, perform second control for moving the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected. , Control device.
  • a processor included in the control device determining the continuity of the projected image of the first image based on the imaging data of the projected image of the first image projected by the projection device; performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity; After the first control, perform a second control for moving the projection range of the first image in a second direction opposite to the first direction by image processing until at least it is determined that there is the continuity; control method.
  • a processor included in the control device detecting the plurality of marker images based on captured data of projection images of the plurality of marker images arranged two-dimensionally, projected by a projection device; performing first control to move a boundary in the first direction of the projection range of the projection device in the first direction until at least a part of the plurality of marker images is no longer detected; After the first control, perform second control for moving the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected. , control method.
  • the processor provided in the control device, determining the continuity of the projected image of the first image based on the imaging data of the projected image of the first image projected by the projection device; performing first control for moving a boundary in the first direction of the projection range of the projection device in the first direction at least until it is determined that there is no continuity; After the first control, perform a second control for moving the projection range of the first image in a second direction opposite to the first direction by image processing until at least it is determined that there is the continuity; Control program for executing processing.
  • the processor provided in the control device, detecting the plurality of marker images based on captured data of projection images of the plurality of marker images arranged two-dimensionally, projected by a projection device; performing first control to move a boundary in the first direction of the projection range of the projection device in the first direction until at least a part of the plurality of marker images is no longer detected; After the first control, perform second control for moving the projection range of the plurality of marker images in a second direction opposite to the first direction by image processing until at least the plurality of marker images are detected. , Control program for executing processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

投影位置を精度よく調整することのできる制御装置、制御方法、及び制御プログラムを提供する。　プロセッサ（５１）は、投影装置（１０）に投影させた第１画像の投影像の撮像データに基づいて、第１画像の投影像の連続性を判定する。また、プロセッサ（５１）は、少なくとも上記の連続性が無いと判定されるまで、投影装置（１０）による投影可能範囲（１１）の第１方向の境界を第１方向に移動させる第１制御を行う。また、プロセッサ（５１）は、第１制御より後に、少なくとも上記の連続性が有ると判定されるまで、画像処理により第１画像の投影範囲の第１方向の境界を第１方向と逆方向の第２方向に移動させる第２制御を行う。

Description

制御装置、制御方法、及び制御プログラム
　本発明は、制御装置、制御方法、及び制御プログラムに関する。
　特許文献１には、レンズシフトにおいて投写画像の位置調整の際に、テストパターンを含む投写画像を投写面に投写し、投写画像を第１方向に移動し、投写画像を撮像し、撮像された投写画像に含まれるテストパターンの変化を検出し、テストパターンの変化が検出された場合、投写画像が投写面の端部に到達したと判定することが記載されている。
　特許文献２には、被投写面上に校正済みの投写像を生成する際に、第１の側部と、その第１の側部に対して平行に延びる第２の側部とを有し、かつ、第１又は第２の側部の方向の高さが一定である校正用構造を、被投写面の空間的広がりに追従するように配置することが記載されている。
日本国特開２０２０－１３６９０９号公報 日本国特表２０１３－５０９７６７号公報
　本開示の技術に係る１つの実施形態は、投影位置を精度よく調整することができる制御装置、制御方法、及び制御プログラムを提供する。
　本発明の一態様の制御装置は、プロセッサを備える制御装置であって、上記プロセッサは、投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲の上記第１方向の境界を上記第１方向と逆方向の第２方向に移動させる第２制御を行うものである。
　本発明の一態様の制御装置は、プロセッサを備える制御装置であって、上記プロセッサは、投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行うものである。
　本発明の一態様の制御方法は、制御装置が備えるプロセッサが、投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行うものである。
　本発明の一態様の制御方法は、制御装置が備えるプロセッサが、投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行うものである。
　本発明の一態様の制御プログラムは、制御装置が備えるプロセッサに、投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、処理を実行させるためのものである。
　本発明の一態様の制御プログラムは、制御装置が備えるプロセッサに、投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、処理を実行させるためのものである。
　本発明によれば、投影位置を精度よく調整することのできる制御装置、制御方法、及び制御プログラムを提供することができる。
実施形態の投影システム１００の一例を示す図である。 投影装置１０の一例を示す図である。 投影部１の内部構成の一例を示す模式図である。 投影装置１０の外観構成を示す模式図である。 図４に示す投影装置１０の光学ユニット１０６の断面模式図である。 コンピュータ５０のハードウェア構成の一例を示す図である。 コンピュータ５０による処理の一例を示すフローチャートである。 図７に示す処理による投影装置１０の投影状態の変化の一例を示す図（その１）である。 図７に示す処理による投影装置１０の投影状態の変化の一例を示す図（その２）である。 図７に示す処理による投影装置１０の投影状態の変化の一例を示す図（その３）である。 図７に示す処理による投影装置１０の投影状態の変化の一例を示す図（その４）である。 図７に示す処理により設定したコンテンツ投影範囲へのコンテンツ画像の投影の一例を示す図である。 コンテンツ投影範囲決定処理７２の他の一例を示すフローチャートである。 図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図（その１）である。 図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図（その２）である。 図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図（その３）である。 図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図（その４）である。 図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図（その５）である。 図１３の処理においてＳマーカー１３０Ｓが検出できない場合の投影制御の一例を示す図（その１）である。 図１３の処理においてＳマーカー１３０Ｓが検出できない場合の投影制御の一例を示す図（その２）である。 図１３の処理においてＳマーカー１３０Ｓが検出できない場合の投影制御の一例を示す図（その３）である。 投影可能範囲１１が傾いている状態で投影可能範囲決定処理７１を行った状態の一例を示す図である。 投影可能範囲１１が傾いている状態で投影可能範囲決定処理７１を行った状態の他の一例を示す図である。 複数のマーカー投影像が同一平面に存在するか否かの判定の具体例を示す図（その１）である。 複数のマーカー投影像が同一平面に存在するか否かの判定の具体例を示す図（その２）である。 補助線に対するコンテンツ投影範囲の設定の一例を示す図（その１）である。 補助線に対するコンテンツ投影範囲の設定の一例を示す図（その２）である。 補助線に対するコンテンツ投影範囲の設定の一例を示す図（その３）である。 補助線に対するコンテンツ投影範囲の設定の一例を示す図（その４）である。 投影装置１０の他の外観構成を示す模式図である。 図３０に示した投影装置１０の光学ユニット１０６の断面模式図である。
　以下、本発明の実施形態の一例について、図面を参照して説明する。
（実施形態）
＜実施形態の投影システム１００＞
　図１は、実施形態の投影システム１００の一例を示す図である。図１に示すように、投影システム１００は、投影装置１０と、コンピュータ５０と、撮像装置３０と、を含む。コンピュータ５０は、本発明における制御装置の一例である。
　コンピュータ５０は、投影装置１０及び撮像装置３０と通信可能である。図１に示す例では、コンピュータ５０は、通信ケーブル８を介して投影装置１０と接続されており、投影装置１０と通信可能である。また、コンピュータ５０は、通信ケーブル９を介して撮像装置３０と接続されており、撮像装置３０と通信可能である。
　投影装置１０は、投影対象物に対する投影が可能な投影装置である。撮像装置３０は、投影装置１０によって投影対象物に投影された画像を撮像可能な撮像装置である。図１の例では、投影システム１００は屋内に設置されており、屋内の壁６ａを投影対象物とする。また、投影システム１００は、投影装置１０から壁６ａにコンテンツ画像を投影するとともに、コンテンツ画像の端（例えば左端）が壁６ａの端（例えば左端）とほぼ一致するように投影装置１０を制御するものである。
　図１における壁６ａの上下左右を、投影システム１００が設けられる空間の上下左右とする。壁６ｂは、壁６ａの左端と隣接し、壁６ａに対して垂直な壁である。壁６ｃは、壁６ａの右端と隣接し、壁６ａに対して垂直な壁である。天井６ｄは、壁６ａの上端と隣接し、壁６ａに対して垂直な天井である。床６ｅは、壁６ａの下端と隣接し、壁６ａに対して垂直な床である。
　図１の例では、投影装置１０及びコンピュータ５０は床６ｅの上に設置されているが、投影装置１０及びコンピュータ５０のそれぞれは、床６ｅに設置された台座等の上に設置されていてもよいし、壁６ｂ，６ｃや天井６ｄに取り付け器具を用いて設置されていてもよい。図１の例では、撮像装置３０は、図示しない人物により手持ちで把持されている。
　一点鎖線で図示する投影可能範囲１１は投影装置１０により投影が可能な範囲である。
＜投影装置１０＞
　図２は、投影装置１０の一例を示す図である。投影装置１０のそれぞれは、例えば図２に示す投影装置１０によって構成される。投影装置１０は、投影部１と、制御部４と、操作受付部２と、通信部５と、を備える。投影部１は、例えば液晶プロジェクタ又はＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）を用いたプロジェクタ等によって構成される。以下では、投影部１が液晶プロジェクタであるものとして説明する。
　制御部４は、投影装置１０による投影の制御を行う。制御部４は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース（図示省略）と、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体４ａと、を含む装置であり、投影部１を統括制御する。制御部４の制御部の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御部４の制御部は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　操作受付部２は、ユーザからの各種の操作を受け付けることにより、ユーザからの指示（ユーザ指示）を検出する。操作受付部２は、制御部４に設けられたボタン、キー、ジョイスティック等であってもよいし、制御部４の遠隔操作を行うリモートコントローラからの信号を受け付ける受信部等であってもよい。
　通信部５は、コンピュータ５０との間で通信が可能な通信インタフェースである。通信部５は、図１に示したように有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよい。
　なお、投影部１、制御部４、操作受付部２は、例えば一個の装置により実現される（例えば図４，図５参照）。又は、投影部１、制御部４、及び操作受付部２は、互いに通信を行うことにより連携する、それぞれ別の装置であってもよい。
＜投影部１の内部構成＞
　図３は、投影部１の内部構成の一例を示す模式図である。図２に示した投影装置１０の投影部１は、図３に示すように、光源２１と、光変調部２２と、投影光学系２３と、制御回路２４と、を備える。光源２１は、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子を含み、例えば白色光を出射する。
　光変調部２２は、光源２１から出射されて図示省略の色分離機構によって赤、青、緑の３色に分離された各色光を、画像情報に基づいて変調して各色画像を出射する３つの液晶パネル（光変調素子）と、３つの液晶パネルから出射された各色画像を混合して同一方向に出射するダイクロイックプリズムと、によって構成される。この３つの液晶パネルにそれぞれ赤、青、緑のフィルタを搭載し、光源２１から出射された白色光を、各液晶パネルにて変調して各色画像を出射させてもよい。
　投影光学系２３は、光源２１及び光変調部２２からの光が入射されるものであり、少なくとも１つのレンズを含む、例えばリレー光学系によって構成されている。投影光学系２３を通過した光は投影対象物（例えば壁６ａ）に投影される。
　投影対象物のうち、光変調部２２の全範囲を透過する光が照射される領域が、投影部１により投影が可能な投影可能範囲１１となる。例えば、光変調部２２のうち光が透過する領域の大きさ、位置、及び形状を制御することにより、投影可能範囲１１において、投影部１の投影範囲の大きさ、位置、及び形状が変化する。
　制御回路２４は、制御部４から入力される表示用データに基づいて、光源２１、光変調部２２、及び投影光学系２３を制御することにより、投影対象物にこの表示用データに基づく画像を投影させる。制御回路２４に入力される表示用データは、赤表示用データと、青表示用データと、緑表示用データとの３つによって構成される。
　また、制御回路２４は、制御部４から入力される命令に基づいて、投影光学系２３を変化させることにより、投影部１の投影範囲の拡大や縮小を行う。また、制御部４は、操作受付部２によって受け付けられたユーザからの操作に基づいて投影光学系２３を変化させることにより、投影部１の投影範囲の移動を行ってもよい。
　また、投影装置１０は、投影光学系２３のイメージサークルを維持しつつ、投影部１の投影範囲を機械的又は光学的に移動させるシフト機構を備える。投影光学系２３のイメージサークルは、投影光学系２３に入射した投影光が、光量落ち、色分離、周辺湾曲などの点から適正に投影光学系２３を通過する領域である。
　シフト機構は、光学系シフトを行う光学系シフト機構と、電子シフトを行う電子シフト機構と、の少なくともいずれかにより実現される。
　光学系シフト機構は、例えば、投影光学系２３を光軸に垂直な方向に移動させる機構（例えば図５，図３１参照）、又は、投影光学系２３を移動させる代わりに光変調部２２を光軸に垂直な方向に移動させる機構である。また、光学系シフト機構は、投影光学系２３の移動と光変調部２２の移動とを組み合わせて行うものであってもよい。
　電子シフト機構は、光変調部２２において光を透過させる範囲を変化させることによる疑似的な投影範囲のシフトを行う機構である。
　また、投影装置１０は、投影光学系２３のイメージサークルとともに投影範囲を移動させる投影方向変更機構を備えてもよい。投影方向変更機構は、機械的な回転で投影部１の向きを変更することにより、投影部１の投影方向を変化させる機構である（例えば図２０参照）。
＜投影装置１０の機械的構成＞
　図４は、投影装置１０の外観構成を示す模式図である。図５は、図４に示す投影装置１０の光学ユニット１０６の断面模式図である。図５は、図４に示した本体部１０１から出射される光の光路に沿った面での断面を示している。
　図４に示すように、投影装置１０は、本体部１０１と、本体部１０１から突出して設けられた光学ユニット１０６と、を備える。図４に示す構成において、操作受付部２と、制御部４と、投影部１における光源２１、光変調部２２、及び制御回路２４と、通信部５と、は本体部１０１に設けられる。投影部１における投影光学系２３は光学ユニット１０６に設けられる。
　光学ユニット１０６は、本体部１０１に支持される第１部材１０２を備える。光学ユニット１０６は、本体部１０１に着脱自在に構成（換言すると交換可能に構成）されていてもよい。
　本体部１０１は、図５に示すように、光学ユニット１０６と連結される部分に光を通すための開口１５ａが形成された筐体１５を有する。
　図４に示すように、本体部１０１の筐体１５の内部には、光源２１と、光源２１から出射される光を入力画像データに基づいて空間変調して画像を生成する光変調部２２（図３参照）を含む光変調ユニット１２と、が設けられている。光源２１から出射された光は、光変調ユニット１２の光変調部２２に入射され、光変調部２２によって空間変調されて出射される。
　図５に示すように、光変調ユニット１２によって空間変調された光によって形成される画像は、筐体１５の開口１５ａを通過して光学ユニット１０６に入射され、投影対象物６（例えば壁６ａ）に投影されて、画像Ｇ１が観察者から視認可能となる。
　図５に示すように、光学ユニット１０６は、本体部１０１の内部と繋がる中空部２Ａを有する第１部材１０２と、中空部２Ａに配置された第１光学系１２１と、レンズ３４と、第１シフト機構１０５と、を備える。
　第１部材１０２は、断面外形が一例として矩形の部材であり、開口２ａと開口２ｂが互いに平行な面に形成されている。第１部材１０２は、本体部１０１の開口１５ａと対面する位置に開口２ａが配置される状態にて、本体部１０１によって支持されている。本体部１０１の光変調ユニット１２の光変調部２２から射出された光は、開口１５ａ及び開口２ａを通って第１部材１０２の中空部２Ａに入射される。
　本体部１０１から中空部２Ａに入射される光の入射方向を方向Ｘ１と記載し、方向Ｘ１の逆方向を方向Ｘ２と記載し、方向Ｘ１と方向Ｘ２を総称して方向Ｘと記載する。また、図５において、紙面手前から奥に向かう方向とその逆方向を方向Ｚと記載する。方向Ｚのうち、紙面手前から奥に向かう方向を方向Ｚ１と記載し、紙面奥から手前に向かう方向を方向Ｚ２と記載する。
　また、方向Ｘ及び方向Ｚに垂直な方向を方向Ｙと記載し、方向Ｙのうち、図５において上に向かう方向を方向Ｙ１と記載し、図５において下に向かう方向を方向Ｙ２と記載する。図５の例では方向Ｙ２が鉛直方向となるように投影装置１０が配置されている。
　図３に示した投影光学系２３は、図５の例では第１光学系１２１及びレンズ３４により構成される。図５には、この投影光学系２３の光軸Ｋが示されている。第１光学系１２１及びレンズ３４は、光変調部２２の側からこの順に光軸Ｋに沿って配置されている。
　第１光学系１２１は、少なくとも１つのレンズを含み、本体部１０１から第１部材１０２に入射された方向Ｘ１に進む光をレンズ３４に導く。
　レンズ３４は、第１部材１０２の方向Ｘ１側の端部に形成された開口２ｂを塞ぐ形でこの端部に配置されている。レンズ３４は、第１光学系１２１から入射された光を投影対象物６に投影する。
　第１シフト機構１０５は、投影光学系２３の光軸Ｋ（換言すると光学ユニット１０６）をその光軸Ｋに垂直な方向（図５の方向Ｙ）に移動させるための機構である。具体的には、第１シフト機構１０５は、第１部材１０２の本体部１０１に対する方向Ｙの位置を変更することができるように構成されている。第１シフト機構１０５は、手動にて第１部材１０２を移動させるものの他、電動にて第１部材１０２を移動させるものであってもよい。
　図５は、第１シフト機構１０５によって第１部材１０２が方向Ｙ１側に最大限移動された状態を示している。この図５に示す状態から、第１シフト機構１０５によって第１部材１０２が方向Ｙ２に移動することで、光変調部２２によって形成される画像の中心（換言すると表示面の中心）と光軸Ｋとの相対位置が変化して、投影対象物６に投影されている画像Ｇ１を方向Ｙ２にシフト（平行移動）させることができる。
　なお、第１シフト機構１０５は、光学ユニット１０６を方向Ｙに移動させる代わりに、光変調部２２を方向Ｙに移動させる機構であってもよい。この場合でも、投影対象物６に投影されている画像Ｇ１を方向Ｙに移動させることができる。
＜コンピュータ５０のハードウェア構成＞
　図６は、コンピュータ５０のハードウェア構成の一例を示す図である。図１に示したコンピュータ５０は、図５に示すように、プロセッサ５１と、メモリ５２と、通信インタフェース５３と、ユーザインタフェース５４と、を備える。プロセッサ５１、メモリ５２、通信インタフェース５３、及びユーザインタフェース５４は、例えばバス５９によって接続される。
　プロセッサ５１は、信号処理を行う回路であり、例えばコンピュータ５０の全体の制御を司るＣＰＵである。なお、プロセッサ５１は、ＦＰＧＡやＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などの他のデジタル回路により実現されてもよい。また、プロセッサ５１は、複数のデジタル回路を組み合わせて実現されてもよい。
　メモリ５２には、例えばメインメモリ及び補助メモリが含まれる。メインメモリは、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。メインメモリは、プロセッサ５１のワークエリアとして使用される。
　補助メモリは、例えば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発性メモリである。補助メモリには、コンピュータ５０を動作させる各種のプログラムが記憶されている。補助メモリに記憶されたプログラムは、メインメモリにロードされてプロセッサ５１によって実行される。
　また、補助メモリは、コンピュータ５０から取り外し可能な可搬型のメモリを含んでもよい。可搬型のメモリには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）フラッシュドライブやＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカードなどのメモリカードや、外付けハードディスクドライブなどがある。
　通信インタフェース５３は、コンピュータ５０の外部（例えば投影装置１０や撮像装置３０）との間で通信を行う通信インタフェースである。通信インタフェース５３は、プロセッサ５１によって制御される。通信インタフェース５３は、有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよいし、有線通信インタフェース及び無線通信インタフェースの両方を含んでもよい。
　ユーザインタフェース５４は、例えば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、例えばポインティングデバイス（例えばマウス）、キー（例えばキーボード）やリモコンなどにより実現することができる。出力デバイスは、例えばディスプレイやスピーカなどにより実現することができる。また、タッチパネルなどによって入力デバイス及び出力デバイスを実現してもよい。ユーザインタフェース５４は、プロセッサ５１によって制御される。
＜コンピュータ５０による処理＞
　図７は、コンピュータ５０による処理の一例を示すフローチャートである。図８～図１１は、図７に示す処理による投影装置１０の投影状態の変化の一例を示す図である。図１２は、図７に示す処理により設定したコンテンツ投影範囲へのコンテンツ画像の投影の一例を示す図である。ここではコンテンツ投影像の左端を壁６ａの左端と一致させる場合について説明する。投影装置１０の投影可能範囲１１が壁６ａの範囲に収まるように予め投影装置１０が設置された状態で、コンピュータ５０は例えば図７に示す処理を実行する。
　まず、コンピュータ５０は、二次元的に配置された複数のマーカー画像を含むマーカーグリッド画像を投影装置１０から投影させる制御を行う（ステップＳ１１）。例えば、図８に示すように、コンピュータ５０は、投影装置１０からマーカーグリッド画像８０を投影させる。
　マーカーグリッド画像８０は、５×５のマトリクス状に配置された２５個のマーカー画像を含む画像である。マーカーグリッド画像８０に含まれる２５個のマーカー画像は、本発明の第１画像の一例である。なお、マーカーグリッド画像８０に含まれる２５個のマーカー画像は、実際にはそれぞれ異なるマーカーであるが、全て同一のマーカー（黒の矩形）として図示している。マーカー画像８０ａは、マーカーグリッド画像８０における左上の端のマーカー画像である。マーカー画像８０ｂは、マーカーグリッド画像８０における左下の端のマーカー画像である。
　図８に示すマーカーグリッド投影像８１は、投影装置１０がマーカーグリッド画像８０を投影することにより投影対象物（例えば壁６ａ）の投影可能範囲１１に投影された像である。マーカー投影像８１ａ，８１ｂは、それぞれマーカー画像８０ａ，８０ｂに対応する投影像である。
　次に、コンピュータ５０は、投影可能範囲１１を決定するための投影可能範囲決定処理７１を行う。投影可能範囲決定処理７１は、本発明の第１制御の一例である。投影可能範囲決定処理７１として、コンピュータ５０は、まず、ステップＳ１１によって投影されたマーカーグリッド画像の投影像（例えば図８のマーカーグリッド投影像８１）を撮像装置３０により撮像させる制御を行う（ステップＳ１２）。投影像を撮像装置３０により撮像させる制御については後述する。
　次に、コンピュータ５０は、ステップＳ１２の撮像により得られた撮像データから、マーカーグリッド画像８０に含まれる２５個のマーカー画像を検出するマーカー検出処理を行う（ステップＳ１３）。マーカー検出処理には、各種の画像認識処理を用いることができる。
　次に、コンピュータ５０は、ステップＳ１３のマーカー検出処理により、マーカーグリッド画像８０に含まれる全てのマーカー画像の少なくともいずれかの検出に失敗したか否かを判断する（ステップＳ１４）。全てのマーカー画像の検出に成功している場合（ステップＳ１４：Ｎｏ）は、コンピュータ５０は、光学系シフトにより投影可能範囲１１を所定の第１単位量Δ１だけ左方向にシフトさせ（ステップＳ１５）、ステップＳ１２へ戻る。この場合の左方向は、本発明の第１方向の一例である。
　ステップＳ１４において、マーカー画像の少なくともいずれかの検出に失敗した場合（ステップＳ１４：Ｙｅｓ）、マーカーグリッド投影像８１は、例えば図９に示す状態となっている。具体的には、マーカーグリッド投影像８１の左端が壁６ａからはみ出して壁６ｂに投影されており、マーカー投影像８１ａ，８１ｂを含むマーカーグリッド投影像８１の左端のマーカー画像が、壁６ａと壁６ｂとの境界を跨った状態となっている。このようにマーカー画像の平面性が崩れた場合は、画像認識処理において射影変換などでマーカー形状を復元できないため、一般的にマーカー検出は困難である。したがって、ステップＳ１３のマーカー検出処理においてこれらのマーカー画像の検出に失敗することになる。例えば、マーカー画像８０ａ，８０ｂは、図１０に示すようなマーカー（ＡｒＵｃｏマーカー）であるとする。この場合、図９の状態で得らえる撮像データにおいて、マーカー投影像８１ａ，８１ｂは、それぞれ図１０に示すように大きく崩れた形状となる。
　この場合、コンピュータ５０は、投影可能範囲決定処理７１を終了し、投影可能範囲１１のうちコンテンツ画像を投影するコンテンツ投影範囲を決定するためのコンテンツ投影範囲決定処理７２を行う。コンテンツ投影範囲決定処理７２は、本発明の第２制御の一例である。コンテンツ投影範囲決定処理７２として、コンピュータ５０は、まず、ステップＳ１２と同様に、ステップＳ１１によって投影されたマーカーグリッド画像の投影像（例えば図９のマーカーグリッド投影像８１）を撮像装置３０により撮像させる制御を行う（ステップＳ１６）。
　次に、コンピュータ５０は、ステップＳ１３と同様に、ステップＳ１６の撮像により得られた撮像データから、マーカーグリッド画像８０に含まれる２５個のマーカー画像を検出するマーカー検出処理を行う（ステップＳ１７）。マーカー検出処理は、１フレーム分の撮像データに基づいて行ってもよいし、複数フレーム分の撮像データに基づいて行うようにしてもよい。
　次に、コンピュータ５０は、ステップＳ１７のマーカー検出処理により、マーカーグリッド画像８０に含まれる全てのマーカー画像の検出に成功したか否かを判断する（ステップＳ１８）。マーカー画像の少なくともいずれかの検出に失敗している場合（ステップＳ１８：Ｎｏ）は、コンピュータ５０は、マーカーグリッド画像８０のマーカー画像を所定の第２単位量Δ２だけ右方向に電子シフトさせ（ステップＳ１９）、ステップＳ１６へ戻る。
　第２単位量Δ２は、上記の第１単位量Δ１より小さい単位量である。第２単位量Δ２は、例えば１画素分のシフト量でもよいし、複数画素分のシフト量であってもよい。また、第２単位量Δ２をユーザが設定可能であってもよい。この場合の右方向は、本発明の第２方向の一例である。
　ステップＳ１８において、全てのマーカー画像の検出に成功した場合（ステップＳ１８：Ｙｅｓ）は、マーカーグリッド投影像８１は、例えば図１１に示す状態となっている。具体的には、マーカーグリッド投影像８１の左端のマーカー投影像の左端が壁６ａの左端とほぼ一致した状態となっている。
　この場合、コンピュータ５０は、現在のマーカーグリッド画像８０に含まれるマーカー画像の端部の位置に基づいてコンテンツ投影範囲８０ｃを設定し（ステップＳ２０）、コンテンツ投影範囲決定処理７２を終了する。ステップＳ２０において、例えば、コンピュータ５０は、例えば図１１に示すように、現在のマーカーグリッド画像８０の左端のマーカー画像の左端の位置がコンテンツ投影範囲８０ｃの左端の位置となるように、コンテンツ投影範囲８０ｃを設定する。
　図７に示した処理の後に、コンピュータ５０は、投影装置１０から、ステップＳ２０により設定したコンテンツ投影範囲８０ｃにコンテンツ画像を投影させる制御を行う。例えば、図１２に示すように、コンピュータ５０は、投影装置１０から、コンテンツ投影範囲８０ｃにコンテンツ画像１１０ａを配置した投影画像１１０を投影させる制御を行う。
　具体的には、コンピュータ５０又は投影装置１０において、コンテンツ投影範囲８０ｃに合わせてコンテンツ画像１１０ａが幾何学変換（例えば縮小処理）され、幾何学変換されたコンテンツ画像１１０ａが投影装置１０から投影される。投影像１１１は、投影画像１１０に対応する投影像である。コンテンツ投影像１１１ａは、コンテンツ画像１１０ａに対応する投影像である。図１２に示すように、コンテンツ投影像１１１ａの左端が壁６ａの左端とほぼ一致している。
＜投影像を撮像装置３０により撮像させる制御について＞
　図７に示したステップＳ１２，Ｓ１６における、投影像を撮像装置３０により撮像させる制御は、例えば、撮像装置３０を把持するユーザに対して、投影像の撮像装置３０による撮像を促す制御である。例えば、コンピュータ５０は、投影像の撮像装置３０による撮像を促すメッセージを、投影装置１０による投影や、コンピュータ５０や撮像装置３０による表示又は音声出力などによって出力する制御を行う。又は、投影像を撮像装置３０により撮像させる制御は、例えば、撮像装置３０に対して、撮像を指示する制御信号を送信する制御であってもよい。
　また、コンピュータ５０は、ステップＳ１２，Ｓ１６による撮像により得られた投影像の撮像データを撮像装置３０から受信する。撮像装置３０による撮像データの送信は、撮像装置３０による撮像が行われたことを契機として撮像装置３０が自動的に行われてもよいし、撮像装置３０による撮像後のユーザ操作によって行われてもよい。
　又は、撮像装置３０による撮像は、自動的に行われてもよい。例えば、図７に示した処理において、撮像装置３０は繰り返し撮像（例えば動画撮像）を行っており、コンピュータ５０は、ステップＳ１２，Ｓ１６において、その時点の撮像データを撮像装置３０から取得するようにしてもよい。
　このように、コンピュータ５０は、投影装置１０に投影させた第１画像（マーカーグリッド画像８０に含まれる複数のマーカー画像）の投影像（マーカーグリッド投影像８１）の撮像データに基づいて、第１画像の投影像の連続性を判定する。第１画像の投影像の連続性の判定は、例えば第１画像として二次元的に配置された複数のマーカー画像を用い、撮像データに基づいてそれらのマーカー画像を検出することによって行うことができる。
　そして、コンピュータ５０は、上記の連続性が無いと判定されるまで、投影装置１０による投影範囲（投影可能範囲１１）の第１方向（例えば左方向）の境界を第１方向に移動させる第１制御（投影可能範囲決定処理７１）を行う。これにより、投影装置１０による投影範囲の端部が、連続した投影対象範囲（壁６ａ）の端部からわずかにはみ出た状態とすることができる。
　また、コンピュータ５０は、第１制御より後に、上記の連続性が有ると判定されるまで、画像処理により第１画像の投影範囲を第１方向と逆方向の第２方向（例えば右方向）に移動させる第２制御（コンテンツ投影範囲決定処理７２）を行う。これにより、投影装置１０による投影範囲のうち、連続した投影対象範囲（壁６ａ）の端部に対応する位置を特定することができる。したがって、投影装置１０からコンテンツ画像１１０ａを投影させる際に、連続した投影対象範囲（壁６ａ）の端部にコンテンツ投影像１１１ａの端部を精度よく一致させることが可能になる。
　これにより、例えば、没入感のある効果的な空間演出が可能になる。また、連続した投影対象範囲を無駄なくコンテンツ画像の投影に用いることができる。また、例えばデプスカメラやＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）などの空間認識が可能な検出装置やこれらを固定するための三脚等の固定部材を用いる方法と比べて、機材コストや作業負荷を低減することができる。また、空間に物理的な制約があり三脚等の固定部材を利用できない場合でも、手持ちの撮像装置３０を用いて調整を行うことができる。
　投影装置１０による投影範囲（投影可能範囲１１）の第１方向（左方向）の境界を第１方向に移動させる制御として、投影装置１０による投影範囲をシフトさせる制御について説明したが、このような制御に限らない。例えば、コンピュータ５０は、投影装置１０による投影範囲を拡大することにより、又は投影装置１０による投影範囲を拡大及びシフトすることにより、投影装置１０による投影範囲の第１方向の境界を第１方向に移動させてもよい。
　同様に、コンテンツ投影範囲８０ｃの第１方向（左方向）の境界を画像処理により第２方向（右方向）に移動させる制御として、コンテンツ投影範囲８０ｃをシフトさせる制御について説明したが、このような制御に限らない。例えば、コンピュータ５０は、画像処理によりコンテンツ投影範囲８０ｃを縮小することにより、又は画像処理によりコンテンツ投影範囲８０ｃを縮小及びシフトすることにより、コンテンツ投影範囲８０ｃの第１方向（左方向）の境界を第２方向（右方向）に移動させてもよい。
　ここではコンテンツ投影範囲８０ｃの左端を壁６ａの左端に合わせる調整について説明したが、同様に、コンテンツ投影範囲８０ｃの上端を壁６ａの上端に合わせたり、コンテンツ投影範囲８０ｃの右端を壁６ａの右端に合わせたり、コンテンツ投影範囲８０ｃの下端を壁６ａの下端に合わせたりする調整を行うことも可能である。
　また、コンテンツ投影範囲８０ｃの複数の端を壁６ａの端に合わせる調整も可能である。例えば、コンテンツ投影範囲８０ｃの左端を壁６ａの左端に合わせる調整を行った後に、横方向の光学的シフト位置及び電子シフト位置を維持したまま、コンテンツ投影範囲８０ｃの上端を壁６ａの上端に合わせる調整を行うことで、コンテンツ投影範囲８０ｃの左端が壁６ａの左端に合い、かつ、コンテンツ投影範囲８０ｃの上端が壁６ａの上端に合った状態とすることができる。なお、コンテンツ投影範囲８０ｃの左端を壁６ａの左端に合わせる調整と、コンテンツ投影範囲８０ｃの上端を壁６ａの上端に合わせる調整と、を並行して行うようにしてもよい（例えば図１３参照）。
　また、例えば、第１制御にて、投影装置１０の投影可能範囲１１の上下左右の端が壁６ａからはみ出るように投影可能範囲１１を拡大し、第２制御にて、コンテンツ投影範囲８０ｃの縮小により、コンテンツ投影範囲８０ｃの上下左右の端を壁６ａの上下左右の端に合わせる調整を行うようにしてもよい。これにより、壁６ａの範囲とコンテンツ投影像１１１ａの範囲がほぼ一致し、より効果的な空間演出が可能になる。
＜コンテンツ投影範囲決定処理７２の他の例＞
　図１３は、コンテンツ投影範囲決定処理７２の他の一例を示すフローチャートである。図１４～図１８は、図１３に示す処理による投影装置１０の投影状態の変化の一例を示す図である。ここではコンテンツ投影像の左上端を壁６ａの左上端と一致させる場合について説明する。図７に示した処理のコンテンツ投影範囲決定処理７２に代えて、コンピュータ５０は、例えば図１３に示すコンテンツ投影範囲決定処理７２を実行してもよい。
　この例では、図１４に示すように、コンピュータ５０は、投影装置１０からマーカーグリッド画像１３０を投影させる。マーカーグリッド画像１３０は、２×２のマトリクス状に配置された４個のマーカー画像を左上の端付近に含む画像である。マーカーグリッド画像１３０に含まれる４個のマーカー画像は、本発明の第１画像の一例である。なお、マーカーグリッド画像１３０に含まれる４個のマーカー画像は、実際にはそれぞれ異なるマーカーであるが、全て同一のマーカー（黒の矩形）として図示している。
　マーカーグリッド画像１３０に含まれる４個のマーカー画像のうち、左上のマーカー画像をＣマーカー１３０Ｃ（コーナーマーカー）、右上のマーカー画像をＨマーカー１３０Ｈ（横移動指示マーカー）、左下のマーカー画像をＶマーカー１３０Ｖ（縦移動示マーカー）、右下のマーカー画像をＳマーカー１３０Ｓ（スタートマーカー）とする。
　図１４に示すマーカーグリッド投影像１３１は、投影装置１０がマーカーグリッド画像１３０を投影することにより投影対象物（例えば壁６ａ）の投影可能範囲１１に投影された像である。Ｃマーカー投影像１３１Ｃ、Ｖマーカー投影像１３１Ｖ、Ｈマーカー投影像１３１Ｈ、Ｓマーカー投影像１３１Ｓは、それぞれＣマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、Ｓマーカー１３０Ｓに対応する投影像である。
　図１４に示した状態において、コンピュータ５０は、図７に示した投影可能範囲決定処理７１を、左方向及び上方向のそれぞれについて行う。例えば、コンピュータ５０は、まず、左方向の投影可能範囲決定処理７１を行うことにより、Ｃマーカー投影像１３１Ｃ及びＶマーカー投影像１３１Ｖが別平面（壁６ａと壁６ｂ）を跨った状態となり、Ｃマーカー１３０Ｃ及びＶマーカー１３０Ｖの検出に失敗することにより左方向の投影可能範囲決定処理７１が終了する。次に、コンピュータ５０は、検出に失敗していないＨマーカー１３０Ｈ及びＳマーカー１３０Ｓを用いて、上方向の投影可能範囲決定処理７１を行うことにより、Ｈマーカー投影像１３１Ｈも別平面（壁６ａと天井６ｄ）を跨った状態となり、Ｈマーカー１３０Ｈの検出に失敗することにより上方向の投影可能範囲決定処理７１が終了する。
　これにより、投影可能範囲１１は、壁６ａに対して左側及び上側にはみ出した状態となり、例えば図１５に示す状態となる。この状態においては、Ｓマーカー投影像１３１Ｓのみが別平面を跨った状態となっておらず、Ｓマーカー１３０Ｓは検出可能である。なお、図１５～図２１において、投影可能範囲１１の図示を省略している。
　この状態において、コンピュータ５０は、例えば図１３に示すコンテンツ投影範囲決定処理７２を実行する。図１３に示すステップＳ３１～Ｓ３２は、図７に示したステップＳ１６～Ｓ１７と同様である。ステップＳ３２のつぎに、コンピュータ５０は、ステップＳ３２のマーカー検出処理によってＳマーカー１３０Ｓを検出したか否かを判断する（ステップＳ３３）。Ｓマーカー１３０Ｓを検出していない場合（ステップＳ３３：Ｎｏ）は、コンピュータ５０はステップＳ３１へ戻る。
　ステップＳ３３において、Ｓマーカー１３０Ｓを検出した場合（ステップＳ３３：Ｙｅｓ）は、コンピュータ５０は、ステップＳ３２のマーカー検出処理によってＣマーカー１３０Ｃを検出したか否かを判断する（ステップＳ３４）。Ｃマーカー１３０Ｃを検出していない場合（ステップＳ３４：Ｎｏ）は、コンピュータ５０は、ステップＳ３２のマーカー検出処理によってＳマーカー１３０Ｓ及びＨマーカー１３０Ｈのみを検出した状態か否かを判断する（ステップＳ３５）。
　ステップＳ３５において、Ｓマーカー１３０Ｓ及びＨマーカー１３０Ｈのみを検出した状態でない場合（ステップＳ３５：Ｎｏ）は、コンピュータ５０は、ステップＳ３２のマーカー検出処理によってＳマーカー１３０Ｓ及びＶマーカー１３０Ｖのみを検出した状態か否かを判断する（ステップＳ３６）。
　ステップＳ３６において、Ｓマーカー１３０Ｓ及びＶマーカー１３０Ｖのみを検出した状態でない場合（ステップＳ３６：Ｎｏ）は、Ｓマーカー１３０Ｓのみが検出された状態、すなわち、例えば図１５に示すような状態である。この場合、コンピュータ５０は、マーカーグリッド画像１３０のマーカー画像を所定の第２単位量Δ２だけ右下方向に電子シフトさせ（ステップＳ３７）、ステップＳ３１へ戻る。
　ステップＳ３５において、Ｓマーカー１３０Ｓ及びＨマーカー１３０Ｈのみを検出した状態である場合（ステップＳ３５：Ｙｅｓ）は、例えば図１６に示すように、Ｈマーカー投影像１３１Ｈ及びＣマーカー投影像１３１Ｃの上端が壁６ａの上端と一致しているが、Ｃマーカー投影像１３１Ｃ及びＶマーカー投影像１３１Ｖは壁６ａから左側にはみ出した状態である。この場合、コンピュータ５０は、マーカーグリッド画像１３０のマーカー画像を所定の第２単位量Δ２だけ右方向に電子シフトさせ（ステップＳ３８）、ステップＳ３１へ戻る。
　ステップＳ３６において、Ｓマーカー１３０Ｓ及びＶマーカー１３０Ｖのみを検出した状態である場合（ステップＳ３６：Ｙｅｓ）は、例えば図１７に示すように、Ｖマーカー投影像１３１Ｖ及びＶマーカー投影像１３１Ｖの左端が壁６ａの左端と一致しているが、Ｃマーカー投影像１３１Ｃ及びＨマーカー投影像１３１Ｈが壁６ａから上側にはみ出した状態である。この場合、コンピュータ５０は、マーカーグリッド画像１３０のマーカー画像を所定の第２単位量Δ２だけ下方向に電子シフトさせ（ステップＳ３９）、ステップＳ３１へ戻る。
　ステップＳ３４において、Ｃマーカー１３０Ｃを検出した場合（ステップＳ３４：Ｙｅｓ）は、例えば図１８に示すように、Ｈマーカー投影像１３１Ｈ及びＣマーカー投影像１３１Ｃの上端が壁６ａの上端と一致し、Ｖマーカー投影像１３１Ｖ及びＶマーカー投影像１３１Ｖの左端が壁６ａの左端と一致している状態である。この場合、コンピュータ５０は、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓの少なくともいずれかの位置に基づいてコンテンツ投影範囲１３０ｃを設定し（ステップＳ４０）、コンテンツ投影範囲決定処理７２を終了する。
　ステップＳ４０において、例えば、コンピュータ５０は、例えば図１８に示すように、現在のＣマーカー１３０Ｃ及びＶマーカー１３０Ｖの少なくともいずれかの左端の位置がコンテンツ投影範囲１３０ｃの左端の位置となるように、コンテンツ投影範囲１３０ｃを設定する。また、コンピュータ５０は、現在のＣマーカー１３０Ｃ及びＨマーカー１３０Ｈの少なくともいずれかの上端の位置がコンテンツ投影範囲１３０ｃの上端の位置となるように、コンテンツ投影範囲１３０ｃを設定する。
　図１３に示したように、コンピュータ５０は、コンテンツ投影範囲決定処理７２において、Ｓマーカー１３０Ｓの検出をトリガーとして、Ｈマーカー１３０ＨとＶマーカー１３０Ｖの有無を判定しながら、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓの位置を移動させる処理を、Ｃマーカー１３０Ｃ（コーナー）が検出されるまで繰り返し行う。
　このように、コンテンツ投影範囲１３０ｃの端部を設定するための注目マーカー（Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ）の周囲や横隣りにある別のマーカー（Ｓマーカー１３０Ｓ）が検出されることをトリガーとして、注目マーカーの検出処理を開始することで、例えば撮像装置３０を全く別方向に向けて撮像した場合等でも、誤判定や誤動作を防止することができる。
　図１３に示した処理の後に、コンピュータ５０は、投影装置１０から、ステップＳ４０により設定したコンテンツ投影範囲１３０ｃにコンテンツ画像を投影させる制御を行う。コンテンツ投影範囲１３０ｃへのコンテンツ画像の投影は、図１２に示したコンテンツ投影範囲８０ｃへのコンテンツ画像の投影と同様である。これにより、コンテンツ投影像の左上端が壁６ａの左上端とほぼ一致する。
　なお、ステップＳ３７において、コンピュータ５０は、直前のループでＳマーカー１３０Ｓ及びＨマーカー１３０Ｈのみが検出されていた場合はステップＳ３８と同様にマーカーグリッド画像１３０のマーカー画像を右方向に電子シフトさせ、直前のループでＳマーカー１３０Ｓ及びＶマーカー１３０Ｖのみが検出されていた場合はステップＳ３９と同様にマーカーグリッド画像１３０のマーカー画像を下方向に電子シフトさせるようにしてもよい。
　図１３～図１８の例ではコンテンツ投影像の左上端を壁６ａの左上端と一致させる場合について説明したが、残りの３隅（右上、左下、右下）についても同様に端部を一致させることができる。例えばコンテンツ投影像の右上端を壁６ａの右上端と一致させる場合は、コンピュータ５０は、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓの位置関係を、図１４～図１８の例に対して左右反転したものとする。また、電子シフトの方向は、図１３のステップＳ３８では左、ステップＳ３７では左下となる。
　このように、コンピュータ５０は、互いに異なる複数の方向を第１方向として、複数の方向のそれぞれについて投影可能範囲決定処理７１及びコンテンツ投影範囲決定処理７２を行ってもよい。このとき、コンピュータ５０は、互いに異なる複数のマーカー画像の検出処理に基づいて、複数の方向についてのコンテンツ投影範囲決定処理７２を行う。これにより、複数の方向の調整を効率よく行うことができる。
＜図１３の処理においてＳマーカー１３０Ｓが検出できない場合の投影制御＞
　図１９～図２１は、図１３の処理においてＳマーカー１３０Ｓが検出できない場合の投影制御の一例を示す図である。例えば図１９に示すように、Ｓマーカー投影像１３１Ｓも別平面（壁６ａ、壁６ｂ、天井６ｄ）を跨った状態となると、図１３のステップＳ３１～Ｓ３３において、Ｓマーカー１３０Ｓが検出されないことになる。
　これに対して、コンピュータ５０は、図１３のステップＳ３１～Ｓ３３において、Ｓマーカー１３０Ｓが一定時間以上検出されない場合は、例えば図２０に示すように、マーカーグリッド画像１３０のマーカー画像を追加する。図２０の例では、コンピュータ５０は、図１４～図１８のマーカーグリッド画像１３０の例に対して、右に一列、下に一行のマーカー画像を追加した、３×３のマトリクス状に配置された９個のマーカー画像を含むマーカーグリッド画像１３０を投影装置１０から投影させている。
　また、コンピュータ５０は、９個のマーカー画像のうち、右下のマーカー画像を新たなＳマーカー１３０Ｓとし、Ｓマーカー１３０Ｓの上のマーカー画像を新たなＨマーカー１３０Ｈとし、Ｓマーカー１３０Ｓの左のマーカー画像を新たなＶマーカー１３０Ｖとし、中央のマーカー画像を新たなマーカーグリッド画像１３０とする。すなわち、図１４～図１８のマーカーグリッド画像１３０の例に対して、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓが右下にシフトした状態となる。
　これにより、Ｓマーカー１３０Ｓが検出可能になり、図１３に示した処理により、例えば図２１に示す状態とすることができる。この場合、図１３のステップＳ４０において、コンピュータ５０は、新たなＣマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓの少なくともいずれかの位置に基づいてコンテンツ投影範囲１３０ｃを設定する。
　このように、コンピュータ５０は、コンテンツ投影範囲決定処理７２において、複数のマーカー画像のいずれも検知されない場合に、マーカー画像を追加する処理を行ってもよい。これにより、コンテンツ投影範囲決定処理７２によって複数のマーカー画像のいずれも検知されない状態となってしまっても、一部のマーカー画像を検出可能な状態とすることができる。
＜投影可能範囲１１が傾いている状態で投影可能範囲決定処理７１を行った状態＞
　図２２は、投影可能範囲１１が傾いている状態で投影可能範囲決定処理７１を行った状態の一例を示す図である。図２３は、投影可能範囲１１が傾いている状態で投影可能範囲決定処理７１を行った状態の他の一例を示す図である。
　例えば投影装置１０が水平に置かれていなかったり、壁６ａと壁６ｂとの境目が傾いていたりすると、例えば図２２に示すように、壁６ａと壁６ｂの境目に対して投影可能範囲１１が傾いた状態となる。
　この状態で投影可能範囲決定処理７１を実行すると、マーカーグリッド画像８０の左端の５個のマーカー画像８０ｄ～８０ｈに対応するマーカー投影像８１ｄ～８１ｈのうち一部のマーカー投影像のみが壁６ａと壁６ｂの境目を跨った状態となり得る。例えば、図２２の例では、下の２個のマーカー投影像８１ｇ，８１ｈは期待通り壁６ａと壁６ｂの境目を跨っているが、上の３個のマーカー投影像８１ｄ～８１ｆは壁６ｂのみに投影されている。この場合、壁６ｂのみに投影されているマーカー投影像８１ｄ～８１ｆについては、撮像装置３０による撮像データに基づくマーカー検出処理において検出されてしまう可能性がある。
　図２３の例では、図１４～図１８の例と同様に、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓを含むマーカーグリッド画像１３０を投影したが、Ｃマーカー投影像１３１Ｃ及びＶマーカー投影像１３１Ｖが、壁６ａと壁６ｂの境界を跨がず壁６ｂのみに投影され、Ｃマーカー１３０Ｃ、Ｖマーカー１３０Ｖ、Ｈマーカー１３０Ｈ、及びＳマーカー１３０Ｓの全てが検出される状態である。この状態で図１３の処理を実行すると、Ｓマーカー１３０Ｓ及びＣマーカー１３０Ｃが検出されるためその時点でコンテンツ投影範囲決定処理７２が終了し、壁６ｂにはみ出した位置をコンテンツ投影範囲１３０ｃの左端に設定しまう可能性がある。
　これに対して、コンピュータ５０は、例えばＣマーカー投影像１３１Ｃ及びＳマーカー投影像１３１Ｓの各頂点の情報を用いて、これらのマーカー投影像が同一平面に存在するか否かを判定する。
＜複数のマーカー投影像が同一平面に存在するか否かの判定の具体例＞
　図２４及び図２５は、複数のマーカー投影像が同一平面に存在するか否かの判定の具体例を示す図である。図２４の直線２４１は、撮像装置３０により得られた撮像データにおける、Ｃマーカー投影像１３１Ｃの左上端と右上端を結ぶ直線である。図２４の直線２４２は、撮像装置３０により得られた撮像データにおける、Ｓマーカー投影像１３１Ｓの左上端と右上端を結ぶ直線である。図２５の直線２５１は、撮像装置３０により得られた撮像データにおける、Ｃマーカー投影像１３１Ｃの右上端と右下端を結ぶ直線である。図２５の直線２５２は、撮像装置３０により得られた撮像データにおける、Ｓマーカー投影像１３１Ｓの右上端と右下端を結ぶ直線である。
　コンピュータ５０は、例えばマーカー検出処理によるＣマーカー投影像１３１Ｃの検出結果に基づいて直線２４１を算出し、マーカー検出処理によるＳマーカー投影像１３１Ｓの検出結果に基づいて直線２４２を算出する。そして、コンピュータ５０は、直線２４１と直線２４２との間の角度を算出し、算出した角度が所定値以上であれば、Ｃマーカー投影像１３１Ｃ及びＳマーカー投影像１３１Ｓは同一平面に存在しないと判定する。この場合、例えば図１３に示した処理において、コンピュータ５０は、Ｃマーカー１３０Ｃについては検出していないものとして各判断を行う。
　また、コンピュータ５０は、例えばマーカー検出処理によるＣマーカー投影像１３１Ｃの検出結果に基づいて直線２５１を算出し、マーカー検出処理によるＳマーカー投影像１３１Ｓの検出結果に基づいて直線２５２を算出する。そして、コンピュータ５０は、直線２５１と直線２５２との間の角度を算出し、算出した角度が所定値以上であれば、Ｃマーカー投影像１３１Ｃ及びＳマーカー投影像１３１Ｓは同一平面に存在しないと判定してもよい。この場合、例えば図１３に示した処理において、コンピュータ５０は、Ｃマーカー１３０Ｃについては検出していないものとして各判断を行う。
　Ｃマーカー投影像１３１ＣがＳマーカー投影像１３１Ｓと同一平面に存在するか否かを判定する場合について説明したが、コンピュータ５０は、Ｈマーカー投影像１３１ＨやＶマーカー投影像１３１ＶがＳマーカー投影像１３１Ｓと同一平面に存在するか否かについても同様に判定し、Ｓマーカー投影像１３１Ｓと同一平面に存在しないと判定したマーカー投影像に対応するマーカー画像については、図１３に示した処理において、検出していないものとして各判断を行う。
　このように、コンピュータ５０は、複数のマーカー画像のうちマーカー検出処理により検知したマーカー画像が同一平面に投影されているか否かを画像処理により判定した結果に基づいて複数のマーカー画像の連続性を判定してもよい。これにより、例えば投影可能範囲決定処理７１によって一部のマーカー画像が平面間の境界を通り過ぎて平面間の境界を跨がない状態となっても複数のマーカー画像の連続性を正しく判定することができる。
＜補助線に対するコンテンツ投影範囲の設定＞
　図２６～図２９は、補助線に対するコンテンツ投影範囲の設定の一例を示す図である。壁６ａの端部、すなわち物理的な平面の端部にコンテンツ投影範囲８０ｃ，１３０ｃの端部を一致させる調整について説明したが、コンテンツ投影範囲８０ｃ，１３０ｃの調整はこれに限らない。
　例えば、図２６に示すレーザ墨出し器２６０は、レーザ光を壁６ａ、壁６ｂ、壁６ｃ、天井６ｄ、及び床６ｅに照射して「水平」や「垂直」などの基準線を表示する装置である。基準線２６１は、レーザ墨出し器２６０からのレーザ光の照射によって壁６ａ、天井６ｄ、及び床６ｅに表示された基準線である。基準線２６２は、レーザ墨出し器２６０からのレーザ光の照射によって壁６ａ、壁６ｂ、及び壁６ｃに表示された基準線である。
　コンピュータ５０は、基準線２６１や基準線２６２に対してコンテンツ投影範囲８０ｃ，１３０ｃの端部を一致させる調整も可能である。例えば、投影装置１０から投影させるマーカーグリッド画像８０，１３０のマーカー画像の色を、基準線２６１や基準線２６２の色と同一又は類似の色とする。
　これにより、マーカーグリッド画像８０，１３０のマーカー画像のうち基準線２６１や基準線２６２と重なったマーカー画像について、マーカー検出処理における検出が困難になる。このため、図７や図１４に示した処理により、基準線２６１や基準線２６２に対してコンテンツ投影範囲８０ｃ，１３０ｃの端部を一致させる調整が可能である。
　ここでは基準線２６１の右端に対してコンテンツ投影範囲８０ｃの左端を一致させる場合について説明する。図２６の状態において図７に示した投影可能範囲決定処理７１を実行すると、すなわち光学シフトにより投影可能範囲１１を左にシフトさせると、マーカーグリッド画像８０の各マーカー画像のうち左端のマーカー画像の投影像が基準線２６１と重なった時点でマーカー検出に失敗し、図２７に示す状態となる。
　次に、図２７の状態から図７に示したコンテンツ投影範囲決定処理７２を実行すると、すなわち電子シフトによりマーカーグリッド画像８０の各マーカー画像を右にシフトさせると、マーカーグリッド画像８０の各マーカー画像のうち左端のマーカー画像の投影像が基準線２６１と重ならなくなった時点でマーカー検出に成功し、図２８に示す状態となる。この場合も、コンピュータ５０は、図１１の例と同様に、コンテンツ投影範囲８０ｃを設定する。そして、コンピュータ５０は、投影装置１０から、コンテンツ投影範囲８０ｃにコンテンツ画像１１０ａを配置した投影画像１１０を投影させる制御を行う。これにより、図２９に示す状態となる。
　このように、コンピュータ５０は、物理的な平面の端部以外にも、コンテンツ投影範囲８０ｃ，１３０ｃの端部を合わせる調整が可能である。ここではレーザ墨出し器２６０による基準線２６１や基準線２６２の端部に対してコンテンツ投影範囲８０ｃ，１３０ｃの端部を一致させる調整について説明したが、レーザ墨出し器２６０による基準線２６１や基準線２６２に代えて、例えば壁６ａにマーカー画像と同一又は類似の色のラインテープを貼ることで、ラインテープ端部に対してコンテンツ投影範囲８０ｃ，１３０ｃの端部を一致させる調整も可能である。
＜変形例１＞
　図４，図５においては、投影装置１０の構成として、光軸Ｋを屈曲させない構成について説明したが、光学ユニット１０６に反射部材を設けて光軸Ｋを１回以上屈曲させる構成としてもよい。
　図３０は、投影装置１０の他の外観構成を示す模式図である。図３１は、図３０に示した投影装置１０の光学ユニット１０６の断面模式図である。図３０，図３１において、図４，図５に示した部分と同様の部分については同一の符号を付して説明を省略する。
　図３０に示すように、光学ユニット１０６は、本体部１０１に支持される第１部材１０２に加えて、第１部材１０２に支持された第２部材１０３を備える。なお、第１部材１０２と第２部材１０３は一体化された部材であってもよい。
　図３１に示すように、光学ユニット１０６は、第１部材１０２に加えて、第１部材１０２の中空部２Ａと繋がる中空部３Ａを有する第２部材１０３と、中空部２Ａに配置された第１光学系１２１及び反射部材１２２と、中空部３Ａに配置された第２光学系３１、反射部材３２、第３光学系３３、及びレンズ３４と、第１シフト機構１０５と、投影方向変更機構１０４と、を備える。
　図３０，図３１の例において、第１部材１０２の開口２ａと開口２ｂは互いに垂直な面に形成されている。また、図３０，図３１に示す投影光学系２３は、図４，図５に示した第１光学系１２１及びレンズ３４に加えて、反射部材１２２、第２光学系３１、反射部材３２、及び第３光学系３３により構成される。このような投影光学系２３により、図３１に示すように、光軸Ｋは、２回屈曲することで折り返される形になる。第１光学系１２１、反射部材１２２、第２光学系３１、反射部材３２、第３光学系３３、及びレンズ３４は、光変調部２２側からこの順に光軸Ｋに沿って配置されている。
　第１光学系１２１は、本体部１０１から第１部材１０２に入射された方向Ｘ１に進む光を反射部材１２２に導く。反射部材１２２は、第１光学系１２１から入射された光を方向Ｙ１に反射させる。反射部材１２２は、例えばミラー等によって構成される。第１部材１０２には、反射部材１２２にて反射した光の光路上に開口２ｂが形成されており、この反射した光は開口２ｂを通過して第２部材１０３の中空部３Ａへと進む。
　第２部材１０３は、断面外形が略Ｌ字状の部材であり、第１部材１０２の開口２ｂと対面する位置に開口３ａが形成されている。第１部材１０２の開口２ｂを通過した本体部１０１からの光は、この開口３ａを通って第２部材１０３の中空部３Ａに入射される。なお、第１部材１０２や第２部材１０３の断面外形は任意であり、上記のものには限定されない。
　第２光学系３１は、少なくとも１つのレンズを含み、第１部材１０２から入射された光を、反射部材３２に導く。反射部材３２は、第２光学系３１から入射される光を方向Ｘ２に反射させて第３光学系３３に導く。反射部材３２は、例えばミラー等によって構成される。第３光学系３３は、少なくとも１つのレンズを含み、反射部材３２にて反射された光をレンズ３４に導く。
　レンズ３４は、第２部材１０３の方向Ｘ２側の端部に形成された開口３ｃを塞ぐ形でこの端部に配置されている。レンズ３４は、第３光学系３３から入射された光を投影対象物６に投影する。
　図３１は、第１シフト機構１０５によって第１部材１０２が方向Ｙ１側に最大限移動された状態を示している。この図３１に示す状態から、第１シフト機構１０５によって第１部材１０２が方向Ｙ２に移動することで、光変調部２２によって形成される画像の中心と光軸Ｋとの相対位置が変化して、投影対象物６に投影されている画像Ｇ１を方向Ｙ１にシフトさせることができる。
　投影方向変更機構１０４は、第１部材１０２に対して第２部材１０３を回転自在に連結する回転機構である。この投影方向変更機構１０４によって、第２部材１０３は、方向Ｙに延びる回転軸（具体的には光軸Ｋ）の回りに回転自在に構成されている。なお、投影方向変更機構１０４は、光学系を回転させることができればよく、図３１に示した配置位置に限定されない。また、回転機構の数も１つに限らず、複数設けられていてもよい。
＜変形例２＞
　本発明の制御装置の一例としてコンピュータ５０を挙げて説明したが、本発明の制御装置はこれに限らない。例えば、本発明の制御装置は、投影装置１０であってもよい。この場合、上記のコンピュータ５０による各制御が投影装置１０によって行われる。投影装置１０は、コンピュータ５０を介して撮像装置３０と通信を行ってもよいし、コンピュータ５０を介さずに撮像装置３０と通信を行ってもよい。投影装置１０がコンピュータ５０を介さずに撮像装置３０と通信を行う場合は、投影システム１００からコンピュータ５０を省いた構成としてもよい。
　又は、本発明の制御装置は、撮像装置３０であってもよい。この場合、上記のコンピュータ５０による各制御が撮像装置３０によって行われる。撮像装置３０は、コンピュータ５０を介して投影装置１０と通信を行ってもよいし、コンピュータ５０を介さずに投影装置１０と通信を行ってもよい撮像装置３０がコンピュータ５０を介さずに投影装置１０と通信を行う場合、投影システム１００からコンピュータ５０を省いた構成としてもよい。
＜変形例３＞
　投影可能範囲決定処理７１における撮像と、コンテンツ投影範囲決定処理７２における撮像と、を１台の撮像装置３０によって行う場合について説明したが、これらの撮像を異なる撮像装置によって行ってもよい。ただし、この場合、各撮像装置の撮像特性は同一又は類似のものとすることが望ましい。
＜変形例４＞
　撮像装置３０が手持ちで把持される場合について説明したが撮像装置３０は、床６ｅの上に設置されてもよいし、床６ｅに設置された三脚や台座等の上に設置されていてもよいし、壁６ｂ，６ｃや天井６ｄに取り付け器具を用いて設置されていてもよい。
＜変形例５＞
　コンテンツ投影範囲決定処理７２（第２制御）において、マーカーグリッド画像８０，１３０に含まれる全てのマーカー画像を移動あるいはシフトさせる制御について説明したが、このような制御に限らない。例えば、コンピュータ５０は、コンテンツ投影範囲決定処理７２（第２制御）において、マーカーグリッド画像８０，１３０に含まれるマーカー画像のうち一部のマーカー画像のみを移動あるいはシフトさせる制御を行ってもよい。
＜制御プログラム＞
　なお、前述した実施形態で説明した制御方法は、予め用意された制御プログラムをコンピュータで実行することにより実現できる。本制御プログラムは、コンピュータが読み取り可能な記憶媒体に記録され、記憶媒体から読み出されることによって実行される。また、本制御プログラムは、フラッシュメモリ等の非一過性の記憶媒体に記憶された形で提供されてもよいし、インターネット等のネットワークを介して提供されてもよい。本制御プログラムを実行するコンピュータは、制御装置に含まれるものであってもよいし、制御装置と通信可能なスマートフォン、タブレット端末、又はパーソナルコンピュータ等の電子機器に含まれるものでもあってもよいし、これら制御装置及び電子機器と通信可能なサーバ装置に含まれるものであってもよい。
　本明細書には少なくとも以下の事項が記載されている。
（１）
　プロセッサを備える制御装置であって、
　上記プロセッサは、
　投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、
　少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲の上記第１方向の境界を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　制御装置。
（２）
　（１）に記載の制御装置であって、
　上記プロセッサは、上記第２制御において上記連続性があると判定された上記第１画像の投影範囲に基づく範囲に上記投影装置からコンテンツ画像を投影させる制御を行う、
　制御装置。
（３）
　（１）又は（２）に記載の制御装置であって、
　上記第１制御は、上記投影装置による投影範囲のシフト及び拡大の少なくともいずれかの制御である、
　制御装置。
（４）
　（１）から（３）のいずれか１項に記載の制御装置であって、
　上記第２制御は、画像処理による上記第１画像の投影範囲のシフト及び縮小の少なくともいずれかの制御である、
　制御装置。
（５）
　（１）から（４）のいずれか１項に記載の制御装置であって、
　上記プロセッサは、上記第１制御を、上記投影装置の光学系の制御によって行う、
　制御装置。
（６）
　（１）から（５）のいずれか１項に記載の制御装置であって、
　上記第１画像は、二次元的に配置された複数のマーカー画像を含み、
　上記プロセッサは、上記複数のマーカー画像の検出処理により上記連続性を判定する、
　制御装置。
（７）
　（６）に記載の制御装置であって、
　上記プロセッサは、上記第２制御において、上記複数のマーカー画像のうち一部のマーカー画像における上記第１方向の境界を上記第２方向に移動させる、
　制御装置。
（８）
　（６）又は（７）に記載の制御装置であって、
　上記プロセッサは、上記第２制御において、上記複数のマーカー画像のいずれも検知されない場合に、上記第１画像にマーカー画像を追加する処理を行う、
　制御装置。
（９）
　（６）から（８）のいずれか１項に記載の制御装置であって、
　上記プロセッサは、上記複数のマーカー画像のうち上記検出処理により検知したマーカー画像が同一平面に投影されているか否かを画像処理により判定した結果に基づいて上記連続性を判定する、
　制御装置。
（１０）
　（１）から（９）のいずれか１項に記載の制御装置であって、
　上記プロセッサは、互いに異なる複数の方向を上記第１方向として上記第１制御及び上記第２制御を行う、
　制御装置。
（１１）
　（１０）に記載の制御装置であって、
　上記第１画像は、二次元的に配置された互いに異なる複数のマーカー画像を含み、
　上記プロセッサは、上記複数のマーカー画像の検出処理に基づいて、上記複数の方向についての上記第２制御を行う、
　制御装置。
（１２）
　プロセッサを備える制御装置であって、
　上記プロセッサは、
　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、
　少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　制御装置。
（１３）
　制御装置が備えるプロセッサが、
　投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、
　少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　制御方法。
（１４）
　制御装置が備えるプロセッサが、
　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、
　少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　制御方法。
（１５）
　制御装置が備えるプロセッサに、
　投影装置に投影させた第１画像の投影像の撮像データに基づいて、上記第１画像の投影像の連続性を判定し、
　少なくとも上記連続性が無いと判定されるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記連続性が有ると判定されるまで、画像処理により上記第１画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　処理を実行させるための制御プログラム。
（１６）
　制御装置が備えるプロセッサに、
　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、上記複数のマーカー画像の検出を行い、
　少なくとも上記複数のマーカー画像の一部が検出されなくなるまで、上記投影装置による投影範囲の第１方向の境界を上記第１方向に移動させる第１制御を行い、
　上記第１制御より後に、少なくとも上記複数のマーカー画像が検出されるまで、画像処理により上記複数のマーカー画像の投影範囲を上記第１方向と逆方向の第２方向に移動させる第２制御を行う、
　処理を実行させるための制御プログラム。
　以上、各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２２年２月２８日出願の日本特許出願（特願２０２２－０３０３０５）に基づくものであり、その内容は本出願の中に参照として援用される。
　１　投影部
　２　操作受付部
　２Ａ，３Ａ　中空部
　２ａ，２ｂ，３ａ，３ｃ，１５ａ　開口
　４　制御部
　４ａ　記憶媒体
　５　通信部
　６　投影対象物
　６ａ，６ｂ，６ｃ　壁
　６ｄ　天井
　６ｅ　床
　８，９　通信ケーブル
　１０　投影装置
　１１　投影可能範囲
　１２　光変調ユニット
　１５　筐体
　２１　光源
　２２　光変調部
　２３　投影光学系
　２４　制御回路
　３０　撮像装置
　３１　第２光学系
　３２，１２２　反射部材
　３３　第３光学系
　３４　レンズ
　５０　コンピュータ
　５１　プロセッサ
　５２　メモリ
　５３　通信インタフェース
　５４　ユーザインタフェース
　５９　バス
　７１　投影可能範囲決定処理
　７２　コンテンツ投影範囲決定処理
　８０，１３０　マーカーグリッド画像
　８０ａ，８０ｂ，８０ｄ～８１ｈ　マーカー画像
　８０ｃ，１３０ｃ　コンテンツ投影範囲
　８１，１３１　マーカーグリッド投影像
　８１ａ，８１ｂ，８１ｄ～８１ｈ　マーカー投影像
　１００　投影システム
　１０１　本体部
　１０２　第１部材
　１０３　第２部材
　１０４　投影方向変更機構
　１０５　第１シフト機構
　１０６　光学ユニット
　１１０　投影画像
　１１０ａ　コンテンツ画像
　１１１　投影像
　１１１ａ　コンテンツ投影像
　１２１　第１光学系
　１３０Ｃ　Ｃマーカー
　１３０Ｈ　Ｈマーカー
　１３０Ｓ　Ｓマーカー
　１３０Ｖ　Ｖマーカー
　１３１Ｃ　Ｃマーカー投影像
　１３１Ｈ　Ｈマーカー投影像
　１３１Ｓ　Ｓマーカー投影像
　１３１Ｖ　Ｖマーカー投影像
　２４１，２４２，２５１，２５２　直線
　２６０　レーザ墨出し器
　２６１，２６２　基準線
　Ｇ１　画像

Claims (16)

  1. 　プロセッサを備える制御装置であって、
    　前記プロセッサは、
    　投影装置に投影させた第１画像の投影像の撮像データに基づいて、前記第１画像の投影像の連続性を判定し、
    　少なくとも前記連続性が無いと判定されるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記連続性が有ると判定されるまで、画像処理により前記第１画像の投影範囲の前記第１方向の境界を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記プロセッサは、前記第２制御において前記連続性があると判定された前記第１画像の投影範囲に基づく範囲に前記投影装置からコンテンツ画像を投影させる制御を行う、
    　制御装置。
  3. 　請求項１又は２に記載の制御装置であって、
    　前記第１制御は、前記投影装置による投影範囲のシフト及び拡大の少なくともいずれかの制御である、
    　制御装置。
  4. 　請求項１から３のいずれか１項に記載の制御装置であって、
    　前記第２制御は、画像処理による前記第１画像の投影範囲のシフト及び縮小の少なくともいずれかの制御である、
    　制御装置。
  5. 　請求項１から４のいずれか１項に記載の制御装置であって、
    　前記プロセッサは、前記第１制御を、前記投影装置の光学系の制御によって行う、
    　制御装置。
  6. 　請求項１から５のいずれか１項に記載の制御装置であって、
    　前記第１画像は、二次元的に配置された複数のマーカー画像を含み、
    　前記プロセッサは、前記複数のマーカー画像の検出処理により前記連続性を判定する、
    　制御装置。
  7. 　請求項６に記載の制御装置であって、
    　前記プロセッサは、前記第２制御において、前記複数のマーカー画像のうち一部のマーカー画像における前記第１方向の境界を前記第２方向に移動させる、
    　制御装置。
  8. 　請求項６又は７に記載の制御装置であって、
    　前記プロセッサは、前記第２制御において、前記複数のマーカー画像のいずれも検知されない場合に、前記第１画像にマーカー画像を追加する処理を行う、
    　制御装置。
  9. 　請求項６から８のいずれか１項に記載の制御装置であって、
    　前記プロセッサは、前記複数のマーカー画像のうち前記検出処理により検知したマーカー画像が同一平面に投影されているか否かを画像処理により判定した結果に基づいて前記連続性を判定する、
    　制御装置。
  10. 　請求項１から９のいずれか１項に記載の制御装置であって、
    　前記プロセッサは、互いに異なる複数の方向を前記第１方向として前記第１制御及び前記第２制御を行う、
    　制御装置。
  11. 　請求項１０に記載の制御装置であって、
    　前記第１画像は、二次元的に配置された互いに異なる複数のマーカー画像を含み、
    　前記プロセッサは、前記複数のマーカー画像の検出処理に基づいて、前記複数の方向についての前記第２制御を行う、
    　制御装置。
  12. 　プロセッサを備える制御装置であって、
    　前記プロセッサは、
    　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、前記複数のマーカー画像の検出を行い、
    　少なくとも前記複数のマーカー画像の一部が検出されなくなるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記複数のマーカー画像が検出されるまで、画像処理により前記複数のマーカー画像の投影範囲を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　制御装置。
  13. 　制御装置が備えるプロセッサが、
    　投影装置に投影させた第１画像の投影像の撮像データに基づいて、前記第１画像の投影像の連続性を判定し、
    　少なくとも前記連続性が無いと判定されるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記連続性が有ると判定されるまで、画像処理により前記第１画像の投影範囲を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　制御方法。
  14. 　制御装置が備えるプロセッサが、
    　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、前記複数のマーカー画像の検出を行い、
    　少なくとも前記複数のマーカー画像の一部が検出されなくなるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記複数のマーカー画像が検出されるまで、画像処理により前記複数のマーカー画像の投影範囲を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　制御方法。
  15. 　制御装置が備えるプロセッサに、
    　投影装置に投影させた第１画像の投影像の撮像データに基づいて、前記第１画像の投影像の連続性を判定し、
    　少なくとも前記連続性が無いと判定されるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記連続性が有ると判定されるまで、画像処理により前記第１画像の投影範囲を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　処理を実行させるための制御プログラム。
  16. 　制御装置が備えるプロセッサに、
    　投影装置に投影させた、二次元的に配置された複数のマーカー画像の投影像の撮像データに基づいて、前記複数のマーカー画像の検出を行い、
    　少なくとも前記複数のマーカー画像の一部が検出されなくなるまで、前記投影装置による投影範囲の第１方向の境界を前記第１方向に移動させる第１制御を行い、
    　前記第１制御より後に、少なくとも前記複数のマーカー画像が検出されるまで、画像処理により前記複数のマーカー画像の投影範囲を前記第１方向と逆方向の第２方向に移動させる第２制御を行う、
    　処理を実行させるための制御プログラム。
PCT/JP2023/004220 2022-02-28 2023-02-08 制御装置、制御方法、及び制御プログラム WO2023162688A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024503001A JPWO2023162688A1 (ja) 2022-02-28 2023-02-08
CN202380023671.7A CN118765497A (zh) 2022-02-28 2023-02-08 控制装置、控制方法及控制程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-030305 2022-02-28
JP2022030305 2022-02-28

Publications (1)

Publication Number Publication Date
WO2023162688A1 true WO2023162688A1 (ja) 2023-08-31

Family

ID=87765675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004220 WO2023162688A1 (ja) 2022-02-28 2023-02-08 制御装置、制御方法、及び制御プログラム

Country Status (3)

Country Link
JP (1) JPWO2023162688A1 (ja)
CN (1) CN118765497A (ja)
WO (1) WO2023162688A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048015A (ja) * 2007-08-21 2009-03-05 Funai Electric Co Ltd プロジェクタ
JP2014150380A (ja) * 2013-01-31 2014-08-21 Jvc Kenwood Corp 投射装置および投射方法
JP2015109559A (ja) * 2013-12-04 2015-06-11 キヤノン株式会社 画像処理装置、画像処理方法
JP2020136909A (ja) * 2019-02-20 2020-08-31 セイコーエプソン株式会社 投写画像の調整方法、及び投写装置
WO2021131646A1 (ja) * 2019-12-27 2021-07-01 富士フイルム株式会社 投影装置、投影方法、及び制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048015A (ja) * 2007-08-21 2009-03-05 Funai Electric Co Ltd プロジェクタ
JP2014150380A (ja) * 2013-01-31 2014-08-21 Jvc Kenwood Corp 投射装置および投射方法
JP2015109559A (ja) * 2013-12-04 2015-06-11 キヤノン株式会社 画像処理装置、画像処理方法
JP2020136909A (ja) * 2019-02-20 2020-08-31 セイコーエプソン株式会社 投写画像の調整方法、及び投写装置
WO2021131646A1 (ja) * 2019-12-27 2021-07-01 富士フイルム株式会社 投影装置、投影方法、及び制御プログラム

Also Published As

Publication number Publication date
JPWO2023162688A1 (ja) 2023-08-31
CN118765497A (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
US9554105B2 (en) Projection type image display apparatus and control method therefor
JP6780315B2 (ja) 投影装置、投影システム、投影方法及びプログラム
JP5970879B2 (ja) 投映システム、投映方法、プログラムおよび記録媒体
JP6205777B2 (ja) 投影装置、投影方法、及び投影のためのプログラム
US11131911B2 (en) Projector and method for controlling projector
CN103279313B (zh) 显示装置以及显示控制方法
US10431131B2 (en) Projector and control method for projector
JP2019168546A (ja) 投影制御装置、投影装置、投影制御方法及びプログラム
CN104347020A (zh) 投影仪以及投影仪的控制方法
US20200077060A1 (en) Image Calibration Method and Projector System Capable of Adjusting a Distorted Image Automatically
JP6229572B2 (ja) ライトカーテン設置方法および双方向表示装置
WO2023162688A1 (ja) 制御装置、制御方法、及び制御プログラム
US20170270700A1 (en) Display device, method of controlling display device, and program
KR20200076413A (ko) 멀티 프로젝터 제어 시스템 및 방법
JP7250175B2 (ja) 投影装置、投影方法、及び制御プログラム
JP7347205B2 (ja) 投写システムの制御方法、投写システム及び制御プログラム
JP2013083985A (ja) 投影装置、投影方法及びプログラム
JP6255810B2 (ja) 表示装置、及び、表示装置の制御方法
WO2024053330A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及びシステム
JP5630799B2 (ja) 投影装置、投影方法及びプログラム
US9723279B1 (en) Projector and method of controlling projector
US11895444B2 (en) Control device, control method, projection system, and control program
WO2024185421A1 (ja) 制御装置、制御方法、及び制御プログラム
WO2024038733A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20240312164A1 (en) Control device, control method, and control program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23759692

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024503001

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202380023671.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE