Nothing Special   »   [go: up one dir, main page]

WO2018016464A1 - 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム - Google Patents

画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム Download PDF

Info

Publication number
WO2018016464A1
WO2018016464A1 PCT/JP2017/025880 JP2017025880W WO2018016464A1 WO 2018016464 A1 WO2018016464 A1 WO 2018016464A1 JP 2017025880 W JP2017025880 W JP 2017025880W WO 2018016464 A1 WO2018016464 A1 WO 2018016464A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
user
information
interest
Prior art date
Application number
PCT/JP2017/025880
Other languages
English (en)
French (fr)
Inventor
繭子 生田
岡部 雄生
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17830981.1A priority Critical patent/EP3489943A4/en
Priority to CN201780045013.2A priority patent/CN109564749B/zh
Priority to JP2018528541A priority patent/JP6966443B2/ja
Publication of WO2018016464A1 publication Critical patent/WO2018016464A1/ja
Priority to US16/251,907 priority patent/US10705605B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features

Definitions

  • the present invention relates to an image display system, a head-mounted display control device, an operation method thereof, and an operation program.
  • a virtual image using computer graphics is displayed on a head-mounted display (hereinafter, HMD (Head-Mounted Display)) mounted on the user's head, and the virtual reality space created by the virtual image, or the real space and the virtual space are displayed.
  • HMD Head-Mounted Display
  • a technique for allowing a user to recognize a fused augmented reality space is known.
  • Patent Document 1 describes a technique in which a list of images in which a plurality of images are arranged is displayed on the HMD, and images that the user has continuously watched for a predetermined time or longer are reproduced and displayed on the HMD.
  • a user's left eye is imaged with a camera mounted on the HMD, and the user's line of sight is detected based on the captured image of the left eye.
  • the gaze time for the image is an important index indicating the degree of interest of the user in the image. For this reason, the gaze time information is highly useful.
  • Patent Document 1 merely reproduces and displays an image having a gaze time of a predetermined time or more, and has not led to effective utilization of gaze time information.
  • An object of the present invention is to provide an image display system capable of effectively utilizing information on a gaze time for an image, a control device for a head mounted display, an operation method thereof, and an operation program.
  • an image display system includes a head-mounted display mounted on a user's head and a head-mounted display control device, in which a plurality of images are arranged.
  • a display control unit that displays a list of images on a head-mounted display, a detection unit that detects a user's line of sight with respect to the image, a timing unit that measures a user's gaze time for the image based on the detection result of the line of sight, and a gaze time
  • An information receiving unit that receives the information, and an information management unit that records the image and the gaze time information in association with the storage unit.
  • An album creation unit that creates an electronic album composed of a part of a plurality of images, and includes an album creation unit that creates an electronic album including an interest image when an interest image is selected. Is preferred.
  • the display control unit includes an addition instruction receiving unit that displays an image of interest and an electronic album on a head-mounted display and receives an instruction to add an image of interest from the user to the electronic album.
  • the album creation unit responds to the addition instruction. It is preferable to create an electronic album.
  • the display control unit display the list on a head mounted display attached to each of a plurality of users.
  • a sharing instruction receiving unit that receives a sharing instruction of the user, a sharing mode in which a gaze image that is an image in a list on which the line of sight of the instructing user who has given the sharing instruction is placed is shared among a plurality of users, It is preferable to include a mode switching unit that switches between non-sharing modes in which images are not shared among a plurality of users.
  • the display control unit displays a mark on the gaze image in the list in the shared mode, and displays a mark on the image in the list on which the lines of sight of a plurality of users are placed in the non-shared mode.
  • the sharing instruction receiving unit receives a sharing instruction by a user's uttered voice.
  • an evaluation unit that replaces the gaze time with the user's interest level with respect to the image based on the evaluation standard is provided, and the information management unit records the interest level as gaze time information.
  • the display control unit includes a playback instruction receiving unit that receives an image playback instruction from the user, and the display control unit causes the user to recognize an augmented reality space that is a fusion of the real space and the virtual space through the head-mounted display. It is preferable to reproduce and display an image on a real object in the real space.
  • the head-mounted display control device of the present invention is a head-mounted display control device mounted on a user's head, a display control unit that displays a list of images in which a plurality of images are arranged on the head-mounted display, and an image
  • the information receiving unit that receives the information of the user's gaze time for the image, and the storage unit stores the information of the image and the gaze time, which is detected by the detecting unit of the user's line of sight with respect to the image and timed by the timing unit based on the detection result of the detecting unit
  • an information management unit for recording in association with each other is a head-mounted display control device mounted on a user's head, a display control unit that displays a list of images in which a plurality of images are arranged on the head-mounted display, and an image
  • the information receiving unit that receives the information of the user's gaze time for the image, and the storage unit stores the information of the image and the gaze time, which is detected by the detecting unit of the user's line of
  • the head mounted display displays a list of images in which a plurality of images are arranged in the operation method of the head mounted display control device mounted on the user's head.
  • a display control step an information receiving step for receiving information on a user's gaze time for the image, which is detected by the detection unit and detecting by the timing unit based on the detection result of the detection unit; and the image and the gaze time
  • an information management step for recording the information in association with the storage unit.
  • the operation program of the control device for the head-mounted display causes the head-mount display to display a list of images in which a plurality of images are arranged in the operation program for the control device for the head-mounted display worn on the user's head.
  • a display control function, an information reception function for receiving information on a user's gaze time for an image, which is detected by the detection unit and detecting a time line of the user based on a detection result of the detection unit, and an image and a gaze time The computer executes an information management function for recording the information in association with the storage unit.
  • the user's gaze time for the images in the list displayed on the head-mounted display is timed, and the information on the image and the gaze time is recorded in association with each other, so that the gaze time information for the image is effectively used.
  • An image display system capable of performing the above, a control device for a head mounted display, an operating method thereof, and an operating program can be provided.
  • the image display system 10 includes an HMD 11 and a control server 12 corresponding to a control device of the HMD 11.
  • the image display system 10 displays the image accumulated in the control server 12 on the HMD 11, and the user 13 browses the image through the HMD 11.
  • the HMD 11 is used at the home 14 of each user 13.
  • the HMD 11 is attached to the head of the user 13.
  • the head means a portion located above the neck of the human body in a standing state, and includes a face and the like.
  • the control server 12 is installed in the data center 15.
  • the HMD 11 is connected to the control server 12 via the network 16 so that they can communicate with each other.
  • the network 16 is a WAN (Wide Area Network) such as the Internet or a public communication network.
  • WAN Wide Area Network
  • VPN Virtual Private Network
  • HTTPS Hypertext Transfer Protocol Secure
  • the control server 12 has a function of receiving an image from a photographing device of a user 13 or a personal computer (not shown), storing the image, and delivering the image to the HMD 11.
  • the images include images taken by the user 13 with a photographing device, downloaded by the user 13 over the Internet, and the like.
  • the image is a user ID (Identification Data) for identifying the individual user 13, an image ID for identifying the individual image, or a shooting date or acquisition date, a shooting location (GPS (Global Positioning System) information) or the Internet.
  • the search can be performed using the above acquisition location (URL (Uniform Resource Locator)), keywords assigned by the user 13, and the like as search keys.
  • the image stored in the control server 12 is referred to as a stored image 43 (see FIG. 3).
  • control server 12 accumulated images 43 of a plurality of users 13 are integrated and managed.
  • the control server 12 searches for the stored image 43 corresponding to the distribution instruction from the HMD 11 and distributes the searched stored image 43 to the HMD 11 that is the instruction source of the distribution instruction.
  • the control server 12 also has a function of controlling the operation of the HMD 11. Specifically, a function for displaying various screens such as a stored image list screen 45 (see FIG. 3) having a list 44 of stored images 43 (see FIG. 3) on the HMD 11 or a part of the plurality of stored images 43. For example, a function of creating an electronic album 61 (see FIG. 6) composed of a plurality of image groups.
  • control server 12 is connected to a plurality of HMDs 11 attached to each of a plurality of users 13 via a network 16.
  • the control server 12 controls the operations of the plurality of HMDs 11 independently.
  • the HMD 11 includes a main body portion 25 and a band portion 26.
  • the main body 25 is positioned in front of the user 13 when the HMD 11 is mounted.
  • the band part 26 is fixed to the upper half of the user 13's head when the HMD 11 is worn.
  • the main body 25 includes a protective frame 27, a screen 28, and a line-of-sight detection camera 29.
  • the protective frame 27 has a goggle shape that covers the entire eyes of the user 13 and is made of transparent colored glass or plastic. Although illustration is omitted, urethane foam is affixed to the portion of the protective frame 27 that contacts the face of the user 13.
  • the screen 28 and the line-of-sight detection camera 29 are arranged inside the protective frame 27.
  • the screen 28 has a spectacle shape and is formed of a transparent material like the protective frame 27. Through the screen 28 and the protective frame 27, the user 13 visually recognizes the real space RS (see FIG. 4) with the naked eye. That is, the HMD 11 is a transmission type.
  • a virtual image using computer graphics is projected and displayed on the inner surface of the screen 28 facing the eyes of the user 13 from a projection unit (not shown).
  • the projection unit includes a display element such as a liquid crystal that displays a virtual image, and a projection optical system that projects the virtual image displayed on the display element toward the inner surface of the screen 28.
  • the virtual image is reflected by the inner surface of the screen 28 and enters the eyes of the user 13. Thereby, the user 13 recognizes the virtual image as a virtual image on the virtual space VS (see FIG. 4).
  • the virtual image includes a virtual object that the user 13 recognizes in the augmented reality space ARS (see FIG. 3) in the same manner as a real object that exists in the real space RS.
  • the virtual object is, for example, the stored image list screen 45.
  • the line-of-sight detection camera 29 is provided, for example, at the upper left end of the main body 25 facing the left eyebrow of the user 13 when the HMD 11 is mounted.
  • the line-of-sight detection camera 29 is, for example, a visible light camera, and images the left eye of the user 13 at a predetermined frame rate (for example, 30 frames / second).
  • An image (hereinafter referred to as a captured image) 85 (see FIG. 11) captured by the line-of-sight detection camera 29 is sequentially transmitted to the control server 12.
  • An arm 30 is attached to the main body 25, and a microphone 31 is attached to the tip of the arm 30.
  • the length and orientation of the arm 30 can be changed, whereby the position of the microphone 31 can be adjusted.
  • the microphone 31 picks up the voice of the user 13 for giving various instructions to the control server 12 and outputs it as an electrical signal.
  • the instructions to the control server 12 include a distribution instruction for the stored image list screen 45 (see FIGS. 6 and 13), an album creation instruction for instructing creation of the electronic album 61 (see FIGS. 6 and 15), and the like.
  • One end of a cable 32 is connected to the main body 25.
  • the other end of the cable 32 is connected to a network device such as a router.
  • the HMD 11 communicates with the control server 12 via this cable 32. Note that the communication of the HMD 11 may be wireless communication instead of wired communication using the cable 32.
  • the band part 26 is a band-like string having a width of about several centimeters, and is composed of a horizontal band 33 and a vertical band 34.
  • the horizontal band 33 is wound around both the head and the back of the user 13.
  • the vertical band 34 is wound around the frontal, top, and back of the user 13. Buckles (not shown) are attached to the horizontal band 33 and the vertical band 34, and the length can be adjusted.
  • FIG. 3 shows a situation where the user 13 is using the HMD 11 at home 14.
  • the user 13 stands toward the wall 40 of the home 14 and raises his left hand 41.
  • a base 42 is placed in the corner of the wall 40.
  • illustration of the cable 32 is abbreviate
  • the user 13 recognizes the augmented reality space ARS through the HMD 11.
  • an accumulated image list screen 45 having a list 44 of accumulated images 43 is displayed.
  • Most of the wall 40 and the base 42 are covered with a stored image list screen 45 as indicated by dotted lines.
  • the left hand 41 is not covered by the stored image list screen 45 and is positioned below the stored image list screen 45.
  • FIG. 4 shows the formation of the augmented reality space ARS.
  • the user 13 visually recognizes the real space RS where the wall 40, the left hand 41, and the table 42 exist through the screen 28 and the protective frame 27 of the HMD 11.
  • the user 13 visually recognizes the virtual space VS where the accumulated image list screen 45 exists through the inner surface of the screen 28.
  • the user 13 recognizes the augmented reality space ARS in which the real space RS and the virtual space VS are fused.
  • the display position of the stored image list screen 45 is fixed at a predetermined position in the virtual space VS. For this reason, in the augmented reality space ARS, the stored image list screen 45 is always displayed at the same position and in the same size. Similarly, the display positions of various screens other than the stored image list screen 45 are fixed at predetermined positions in the virtual space VS.
  • control server 12 includes a storage device 50, a memory 51, a CPU (Central Processing Unit) 52, and a communication unit 53. These are interconnected via a data bus 54.
  • a storage device 50 a memory 51, a CPU (Central Processing Unit) 52, and a communication unit 53. These are interconnected via a data bus 54.
  • CPU Central Processing Unit
  • the storage device 50 is a hard disk drive built in the control server 12 or connected through a cable or a network, or a disk array in which a plurality of hard disk drives are connected.
  • the storage device 50 stores a control program such as an operating system, various application programs, and various information associated with these programs.
  • the memory 51 is a work memory for the CPU 52 to execute processing.
  • the CPU 52 centrally controls each unit of the control server 12 by loading a program stored in the storage device 50 into the memory 51 and executing processing according to the program.
  • the communication unit 53 is responsible for communication of various information with the HMD 11 via the network 16.
  • an operation program 60 is stored in the storage device 50.
  • the operation program 60 is an application program for causing a computer constituting the control server 12 to function as a control device of the HMD 11.
  • the storage device 50 stores an accumulated image 43, an electronic album 61, an evaluation standard 62, image interest level information 63, and a selection condition 64.
  • the stored image 43, the electronic album 61, and the image interest level information 63 are stored separately for each user 13 by the user ID.
  • the CPU 52 cooperates with the memory 51 and the like to capture a captured image acquisition unit 70, a voice recognition unit 71, an instruction reception unit 72, a detection unit 73, a timing unit 74, an evaluation unit 75, information It functions as a reception unit 76, an information management unit 77, a selection unit 78, an album creation unit 79, and a display control unit 80.
  • the captured image acquisition unit 70 acquires captured images 85 that are sequentially transmitted from the line-of-sight detection camera 29 of the HMD 11 at a predetermined frame rate.
  • the captured image acquisition unit 70 outputs the acquired captured image 85 to the detection unit 73.
  • the voice recognition unit 71 recognizes the content of the uttered voice based on the electrical signal of the uttered voice of the user 13 from the microphone 31 of the HMD 11.
  • the voice recognition unit 71 outputs voice information, which is a recognition result of the content of the uttered voice, to the instruction receiving unit 72.
  • the instruction receiving unit 72 receives various instructions represented by the voice information from the voice recognition unit 71. If the instruction is a distribution instruction for the stored image list screen 45, the instruction receiving unit 72 outputs the instruction to the information management unit 77. In addition, when the instruction is an album creation instruction for instructing creation of the electronic album 61, the instruction receiving unit 72 outputs the instruction to the album creating unit 79. In addition to the distribution instruction and the album creation instruction, the instruction receiving unit 72 receives an instruction to reproduce the stored image 43 (see FIG. 14), an instruction to end display of the stored image list screen 45 (see FIG. 16), electronic There is an instruction to save the album 61 (see FIG. 17).
  • the detection unit 73 detects the line of sight of the user 13 with respect to the stored image 43 in the list 44 based on the captured image 85 from the captured image acquisition unit 70.
  • the detection unit 73 outputs line-of-sight information, which is a line-of-sight detection result, to the timekeeping unit 74, the information reception unit 76, and the display control unit 80.
  • the time measuring unit 74 measures the user's 13 gaze time for the stored image 43 in the list 44.
  • the timing unit 74 outputs the watched gaze time to the evaluation unit 75.
  • the evaluation unit 75 replaces the gaze time from the time measuring unit 74 with the degree of interest of the user 13 with respect to the accumulated image 43 based on the evaluation standard 62.
  • the evaluation unit 75 outputs the replaced interest level to the information reception unit 76 as gaze time information.
  • the information reception unit 76 has an information reception function of receiving line-of-sight information from the detection unit 73 and an interest level from the evaluation unit 75. Further, the information receiving unit 76 receives layout information (see FIG. 12) indicating the arrangement of the plurality of accumulated images 43 in the list 44 from the display control unit 80. The information reception unit 76 converts the line-of-sight information from the detection unit 73 into the image ID of the accumulated image 43 based on the layout information from the display control unit 80. The information reception unit 76 outputs the converted image ID and the degree of interest from the evaluation unit 75 to the information management unit 77.
  • the information management unit 77 has an information management function for managing various information stored in the storage device 50. As part of this information management function, the information management unit 77 associates the image ID from the information reception unit 76 with the degree of interest and records it in the storage device 50 as image interest level information 63. That is, the storage device 50 corresponds to a storage unit.
  • the information management unit 77 reads the image interest level information 63 from the storage device 50 and passes the read image interest level information 63 together with the selection condition 64 to the selection unit 78.
  • the information management unit 77 reads the stored image 43 from the storage device 50 in response to the distribution instruction on the stored image list screen 45 from the instruction receiving unit 72. Then, the read accumulated image 43 is transferred to the display control unit 80. In addition, the information management unit 77 passes the evaluation standard 62 to the evaluation unit 75.
  • the information management unit 77 receives the electronic album 61 from the album creation unit 79 and stores it in the storage device 50. In addition, the information management unit 77 stores in the storage device 50 the accumulated image 43 acquired from the imaging device of the user 13 or a personal computer by an accumulated image acquisition unit (not shown). The information management unit 77 stores the accumulated image 43 in, for example, a folder 90 (see FIG. 13) for each shooting date / time or acquisition date / time.
  • the selection unit 78 selects at least one interest image 100 (see FIG. 15) from the plurality of accumulated images 43 in the list 44 according to the image interest level information 63 and the selection condition 64 from the information management unit 77.
  • the selection unit 78 outputs the selected image of interest 100 to the album creation unit 79 and the display control unit 80.
  • the album creating unit 79 creates an electronic album 61 composed of a part of the plurality of stored images 43.
  • the album creating unit 79 creates the electronic album 61 including the interested image 100 when the interested image 100 is selected by the selecting unit 78 and the album creating instruction is received from the instruction receiving unit 72.
  • the album creation unit 79 outputs the created electronic album 61 to the information management unit 77 and the display control unit 80.
  • the display control unit 80 has a display control function for causing the HMD 11 to display various screens such as the stored image list screen 45.
  • the display control unit 80 generates the stored image list screen 45 according to the layout information based on the stored image 43 from the information management unit 77.
  • the display control unit 80 outputs the generated accumulated image list screen 45 to the HMD 11 that is the instruction source of the distribution instruction. Further, the display control unit 80 outputs the layout information to the information receiving unit 76.
  • the layout information is stored in the storage device 50 as with the evaluation standard 62 and the like.
  • the captured image acquisition unit 70 acquires captured images from a plurality of HMDs 11 attached to each of the plurality of users 13.
  • the display control unit 80 includes an accumulated image list screen 45A corresponding to the HMD 11A attached to the user 13A and an accumulated image list screen 45B corresponding to the HMD 11B attached to the user 13B. Generate. Then, the stored image list screen 45A is displayed on the HMD 11A, and the stored image list screen 45B is displayed on the HMD 11B.
  • the stored image 43A in the list 44A of the stored image list screen 45A is that of the user 13A
  • the stored image 43B in the list 44B of the stored image list screen 45B is that of the user 13B and is different.
  • the evaluation standard 62 indicates the correspondence between the gaze time and the interest level.
  • the gaze time of 0 seconds is a case where the line of sight of the user 13 has never been directed, and the lowest interest level 1 is associated.
  • the interest level 2 is associated with the gaze time of 1 second to less than 10 seconds
  • the interest level 3 is associated with the gaze time of 10 seconds to less than 20 seconds
  • the interest level 4 is associated with the gaze time of 20 seconds to less than 30 seconds.
  • the highest interest level 5 is associated with a gaze time of 30 seconds or more.
  • the evaluation unit 75 replaces the gaze time with the degree of interest according to the evaluation standard 62. For example, when the gaze time from the time measuring unit 74 is 8 seconds, the evaluation unit 75 outputs the degree of interest 2 to the information receiving unit 76.
  • the image interest level information 63 is recorded by associating the image ID of the accumulated image 43 with the interest level, which is gaze time information.
  • FIG. 9 shows image interest level information 63 of the user 13 with the user ID “U001”.
  • the degree of interest 5 is associated with the image ID “P003”
  • the degree of interest 1 is associated with “P004”. According to the image interest level information 63, it is possible to grasp the interest level of the user 13 for each of the plurality of accumulated images 43.
  • the selection condition 64 has a content that the stored image 43 having the interest level 4 or higher should be selected as the interest image 100. Therefore, when the image interest level information 63 is the example of FIG. 9, the selection unit 78 selects at least the accumulated images 43 of the image IDs “P003” and “P005” having the interest level 4 or more as the interest image 100. If there is no accumulated image 43 that satisfies the selection condition 64, the selection unit 78 naturally does not select the image of interest 100.
  • the detection unit 73 analyzes the captured image 85 from the captured image acquisition unit 70 and recognizes the positions of the eye 86 and the iris 87 of the left eye of the user 13. Based on the position of the moving point iris 87 with respect to the eye 86 of the reference point, the line-of-sight position LSP of the user 13 is displayed in any of the display areas 88 of the plurality of accumulated images 43 in the list 44 in the virtual space VS. Detect if there is. Each display area 88 is given a number for distinction. The detection unit 73 outputs the number of the display area 88 that is detected as the line-of-sight position LSP of the user 13 as line-of-sight information. FIG. 11 shows a case where it is detected that the line-of-sight position LSP is present in the display area 88 of number 1.
  • the timer 74 measures the gaze time of the display area 88 while the line-of-sight information indicating the same display area 88 is input from the detector 73. For example, while the line-of-sight position LSP is in the number 1 display area 88, the gaze time of the number 1 display area 88 is counted. Then, when the line-of-sight position LSP moves from the display area 88 of the number 1 to the display area 88 of the number 2, for example, the measurement of the gaze time of the display area 88 of the number 1 is finished, and the gaze of the display area 88 of the number 2 Start timing time.
  • the timer 74 measures the gaze time of the display area 88 even when the line-of-sight position LSP once deviates and the line-of-sight position LSP returns again while the accumulated image list screen 45 is displayed. For this reason, the gaze time is an accumulated time during which the line-of-sight position LSP is present while the accumulated image list screen 45 is displayed. When the line-of-sight position LSP returns again, it may be determined that the degree of interest of the user 13 is higher, and weighting such as increasing the gaze time by 1.5 times may be performed. When the line-of-sight information indicates a position other than the display area 88, the timer 74 does not measure the gaze time.
  • the layout information output from the display control unit 80 to the information receiving unit 76 indicates the image ID of the stored image 43 displayed in each display area 88.
  • the information reception unit 76 acquires the image ID of the accumulated image 43 corresponding to the display area 88 indicated by the line-of-sight information from the detection unit 73 from the layout information. Then, the acquired image ID is output to the information management unit 77.
  • FIG. 12 shows a case where the display area 88 indicated by the line-of-sight information is No. 1 and the image ID “P001” of the stored image 43 corresponding to the No. 1 display area 88 is output.
  • the user 13 is authorized to access the control server 12.
  • the display control unit 80 first displays an access authentication screen for the control server 12 on the HMD 11. A message asking for the user ID and password is displayed on the access authentication screen.
  • the user 13 speaks his / her user ID and password.
  • the uttered voice is converted into an electric signal by the microphone 31, the content is recognized by the voice recognition unit 71, and the instruction receiving unit 72 receives it as voice information.
  • the authentication unit not shown
  • the user ID and password of the utterance voice are collated with the user ID and password registered in advance, and access authentication is performed.
  • the display control unit 80 causes the HMD 11 to display a folder selection screen 93 having a list 91 of folders 90 of the stored image 43 and a message 92 prompting selection of the folder 90, as shown in the upper part of the arrow in FIG.
  • the user 13 speaks the name of the folder 90 for which the list 44 is to be displayed.
  • the instruction receiving unit 72 receives the voice information obtained by recognizing the utterance voice of the name of the folder 90 by the voice recognition unit 71 as a distribution instruction of the stored image list screen 45.
  • the display control unit 80 generates an accumulated image list screen 45 as shown in the lower part of the arrow, and displays it on the HMD 11 that is the instruction source of the distribution instruction.
  • FIG. 13 shows a case where a distribution instruction is issued on the stored image list screen 45 of the stored image 43 in the folder 90 of “June 2016”.
  • the display control unit 80 displays the mark 95 on the accumulated image 43 in the list 44 where the line of sight of the user 13 is placed based on the line of sight information from the detection unit 73.
  • the mark 95 is a rectangular frame surrounding the accumulated image 43 (the display area 88 indicated by the line-of-sight information) where the line of sight of the user 13 is placed.
  • the display area 88 with the number 1 is indicated by the line-of-sight information, and the mark 95 is displayed on the stored image 43 with the image ID “P001”.
  • the instruction reception unit 72 receives the voice information obtained by recognizing the utterance voice of “reproduction” by the voice recognition unit 71 as a reproduction instruction. That is, the instruction receiving unit 72 functions as a reproduction instruction receiving unit.
  • the display control unit 80 causes the HMD 11 to display the reproduction display screen 96 of the stored image 43 on which the mark 95 is displayed, as shown in the lower part of the arrow. On the reproduction display screen 96, a full-size enlarged image 97 of the accumulated image 43 on which the mark 95 is displayed is displayed.
  • the display control unit 80 displays the interest image list screen 102 having the list 101 of the interest images 100 selected by the selection unit 78 in the HMD 11. Display. Below the image of interest 100, an asterisk 103 indicating the degree of interest of the user 13 with respect to the image of interest 100 is displayed. A message 104 asking to create the electronic album 61 is displayed at the bottom of the list 101.
  • FIG. 15 illustrates a case where the stored image 43 with the image IDs “P003”, “P005”, and “P010” is selected as the image of interest 100.
  • the voice information obtained by the voice recognition unit 71 recognizing the utterance voice of “Create Album” is instructed as an album creation instruction.
  • the reception part 72 receives.
  • the album creating unit 79 creates an electronic album 61 including the interest image 100 displayed on the interest image list screen 102.
  • the display control unit 80 receives the electronic album 61 from the album creating unit 79 and displays the browsing screen 105 of the electronic album 61 on the HMD 11 as shown in the lower part of the arrow.
  • the display control unit 80 displays the electronic album 61 in a form simulating a paper album.
  • FIG. 15 illustrates an electronic album 61 in which a large-sized interest image 100 and a small-sized accumulated image 43 are interwoven.
  • the electronic album 61 may be created using only the image of interest 100, and in short, it is sufficient that at least one image of interest 100 is included in the electronic album 61. Further, the electronic album 61 including the image of interest 100 may be automatically created after the display of the stored image list screen 45 is finished without receiving an album creation instruction.
  • a message 106 asking to save the electronic album 61 is displayed at the bottom of the electronic album 61.
  • the instruction accepting unit 72 accepts the voice information in which the speech recognition unit 71 recognizes the uttered voice of “save album” as an album saving instruction.
  • the information management unit 77 stores the electronic album 61 in the storage device 50.
  • the operation of the above configuration will be described with reference to the flowcharts of FIGS. 16 and 17.
  • the user 13 wears the HMD 11 on the head.
  • the control server 12 is accessed via the access authentication screen.
  • the folder selection screen 93 shown in the upper part of the arrow in FIG. In the state where the folder selection screen 93 is displayed, when the name of the folder 90 for which the user wants to display the list 44 is uttered by the user 13, the voice information of the utterance is used as a distribution instruction on the stored image list screen 45 and the instruction receiving unit 72. Will be accepted. Then, an accumulated image list screen 45 is displayed on the HMD 11 as shown in the lower part of the arrow in FIG. 13 (step S100 in FIG. 16, display control step).
  • the line of sight of the user 13 with respect to the stored image 43 in the list 44 is detected based on the captured image 85 (step S110).
  • the line-of-sight information which is the result of the line-of-sight detection, is output to the timing unit 74, the information reception unit 76, and the display control unit 80.
  • step S120 the user's gaze time for the accumulated image 43 in the list 44 is timed (step S120). These processes in steps S100 to S120 are repeated until the user 13 gives an instruction to end the display of the stored image list screen 45 (YES in step S130). Note that the end instruction is given by an utterance such as “display end”, for example.
  • the gaze time is output to the evaluation unit 75, and the evaluation unit 75 replaces it with the degree of interest (step S140).
  • the degree of interest is output to the information receiving unit 76.
  • the information reception unit 76 receives the line-of-sight information from the detection unit 73 and the degree of interest from the evaluation unit 75 (step S150, information reception step).
  • the line-of-sight information is converted into the image ID of the stored image as shown in FIG.
  • the image ID and the degree of interest are output to the information management unit 77.
  • the image ID and the interest level are recorded in the storage device 50 in association with the image interest level information 63 by the information management unit 77 (step S160, information management step).
  • the image interest level information 63 and the selection condition 64 are transferred from the information management unit 77 to the selection unit 78.
  • the image of interest 100 is selected from the plurality of accumulated images 43 in the list 44 (step S200 in FIG. 17).
  • the interest image 100 is output to the album creating unit 79 and the display control unit 80.
  • the interest image list screen 102 shown in the upper part of the arrow in FIG. 15 is displayed on the HMD 11 (step S210). If “album creation” is uttered by the user 13 in a state where the interest image list screen 102 is displayed, the voice information of the utterance is received by the instruction receiving unit 72 as an album creation instruction (YES in step S220). The album creation instruction is output to the album creation unit 79.
  • the album creating unit 79 When receiving the album creation instruction from the instruction receiving unit 72, the album creating unit 79 creates the electronic album 61 including the image of interest 100 (step S230).
  • the electronic album 61 is output to the information management unit 77 and the display control unit 80.
  • the browsing screen 105 of the electronic album 61 shown in the lower part of the arrow in FIG. 15 is displayed on the HMD 11 (step S240).
  • the voice information of the utterance is accepted by the instruction accepting unit 72 as an album save instruction (YES in step S250).
  • the information management unit 77 stores the electronic album 61 from the album creation unit 79 in the storage device 50 (step S260).
  • step S220 If there is an utterance such as “not created” from the user 13 and there is an instruction opposite to the album creation instruction (NO in step S220), the process is terminated. In addition, when there is an utterance such as “do not save” from the user 13 and there is an instruction opposite to the instruction to save the album (NO in step S250), the processing is similarly ended.
  • the image ID of the accumulated image 43 and the interest level which is information on the gaze time are associated and recorded as the image interest level information 63.
  • the gaze time information for the stored image 43 such as selecting the image of interest 100 according to the image interest level information 63, or creating the electronic album 61 including the image of interest 100.
  • the selection unit 78 selects the image of interest 100 in accordance with the image interest level information 63 from the information management unit 77, the user 13 only has to browse the stored image list screen 45 without hesitation. There is no need to select an image of interest from the stored image 43. For this reason, the convenience of the user 13 can be improved.
  • the electronic album 61 including the interest image 100 is created by the album creation unit 79, the electronic album 61 that reflects the degree of interest of the user 13 with respect to the stored image 43 can be easily created.
  • the evaluation unit 75 replaces the gaze time with the interest level and records the replaced interest level as the gaze time information, the gaze time information can be simplified. For this reason, the selection conditions 64 for the image of interest 100 can also be simplified.
  • the gaze time itself may be recorded as the gaze time information without replacing the gaze time with the interest level.
  • a gaze time of 20 seconds or longer is set as the selection condition 64.
  • the selection condition 64 the selection number of the interest images 100 may be set, the interest images 100 may be selected in descending order of gaze time, and the selection may be stopped when the selected interest images 100 reach the selection number. .
  • a GUI is provided by which the user 13 proactively selects the image of interest 100, and the difference between the image of interest 100 selected by the GUI and the planned selection number determined by the number of pages of the electronic album 61 is insufficient. Only the number to be selected may be selected by the selection unit 78. By doing so, it is possible to select an image of high interest of the user 13 in an auxiliary manner during the operation of the user 13 selecting an image to be posted on the electronic album 61. Therefore, it is possible to efficiently select an image that is not uncomfortable for the user 13 and is of interest while following the procedure for creating a conventional electronic album based on the intention of the user 13 first.
  • an image similar to the image selected by the user 13 using the GUI may not be selected as the image of interest 100 by the selection unit 78 even if the selection condition 64 is cleared for a relatively long gaze time.
  • a known image analysis technique for calculating the similarity of images is used.
  • the determination may be based on the degree of approximation of the image shooting date and time.
  • the user 13 selects one image from a plurality of images obtained by continuously shooting the same subject a plurality of times, there is a possibility that the images are selected while comparing the plurality of images.
  • the display control unit 80 causes the HMD 11 to display the interest image list screen 110 shown in the upper part of the arrow in FIG.
  • the interest image list screen 110 in addition to the same list 101 as the interest image list screen 102 shown in FIG. 15 of the first embodiment, a message 111 that asks the user to add the interest image 100 to the electronic album 61E, and an icon form The electronic album 61E is displayed.
  • the procedure for displaying the electronic album 61E on the interest image list screen 110 is as follows. First, the information management unit 77 reads the electronic album 61E from the storage device 50. When there are a plurality of electronic albums 61E, the information management unit 77 reads the latest electronic album 61E. The information management unit 77 delivers the read electronic album 61E to the album creation unit 79 and the display control unit 80. The display control unit 80 displays the electronic album 61E from the information management unit 77 on the interest image list screen 110.
  • the voice information obtained by recognizing the utterance speech of “addition” by the speech recognition unit 71 is The instruction receiving unit 72 receives an instruction to add the image of interest 100 to the electronic album 61E. That is, in the second embodiment, the instruction receiving unit 72 functions as an additional instruction receiving unit.
  • the instruction receiving unit 72 outputs an addition instruction to the album creating unit 79.
  • the album creating unit 79 adds the interest image 100 from the selection unit 78 to the electronic album 61E from the information management unit 77 to create the electronic album 61.
  • the album creating unit 79 outputs the created electronic album 61 to the display control unit 80.
  • FIG. 19 only the instruction receiving unit 72 and the album creating unit 79 necessary for explanation are shown, and the other units such as the detecting unit 73 and the time measuring unit 74 are not shown.
  • the display control unit 80 displays the browsing screen 105 of the electronic album 61 from the album creating part 79 on the HMD 11 as shown in the lower part of the arrow in FIG. Display. Subsequent processes such as storage of the electronic album 61 are the same as those in the first embodiment, and a description thereof will be omitted.
  • the electronic album 61 is created every time the image of interest 100 is selected. This is unnecessary, and the number of electronic albums 61 can be reduced. For this reason, the electronic album 61, and hence the stored image 43, can be easily organized.
  • the user 13 may select the electronic album 61E to which the image of interest 100 is added. Further, a plurality of electronic albums 61E are integrated to create one electronic album 61, the interest image 100 added to the electronic album 61E is deleted, or the layout (size, paste position) of the interest image 100 is changed. For example, a function for editing the electronic album 61E may be added.
  • the reproduction display screen 96 having the enlarged image 97 is displayed on the HMD 11 in response to an instruction to reproduce the stored image 43 on which the mark 95 is displayed.
  • the display position of the playback display screen 96 is fixed at a predetermined position in the virtual space VS like the other screens. Therefore, in the third embodiment shown in FIGS. 20 to 22, the reproduction display screen 96 having the enlarged image 97 on the real object in the real space RS is reproduced and displayed.
  • a field-of-view camera 116 is provided in addition to the respective parts of the HMD 11 of the first embodiment.
  • the field-of-view camera 116 is provided, for example, in the upper center of the main body 25 that faces the eyebrows of the user 13 when the HMD 115 is mounted.
  • the field-of-view camera 116 captures an approximately same field of view as the augmented reality space ARS recognized by the user 13 through the HMD 115 at a predetermined frame rate (for example, 30 frames / second).
  • the field-of-view camera 116 sequentially transmits captured images (hereinafter referred to as field-of-view images) 121 (see FIG. 22) to the control server 12.
  • a marker 117 is attached to the wall 40 of the home 14.
  • the marker 117 is, for example, a sheet in which a black and white regular pattern and an identification line that enables vertical and horizontal discrimination are drawn on a square frame.
  • the marker 117 indicates the appearance position of the reproduction display screen 96 in the real space RS. That is, the wall 40 to which the marker 117 is attached corresponds to a real object in the real space RS that reproduces and displays the accumulated image 43.
  • the user 13 utters “play” as shown in FIG. 14 and instructs the playback of the stored image 43 on which the mark 95 is displayed. Then, the position LSP of the line of sight is aligned with the marker 117 as indicated by the dotted arrow. Then, as shown in the augmented reality space ARS, the reproduction display screen 96 displayed in a predetermined area centered on the marker 117 can be visually recognized.
  • a visual field image acquisition unit 118 in addition to the units 70 to 80 (not shown) shown in FIG. 6 of the first embodiment, a visual field image acquisition unit 118, a marker detection unit 119, and a screen editing unit 120 are provided.
  • the CPU 52 is constructed.
  • the visual field image acquisition unit 118 acquires the visual field image 121 sequentially transmitted from the visual field camera 116 of the HMD 115 at a predetermined frame rate.
  • the visual field image acquisition unit 118 outputs the acquired visual field image 121 to the marker detection unit 119.
  • the marker detection unit 119 recognizes the marker 117 in the visual field image 121 using a known image recognition technique. Then, the length, angle, and position of the identification line that enables identification of the up and down, left and right sides of the square 117 constituting the marker 117 in the visual field image 121 are detected, and based on these and the correspondence information 122, A three-dimensional position of the HMD 115 (the eye of the user 13) with respect to the marker 117 is detected.
  • the marker detection unit 119 outputs detected position information (hereinafter, position information) to the screen editing unit 120.
  • the position information is, for example, position coordinates of the HMD 115 in a three-dimensional space with the center of the marker 117 as the origin.
  • the correspondence information 122 is a calculation formula for obtaining the position coordinates of the HMD 115 in a three-dimensional space with the center of the marker 117 as the origin. In this calculation formula, for example, the length, the angle, and the position where the identification line that enables the vertical, horizontal, and horizontal discrimination that forms the marker 117 in the visual field image 121 is used as a variable.
  • the three-dimensional space having the center of the marker 117 as the origin refers to the plane where the marker 117 is placed (the wall 40 in this case) on the XY plane and the plane where the marker 117 is placed, with the center of the marker 117 being the origin.
  • the screen editing unit 120 edits the playback display screen 96 based on the stored image 43 on which the mark 95 is received, received from the information management unit 77, in accordance with the position information from the marker detection unit 119. More specifically, the screen editing unit 120 performs a rotation process and an enlargement / reduction process on the playback display screen 96 so that the orientation and the size when viewed from the position of the HMD 115 indicated by the position information are obtained. The screen editing unit 120 outputs the edited reproduction display screen 96 to the display control unit 80.
  • the playback display screen 96 is edited based on the position information by the screen editing unit 120, for example, when the user 13 approaches the marker 117, the playback display screen 96 is enlarged and displayed. Conversely, when the user 13 moves away from the marker 117, the playback display screen 96 is reduced and displayed as the user 13 moves away. That is, the display on the playback display screen 96 is changed according to the three-dimensional positional relationship between the HMD 115 (user 13) and the marker 117.
  • the reproduction display screen 96 (accumulated image 43) is reproduced and displayed on the real object in the real space RS, the user 13 can project and enjoy the reproduction display screen 96 on his / her favorite place.
  • the real object in the real space RS for reproducing and displaying the reproduction display screen 96 is not limited to the wall 40 in the above example.
  • it may be a ceiling, a desk, a paper album, or a photo frame.
  • a technique may be employed in which the playback display screen 96 appears on a set specific real object without using the marker 117.
  • a specific real object shown in the field-of-view image 121 is recognized by the image recognition technology, and the reproduction display screen 96 is displayed on the specific real object while the recognized specific real object is regarded as the marker 117.
  • transmissive HMD 11 is illustrated in the first embodiment, when an HMD with a field camera 116 such as the HMD 115 according to the third embodiment is used, a virtual image is displayed as the field image 121 output from the field camera 116. It is good also as a non-transmissive type which superimposes and projects and displays on the inner surface of the screen 28.
  • the display control unit 80 can display the stored image list screen 45 on the HMD 11 attached to each of the plurality of users 13.
  • the accumulated image list screens 45 corresponding to the HMDs 11 of the plurality of users 13 have different contents. Is possible.
  • the stored image list screen 45 having the same content is displayed on the HMDs 11 of a plurality of users 13, for example, using the Internet telephone function or the like, between the plurality of users 13 at remote locations by using the speech voice converted into an electrical signal by the microphone 31. It is assumed that communication is possible. Then, the stored image 43 can be browsed while enjoying conversations between the plurality of users 13.
  • a mode switching unit 125 is built in the CPU 52 in addition to the units 70 to 80 (not shown except for the instruction receiving unit 72) shown in FIG. 6 of the first embodiment.
  • the instruction receiving unit 72 receives a sharing instruction based on the speech of the user 13 that is “this image”. That is, in the fourth embodiment, the instruction receiving unit 72 corresponds to a sharing instruction receiving unit.
  • the instruction receiving unit 72 outputs a sharing instruction to the mode switching unit 125.
  • the mode switching unit 125 switches between shared mode and non-shared mode.
  • the sharing mode is a mode in which the accumulated image 43 in the list 44 on which the line of sight of the user 13 who has given the sharing instruction is placed is shared among a plurality of users 13.
  • the non-sharing mode is a mode in which the accumulated image on which the line of sight of the user 13 is placed is not shared among the plurality of users 13.
  • the user 13 who has given the sharing instruction is referred to as an instructing user
  • the stored image 43 in the list 44 where the line of sight of the instructing user is placed is referred to as a gaze image.
  • the mode switching unit 125 normally sets the mode to the non-sharing mode, and switches the mode to the sharing mode when receiving a sharing instruction from the instruction receiving unit 72.
  • the mode switching unit 125 automatically returns the mode to the non-sharing mode after a predetermined time (for example, 30 seconds) has elapsed since switching to the sharing mode.
  • the mode switching unit 125 outputs this mode information (hereinafter, mode information) to the display control unit 80.
  • the display control unit 80 displays the mark 95 on the gaze image on the stored image list screen 45 of all the users 13.
  • the display control unit 80 displays the mark 95 on the accumulated image 43 in the list 44 where the lines of sight of the plurality of users 13 are placed.
  • FIG. 24 and 25 show a case where two users 13A and 13B are browsing the stored image list screens 45A and 45B having the same contents through the HMDs 11A and 11B.
  • FIG. 24 shows the case of the non-shared mode
  • FIG. 25 shows the case of the shared mode.
  • the users 13A and 13B are in a state in which they can communicate with each other by uttered voice using, for example, the Internet telephone function.
  • “A” and “B” are assigned to the stored image 43, the list 44, and the stored image list screen 45, respectively, for the sake of convenience, but these are exactly the same.
  • the line-of-sight position LSP-A of the user 13A is in the stored image 43A with the image ID “P001”.
  • the line-of-sight position LSP-B of the user 13B is in the stored image 43B with the image ID “P009”. Therefore, on the stored image list screen 45A, the mark 95A is displayed on the stored image 43A with the image ID “P001”, and on the stored image list screen 45B, the mark 95B is displayed on the stored image 43B with the image ID “P009”.
  • the instruction receiving unit 72 receives the voice information obtained by recognizing the uttered voice by the voice recognition unit 71 as a sharing instruction. Then, the mode switching unit 125 switches the mode from the non-shared mode of FIG. 24 to the shared mode. Then, on the stored image list screen 45B, the mark 95B displayed on the stored image 43B with the image ID “P009” is moved to the stored image 43B with the image ID “P001”. After a predetermined time has elapsed, the state is automatically returned to the non-shared mode state of FIG. In this case, the user 13A corresponds to the instructing user, and the stored image 43 with the image ID “P001” corresponds to the gaze image.
  • the user 13 receives a sharing instruction, and has a sharing mode in which a gaze image on which the line of sight of the instructing user who has given the sharing instruction is placed is shared among a plurality of users 13. Since the mark 95 is displayed, the gaze image can be easily shared among the plurality of users 13.
  • the sharing mode and the non-sharing mode are switched, it is possible to switch to the sharing mode only when one user 13 desires to share the gaze image with the other user 13. For this reason, it is prevented that the gaze image of one user 13 is known to other users 13 without darkness, and the privacy of the user 13 can be protected.
  • the sharing instruction is based on a simple utterance voice of the user 13 such as “this image”
  • the characteristics of the gaze image (the name of the person in the image, the place name of the scenery, the color, the arrangement of the object, etc.) are precisely specified by another user 13. It is possible to share a gaze image without explaining the above.
  • the mode is automatically returned to the non-shared mode after a predetermined time has elapsed since switching to the shared mode, the user 13 does not need to give an instruction to return to the non-shared mode, and forgets to return to the non-shared mode and does not intend In other words, the user's line of sight is not known to other users 13.
  • FIGS. 24 and 25 two users 13A and 13B are used, but two or more users 13 may be used.
  • 24 illustrates the case where the users 13A and 13B are browsing the stored image list screens 45A and 45B having the same content in the non-sharing mode, but the present invention is not limited to this.
  • each user 13 may browse the accumulated image list screen 45 having different contents.
  • the stored image list screen 45 having the same content as the stored image list screen 45 being browsed by the instructing user is displayed on the HMD 11 of the other user 13.
  • the sharing instruction is not limited to the speech of the user 13.
  • a sharing instruction based on a hand gesture of the user 13 may be received.
  • the HMD 115 with the visual field camera 116 shown in FIG. 20 is used.
  • the gesture of the hand of the user 13 is captured by the visual field camera 116, and the gesture reflected in the visual field image 121 is detected by an image recognition technique.
  • a videophone function or the like is used to make a gesture of another user 13 visible among a plurality of users 13.
  • a sharing instruction gesture for example, a gesture in which an index finger is raised and directed forward, or a sign language of “share” can be employed.
  • other instructions such as a distribution instruction on the stored image list screen 45, an album creation instruction for the electronic album 61, or an instruction to add the image of interest 100 to the electronic album 61E are not instructions based on the utterance voice but the user 13 It may be an instruction by hand gesture.
  • an additional instruction gesture in the state where the interest image list screen 110 shown in the upper part of the arrow in FIG. 18 is displayed, a drag-and-drop operation of selecting the interest image 100 with a finger and moving it to the electronic album 61E in the form of an icon. Gestures can be adopted.
  • Patent Document 1 As for the reproduction instruction of the stored image 43, a technique described in Patent Document 1 for reproducing and displaying an image that the user has continuously watched for a predetermined time or more may be employed.
  • the user 13 may have an operation unit and receive various instructions from the operation unit.
  • Evaluation criteria 62 are not limited to those exemplified in the first embodiment.
  • the degree of interest may be three levels of high, middle, and low instead of five levels of 1 to 5.
  • the user 13 may be able to customize the evaluation standard 62, for example, by changing the number of seconds of the gaze time.
  • the selection condition 64 may be customizable by the user 13 such as changing the interest level 4 or higher to the interest level 3 or higher.
  • the wording of the utterance voice of the instruction such as the distribution instruction on the stored image list screen 45 and the album creation instruction of the electronic album 61 is not limited to those exemplified in the above embodiments.
  • the user 13 may be customizable. For example, “album creation” in the album creation instruction may be “create album”, and “this image” in the sharing instruction may be “this”.
  • the accumulated image list screen 45 and the interest image list screen 102 or 110 may be integrated. Specifically, a list 101 of images of interest 100 may be displayed on the accumulated image list screen 45 along with the list 44 of accumulated images 43. 18 may be displayed on the stored image list screen 45.
  • the electronic album 61E in the form of an icon shown in FIG.
  • the HMD 11 is not limited to the type in which the entire eyes of the user 13 are covered with the goggle-shaped protective frame 27 and the band portion 26 is fixed to the head of the user 13 as in the above embodiments.
  • a glasses-type HMD having a temple that is worn on the ear of the user 13, a nose pad that hits the lower part of the eye, a rim that holds the screen, or the like may be used.
  • the line-of-sight detection camera 29 may not be mounted on the HMD 11. As long as at least the movement of the eyeball of the user 13 can be imaged, the installation position of the line-of-sight detection camera 29 does not matter.
  • the field-of-view camera 116 illustrated in FIG. 20 may not be mounted on the HMD 115. For this reason, the visual field camera 116 does not have to capture the same visual field as the augmented reality space ARS recognized by the user 13 through the HMD 115.
  • a visible light camera is used as the line-of-sight detection camera 29, and the line of sight of the user 13 is detected based on the position of the iris 87 with respect to the eye 86 shown in the captured image 85. It is not limited.
  • An infrared camera may be used as the line-of-sight detection camera 29, and the line of sight of the user 13 may be detected using the reference point as the corneal reflection and the moving point as the pupil.
  • the user 13 may be made to recognize the virtual reality space created by only the virtual image by shutting out the information of the real space RS through the HMD 11.
  • the function of the control device of the HMD 11 is assigned to the control server 12, but the present invention is not limited to this.
  • a personal computer 130 owned by the user 13 may be responsible for all or part of the functions of the control device.
  • functions other than the information reception unit 76 and the information management unit 77 are performed by the personal computer 130.
  • the control server 12 and the personal computer 130 constitute a control device.
  • the line-of-sight information, interest level, layout information, electronic album 61 and the like are transmitted from the personal computer 130 to the control server 12, and the stored image 43, image interest level information 63, selection condition 64 and the like are transmitted from the control server 12 to the personal computer 130. Send.
  • the user 13 may carry the function of the control device on a portable computer 135 that can be carried on the waist or the like.
  • the portable computer 135 responsible for the function of the control device may be a dedicated product specialized for the image display system 10 instead of the commercially available personal computer 130 shown in FIG.
  • you may mount the function of a control apparatus in HMD11 itself. In this case, the HMD 11 itself becomes a control device.
  • a function for storing and distributing images may be assigned to a network server different from the control server 12, and the control server 12 may be specialized for functions other than the function for storing and distributing images.
  • a network server such as the control server 12
  • a local server installed in the home 14 may serve as the control device.
  • control device by a plurality of computers separated as hardware for the purpose of improving processing capability and reliability.
  • the functions of the voice recognition unit 71 and the instruction receiving unit 72 are distributed to three computers.
  • the control device is constituted by three computers.
  • the hardware configuration of a computer can be appropriately changed according to required performance such as processing capability, safety, and reliability.
  • application programs such as the operation program 60 can be duplicated or distributed and stored in a plurality of storage devices for the purpose of ensuring safety and reliability. is there.
  • the information reception part 76, the information management part 77, and the display control part 80 should just be at least.
  • the voice recognition unit 71, the detection unit 73, and the time measuring unit 74 may be provided in the HMD 11 instead of the control device.
  • HMD11 The usage environment of HMD11 is not limited to home 14. As long as the connection environment with the control device is in place, it may be in the building where the user 13 is located or outdoors.
  • the captured image acquisition unit 70 for example, the captured image acquisition unit 70, the voice recognition unit 71, the instruction reception unit 72, the detection unit 73, the time measurement unit 74, the evaluation unit 75, the information reception unit 76, the information management unit 77, the selection unit 78,
  • the hardware structure of a processing unit (processing unit) that executes various processes, such as an album creation unit 79, a display control unit 80, a field-of-view image acquisition unit 118, a marker detection unit 119, a screen editing unit 120, and a mode switching unit 125, is as follows. These are various processors as shown below.
  • processors include a CPU, a programmable logic device (PLD), a dedicated electric circuit, and the like.
  • the CPU is a general-purpose processor that executes software (program) and functions as various processing units as is well known.
  • the PLD is a processor whose circuit configuration can be changed after manufacturing, such as FPGA (Field Programmable Gate Gate Array).
  • the dedicated electric circuit is a processor having a circuit configuration designed exclusively for executing a specific process such as ASIC (Application Specific Specific Integrated Circuit).
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, there is a form in which one processor is configured by a combination of one or more CPUs and software, and this processor functions as a plurality of processing units. . Secondly, as represented by a system-on-chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC chip is used. As described above, various processing units are configured using one or more of the various processors as a hardware structure.
  • SoC system-on-chip
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • the image display system described in the following supplementary item 1 and the head mounted display control device described in the supplementary item 2 can be grasped.
  • an image display system comprising a head mounted display mounted on a user's head and a control device for the head mounted display, A display control processor for displaying a list of images in which a plurality of images are arranged on the head mounted display; A detection processor for detecting the user's line of sight with respect to the image; A timing processor for timing the user's gaze time for the image based on the line-of-sight detection result; An information receiving processor for receiving the gaze time information; An image display system comprising: an information management processor that records the image and the gaze time information in association with a storage unit.
  • a display control processor for displaying a list of images in which a plurality of images are arranged on the head mounted display;
  • An information receiving processor for detecting information on the user's gaze time with respect to the image, wherein a detection processor detects the line of sight of the user with respect to the image, and the timing processor has timed based on a detection result of the detection processor;
  • An apparatus for controlling a head-mounted display comprising: an information management processor that records the image and the gaze time information in association with a storage unit.
  • the present invention can be appropriately combined with the above-described various embodiments and various modifications.
  • the first embodiment and the second embodiment, or the third embodiment and the fourth embodiment may be combined.
  • various configurations can be adopted without departing from the gist of the present invention.
  • the present invention extends to a storage medium for storing a program in addition to the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供する。 表示制御部(80)は、蓄積画像(43)の一覧(44)を有する蓄積画像一覧画面(45)をヘッドマウントディスプレイ(11)に表示させる。検知部(73)は、ヘッドマウントディスプレイ(11)の視線検知カメラ(29)からの撮像画像(85)に基づいて、蓄積画像(43)に対するユーザ(13)の視線を検知する。計時部(74)は、蓄積画像(43)に対するユーザ(13)の注視時間を計時する。評価部(75)は、評価基準(62)に基づいて、注視時間を蓄積画像(43)に対するユーザの関心度に置換する。情報受付部(76)は、関心度を注視時間の情報として受け付ける。情報管理部(77)は、蓄積画像(43)の画像IDと関心度を関連付けて、画像関心度情報(63)としてストレージデバイス(50)に記録する。

Description

画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
 本発明は、画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムに関する。
 ユーザの頭部に装着されたヘッドマウントディスプレイ(以下、HMD(Head Mounted Display))にコンピュータグラフィックスを用いた仮想画像を表示させ、仮想画像で作り出される仮想現実空間、または現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる技術が知られている。
 例えば特許文献1には、複数の画像が並べられた画像の一覧をHMDに表示させ、ユーザが所定時間以上連続して注視した画像をHMDに再生表示する技術が記載されている。特許文献1では、HMDに搭載したカメラでユーザの左眼を撮像し、この左眼の撮像画像に基づいてユーザの視線を検知している。
特開2014-143595号公報
 画像に対する注視時間は、ユーザの画像への関心度を示す重要な指標である。このため注視時間の情報は利用価値が高い。しかしながら、特許文献1では、単に注視時間が所定時間以上の画像を再生表示しているだけで、注視時間の情報の有効活用には至っていない。
 本発明は、画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することを目的とする。
 上記課題を解決するために、本発明の画像表示システムは、ユーザの頭部に装着されたヘッドマウントディスプレイと、ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御部と、画像に対するユーザの視線を検知する検知部と、視線の検知結果に基づいて、画像に対するユーザの注視時間を計時する計時部と、注視時間の情報を受け付ける情報受付部と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える。
 情報管理部からの注視時間の情報に応じて、複数の画像から少なくとも1つの関心画像を選出する選出部を備えることが好ましい。
 複数の画像のうちの一部の画像群で構成される電子アルバムを作成するアルバム作成部であり、関心画像が選出された場合に、関心画像を含む電子アルバムを作成するアルバム作成部を備えることが好ましい。
 表示制御部は、関心画像と、電子アルバムとをヘッドマウントディスプレイに表示させ、ユーザからの電子アルバムへの関心画像の追加指示を受け付ける追加指示受付部を備え、アルバム作成部は、追加指示に応じて電子アルバムを作成することが好ましい。
 表示制御部は、複数のユーザの各々に装着されたヘッドマウントディスプレイに一覧を表示させることが好ましい。この場合、ユーザの共有指示を受け付ける共有指示受付部と、共有指示を行った指示ユーザの視線が置かれている一覧中の画像である注視画像を複数のユーザ間で共有する共有モードと、注視画像を複数のユーザ間で共有しない非共有モードとを切り替えるモード切替部とを備えることが好ましい。
 表示制御部は、共有モードでは一覧中の注視画像にマークを表示させ、非共有モードでは複数のユーザの各々の視線が置かれている一覧中の画像にマークを表示させることが好ましい。
 共有指示受付部は、ユーザの発話音声による共有指示を受け付けることが好ましい。
 評価基準に基づいて、注視時間を画像に対するユーザの関心度に置換する評価部を備え、情報管理部は、関心度を注視時間の情報として記録することが好ましい。
 ユーザからの画像の再生指示を受け付ける再生指示受付部を備え、表示制御部は、ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させ、再生指示に応じて、現実空間の実在オブジェクトに画像を再生表示させることが好ましい。
 本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御部と、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付部と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える。
 本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動方法において、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御ステップと、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付ステップと、画像と注視時間の情報を記憶部に関連付けて記録する情報管理ステップとを備える。
 本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御機能と、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付機能と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理機能とを、コンピュータに実行させる。
 本発明によれば、ヘッドマウントディスプレイに表示された一覧中の画像に対するユーザの注視時間を計時し、画像と注視時間の情報を関連付けて記録するので、画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することができる。
画像表示システムを示す図である。 ヘッドマウントディスプレイの外観斜視図である。 ユーザがヘッドマウントディスプレイを使用している様子を示す図である。 拡張現実空間の成り立ちを説明するための図である。 制御サーバを構成するコンピュータのブロック図である。 制御サーバのCPUの構成を示すブロック図である。 複数のユーザの各々に装着されたヘッドマウントディスプレイに、対応する蓄積画像一覧画面を表示させる様子を示す図である。 評価基準を示す図である。 画像関心度情報を示す図である。 選出条件を示す図である。 検知部の機能を示す図である。 情報受付部の機能を示す図である。 フォルダ選択画面から蓄積画像一覧画面への表示遷移を示す図である。 ユーザの視線が置かれている一覧中の蓄積画像にマークを表示させた状態の蓄積画像一覧画面から再生表示画面への表示遷移を示す図である。 関心画像一覧画面から電子アルバムの閲覧画面への表示遷移を示す図である。 蓄積画像一覧画面の表示開始から終了までの処理手順を示すフローチャートである。 関心画像の選出から電子アルバムの記憶までの処理手順を示すフローチャートである。 第2実施形態における関心画像一覧画面から電子アルバムの閲覧画面への表示遷移を示す図である。 第2実施形態における指示受付部およびアルバム作成部の機能を示す図である。 視野カメラ付きヘッドマウントディスプレイの外観斜視図である。 壁に再生表示画面を再生表示している様子を示す図である。 第3実施形態の制御サーバのCPUの機能を示す図である。 第4実施形態の制御サーバのCPUの機能を示す図である。 非共有モードの場合の各ユーザが視認する蓄積画像一覧画面を示す図である。 共有モードの場合の各ユーザが視認する蓄積画像一覧画面を示す図である。 制御装置の別の例を示す図である。 制御装置のさらに別の例を示す図である。
 [第1実施形態]
 図1において、画像表示システム10は、HMD11と、HMD11の制御装置に相当する制御サーバ12とを備える。画像表示システム10は、制御サーバ12に蓄積された画像をHMD11に表示させ、ユーザ13がHMD11を通して画像を閲覧するものである。HMD11は各ユーザ13の自宅14で使用される。HMD11はユーザ13の頭部に装着される。ここで頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。制御サーバ12はデータセンタ15に設置されている。
 HMD11はネットワーク16を介して制御サーバ12と相互に通信可能に接続されている。ネットワーク16は、インターネットや公衆通信網といったWAN(Wide Area Network)等である。ネットワーク16には、情報セキュリティを考慮して、VPN(Virtual Private Network)が構築されたり、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。
 制御サーバ12は、図示しないユーザ13の撮影機器あるいはパーソナルコンピュータ等から画像を受信してこれを蓄積し、かつ画像をHMD11に配信する機能を有する。画像には、ユーザ13が撮影機器で撮影したものや、ユーザ13がインターネットでダウンロードしたもの等が含まれる。画像は、個々のユーザ13を識別するためのユーザID(Identification Data)、個々の画像を識別するための画像ID、あるいは撮影日時または取得日時、撮影場所(GPS(Global Positioning System)情報)またはインターネット上の取得場所(URL(Uniform Resource Locator))、ユーザ13が付したキーワード等を検索キーとして検索が可能である。以下では、制御サーバ12に蓄積された画像を蓄積画像43(図3参照)という。
 制御サーバ12では複数のユーザ13の蓄積画像43が集積管理されている。制御サーバ12は、HMD11からの配信指示に応じた蓄積画像43を検索し、検索した蓄積画像43を配信指示の指示元のHMD11に配信する。
 制御サーバ12は、HMD11の動作を制御する機能も有する。具体的には、蓄積画像43の一覧44(図3参照)を有する蓄積画像一覧画面45(図3参照)等の各種画面をHMD11に表示させる機能や、複数の蓄積画像43のうちの一部の画像群で構成される電子アルバム61(図6参照)を作成する機能等を有する。
 図1では、制御サーバ12は、複数のユーザ13の各々に装着された複数台のHMD11とネットワーク16を介して接続されている。制御サーバ12は、これら複数台のHMD11の各自の動作を独立して制御する。
 図2において、HMD11は、本体部25とバンド部26とで構成される。本体部25はHMD11の装着時にユーザ13の眼前に位置する。バンド部26はHMD11の装着時にユーザ13の頭部の上半部に固定される。
 本体部25は、保護枠27、スクリーン28、および視線検知カメラ29を備えている。保護枠27はユーザ13の両眼全体を覆うゴーグル形状を有し、透明な色付きのガラスまたはプラスチックで形成される。図示は省略するが、保護枠27のユーザ13の顔面と接触する部分にはウレタンフォームが貼り付けられている。
 スクリーン28および視線検知カメラ29は、保護枠27の内側に配されている。スクリーン28は眼鏡形状を有し、保護枠27と同様に透明な材料で形成される。このスクリーン28と保護枠27を通じて、ユーザ13は現実空間RS(図4参照)を肉眼で視認する。つまりHMD11は透過型である。
 また、ユーザ13の眼と対向するスクリーン28の内面には、コンピュータグラフィックスを用いた仮想画像が投影部(図示せず)から投影表示される。投影部は周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン28の内面に向けて投影する投影光学系とで構成される。仮想画像はスクリーン28の内面で反射してユーザ13の眼に入射する。これにより、ユーザ13は仮想画像を仮想空間VS(図4参照)上の虚像として認識する。
 仮想画像には、拡張現実空間ARS(図3参照)において、現実空間RSに存在する実在オブジェクトと同じようにユーザ13が認識する仮想オブジェクトがある。仮想オブジェクトは、例えば蓄積画像一覧画面45である。
 視線検知カメラ29は、例えばHMD11の装着時にユーザ13の左眉尻と対向する本体部25の上部左端に設けられている。視線検知カメラ29は例えば可視光カメラであり、ユーザ13の左眼を所定のフレームレート(例えば30フレーム/秒)で撮像する。視線検知カメラ29で撮像された画像(以下、撮像画像)85(図11参照)は、逐次制御サーバ12に送信される。
 本体部25にはアーム30が取り付けられ、アーム30の先端にはマイクロフォン31が取り付けられている。アーム30は長さおよび向きを変更可能であり、これによりマイクロフォン31の位置を調整可能である。マイクロフォン31は、制御サーバ12に様々な指示を行うためのユーザ13の発話音声を収音し、電気信号として出力する。制御サーバ12への指示には、蓄積画像一覧画面45の配信指示(図6および図13参照)や、電子アルバム61の作成を指示するアルバム作成指示(図6および図15参照)等がある。
 本体部25にはケーブル32の一端が接続されている。ケーブル32の他端はルータ等のネットワーク機器に接続されている。HMD11は、このケーブル32を介して制御サーバ12と通信する。なお、HMD11の通信を、ケーブル32を用いた有線通信ではなく無線通信としてもよい。
 バンド部26は数センチ程度の幅を有する帯状の紐であり、横バンド33と縦バンド34とで構成される。横バンド33は、ユーザ13の両側頭部と後頭部に巻き付けられる。縦バンド34はユーザ13の前頭部、頭頂部、および後頭部に巻き付けられる。これら横バンド33および縦バンド34には図示しないバックルが取り付けられており、長さ調節が可能である。
 図3は、自宅14においてユーザ13がHMD11を使用している様子を示す。ユーザ13は自宅14の壁40に向かって立ち、左手41を挙げている。壁40の隅には台42が置かれている。なお、図3ではケーブル32の図示を省略している。
 ユーザ13は、HMD11を通じて拡張現実空間ARSを認識している。拡張現実空間ARSには、蓄積画像43の一覧44を有する蓄積画像一覧画面45が表示されている。壁40および台42は、点線で示すようにその大部分が蓄積画像一覧画面45で覆い隠されている。一方、左手41は蓄積画像一覧画面45では覆い隠されておらず、蓄積画像一覧画面45の下方に位置している。
 図4に、拡張現実空間ARSの成り立ちを示す。ユーザ13は、HMD11のスクリーン28と保護枠27を通じて、壁40、左手41、および台42が存在する現実空間RSを視認する。加えて、ユーザ13は、スクリーン28の内面を通じて、蓄積画像一覧画面45が存在する仮想空間VSを視認する。これにより、ユーザ13は、現実空間RSと仮想空間VSを融合させた拡張現実空間ARSを認識する。
 蓄積画像一覧画面45は、仮想空間VS内の所定位置に表示位置が固定されている。このため、拡張現実空間ARSにおいては、蓄積画像一覧画面45は常に同じ位置に同じ大きさで表示される。なお、蓄積画像一覧画面45以外の各種画面も同様に、仮想空間VS内の所定位置に表示位置が固定されている。
 図5において、制御サーバ12は、ストレージデバイス50、メモリ51、CPU(Central Processing Unit)52、および通信部53を備えている。これらはデータバス54を介して相互接続されている。
 ストレージデバイス50は、制御サーバ12に内蔵、またはケーブルあるいはネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス50には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種情報等が記憶されている。
 メモリ51は、CPU52が処理を実行するためのワークメモリである。CPU52は、ストレージデバイス50に記憶されたプログラムをメモリ51へロードして、プログラムにしたがった処理を実行することにより、制御サーバ12の各部を統括的に制御する。通信部53は、ネットワーク16を介したHMD11との間の各種情報の通信を担う。
 図6において、ストレージデバイス50には作動プログラム60が記憶されている。作動プログラム60は、制御サーバ12を構成するコンピュータを、HMD11の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス50には、作動プログラム60の他に、蓄積画像43、電子アルバム61、評価基準62、画像関心度情報63、および選出条件64が記憶されている。蓄積画像43、電子アルバム61、および画像関心度情報63は、ユーザ13毎にユーザIDで区別して記憶されている。
 作動プログラム60が起動されると、CPU52は、メモリ51等と協働して、撮像画像取得部70、音声認識部71、指示受付部72、検知部73、計時部74、評価部75、情報受付部76、情報管理部77、選出部78、アルバム作成部79、および表示制御部80として機能する。
 撮像画像取得部70は、HMD11の視線検知カメラ29から所定のフレームレートで逐次送信される撮像画像85を取得する。撮像画像取得部70は、取得した撮像画像85を検知部73に出力する。
 音声認識部71は、HMD11のマイクロフォン31からのユーザ13の発話音声の電気信号に基づいて、発話音声の内容を認識する。音声認識部71は、発話音声の内容の認識結果である音声情報を指示受付部72に出力する。
 指示受付部72は、音声認識部71からの音声情報で表される様々な指示を受け付ける。指示受付部72は、指示が蓄積画像一覧画面45の配信指示であった場合、これを情報管理部77に出力する。また、指示受付部72は、指示が電子アルバム61の作成を指示するアルバム作成指示であった場合、これをアルバム作成部79に出力する。指示受付部72が受け付ける指示には、これら配信指示、アルバム作成指示の他に、蓄積画像43の再生指示(図14参照)、蓄積画像一覧画面45の表示の終了指示(図16参照)、電子アルバム61の保存指示(図17参照)等がある。
 検知部73は、撮像画像取得部70からの撮像画像85に基づいて、一覧44中の蓄積画像43に対するユーザ13の視線を検知する。検知部73は、視線の検知結果である視線情報を計時部74、情報受付部76、および表示制御部80に出力する。
 計時部74は、一覧44中の蓄積画像43に対するユーザ13の注視時間を計時する。計時部74は、計時した注視時間を評価部75に出力する。
 評価部75は、評価基準62に基づいて、計時部74からの注視時間を、蓄積画像43に対するユーザ13の関心度に置換する。評価部75は、置換した関心度を注視時間の情報として情報受付部76に出力する。
 情報受付部76は、検知部73からの視線情報、並びに評価部75からの関心度を受け付ける情報受付機能を担う。また、情報受付部76は、表示制御部80から、複数の蓄積画像43の一覧44における配置を示すレイアウト情報(図12参照)を受け付ける。情報受付部76は、表示制御部80からのレイアウト情報に基づいて、検知部73からの視線情報を蓄積画像43の画像IDに変換する。情報受付部76は、変換した画像IDと評価部75からの関心度とを情報管理部77に出力する。
 情報管理部77は、ストレージデバイス50に記憶された各種情報を管理する情報管理機能を担う。この情報管理機能の一環として、情報管理部77は、情報受付部76からの画像IDと関心度を関連付けて、画像関心度情報63としてストレージデバイス50に記録する。すなわち、ストレージデバイス50は記憶部に相当する。
 また、情報管理部77は、ストレージデバイス50から画像関心度情報63を読み出し、読み出した画像関心度情報63を選出条件64とともに選出部78に受け渡す。
 情報管理部77は、指示受付部72からの蓄積画像一覧画面45の配信指示に応じて、ストレージデバイス50から蓄積画像43を読み出す。そして、読み出した蓄積画像43を表示制御部80に受け渡す。また、情報管理部77は、評価基準62を評価部75に受け渡す。
 情報管理部77は、アルバム作成部79から電子アルバム61を受け取り、これをストレージデバイス50に記憶する。また、情報管理部77は、図示しない蓄積画像取得部にてユーザ13の撮影機器あるいはパーソナルコンピュータ等から取得した蓄積画像43をストレージデバイス50に記憶する。情報管理部77は、例えば撮影日時または取得日時毎のフォルダ90(図13参照)に分けて蓄積画像43を記憶する。
 選出部78は、情報管理部77からの画像関心度情報63および選出条件64に応じて、一覧44中の複数の蓄積画像43から少なくとも1つの関心画像100(図15参照)を選出する。選出部78は、選出した関心画像100をアルバム作成部79および表示制御部80に出力する。
 アルバム作成部79は、複数の蓄積画像43のうちの一部の画像群で構成される電子アルバム61を作成する。アルバム作成部79は、選出部78で関心画像100が選出され、かつ指示受付部72からアルバム作成指示を受けた場合に、関心画像100を含む電子アルバム61を作成する。アルバム作成部79は、作成した電子アルバム61を情報管理部77および表示制御部80に出力する。
 表示制御部80は、蓄積画像一覧画面45等の各種画面をHMD11に表示させる表示制御機能を担う。例えば、表示制御部80は、情報管理部77からの蓄積画像43に基づいて、レイアウト情報にしたがって蓄積画像一覧画面45を生成する。表示制御部80は、生成した蓄積画像一覧画面45を配信指示の指示元のHMD11に出力する。また、表示制御部80はレイアウト情報を情報受付部76に出力する。なお、レイアウト情報は、評価基準62等と同じく、ストレージデバイス50に記憶されている。
 これらの各部70~80は、複数のユーザ13の各々に装着された複数台のHMD11のそれぞれを独立して制御する。例えば撮像画像取得部70は、複数のユーザ13の各々に装着された複数台のHMD11からの撮像画像を取得する。また、表示制御部80は、例えば図7に示すように、ユーザ13Aに装着されたHMD11Aに対応する蓄積画像一覧画面45Aと、ユーザ13Bに装着されたHMD11Bに対応する蓄積画像一覧画面45Bとを生成する。そして、蓄積画像一覧画面45AをHMD11Aに、蓄積画像一覧画面45BをHMD11Bにそれぞれ表示させる。蓄積画像一覧画面45Aの一覧44A中の蓄積画像43Aはユーザ13Aのものであり、蓄積画像一覧画面45Bの一覧44B中の蓄積画像43Bはユーザ13Bのものであってそれぞれ異なる。
 図8において、評価基準62は、注視時間と関心度の対応関係を示すものである。注視時間0秒は、一度もユーザ13の視線が向けられなかった場合であり、最も低い関心度1が対応付けられている。以降、注視時間1秒以上10秒未満には関心度2、注視時間10秒以上20秒未満には関心度3、注視時間20秒以上30秒未満には関心度4がそれぞれ対応付けられている。そして、注視時間30秒以上には最も高い関心度5が対応付けられている。評価部75は、この評価基準62にしたがって注視時間を関心度に置換する。例えば計時部74からの注視時間が8秒であった場合、評価部75は関心度2を情報受付部76に出力する。
 図9において、画像関心度情報63は、蓄積画像43の画像IDと、注視時間の情報である関心度を関連付けて記録したものである。図9では、ユーザID「U001」のユーザ13の画像関心度情報63を示している。例えば画像ID「P003」には関心度5、「P004」には関心度1が関連付けられている。この画像関心度情報63によれば、複数の蓄積画像43の各々に対するユーザ13の関心度を把握することができる。
 図10において、選出条件64には、例えば「関心度4以上」が登録されている。すなわち、この選出条件64は、関心度4以上の蓄積画像43を関心画像100として選出せよ、という内容である。このため、画像関心度情報63が図9の例の場合、選出部78は、関心度4以上の画像ID「P003」、「P005」の蓄積画像43を少なくとも関心画像100として選出する。なお、選出条件64を満たす蓄積画像43がない場合は、当然ながら選出部78は関心画像100を選出しない。
 図11において、検知部73は、撮像画像取得部70からの撮像画像85を解析して、ユーザ13の左眼の目頭86と虹彩87の位置を認識する。そして、基準点の目頭86に対する動点の虹彩87の位置を元に、ユーザ13の視線の位置LSPが、仮想空間VSにおける一覧44中の複数の蓄積画像43の各々の表示領域88のいずれにあるかを検知する。各々の表示領域88には区別するための番号が付されている。検知部73は、ユーザ13の視線の位置LSPがあると検知した表示領域88の番号を、視線情報として出力する。図11では、番号1の表示領域88に視線の位置LSPがあると検知した場合を示している。
 計時部74は、検知部73から同じ表示領域88を示す視線情報が入力されている間、当該表示領域88の注視時間を計時する。例えば番号1の表示領域88に視線の位置LSPがある間は、番号1の表示領域88の注視時間を計時する。そして、視線の位置LSPが番号1の表示領域88から例えば番号2の表示領域88に移った場合は、番号1の表示領域88の注視時間の計時を終了し、番号2の表示領域88の注視時間の計時を開始する。
 計時部74は、蓄積画像一覧画面45が表示されている間は、一旦視線の位置LSPが外れて、再度視線の位置LSPが戻った場合も、当該表示領域88の注視時間を計時する。このため、注視時間は、蓄積画像一覧画面45が表示されている間に視線の位置LSPがあった累積の時間となる。再度視線の位置LSPが戻った場合は、よりユーザ13の関心度が高いと判断し、注視時間を1.5倍にする等の重み付けを行ってもよい。なお、視線情報が表示領域88以外の位置を示していた場合は、計時部74は注視時間を計時しない。
 図12において、表示制御部80から情報受付部76に出力されるレイアウト情報は、各々の表示領域88に表示される蓄積画像43の画像IDを示すものである。情報受付部76は、このレイアウト情報から、検知部73からの視線情報で示される表示領域88に対応する蓄積画像43の画像IDを取得する。そして、取得した画像IDを情報管理部77に出力する。図12では、視線情報で示される表示領域88が番号1で、番号1の表示領域88に対応する蓄積画像43の画像ID「P001」を出力する場合を示している。
 ユーザ13には、制御サーバ12へのアクセス権限が与えられている。表示制御部80は、まず、制御サーバ12へのアクセス認証画面をHMD11に表示させる。アクセス認証画面には、ユーザIDおよびパスワードを問うメッセージが表示される。ユーザ13は、自らのユーザIDおよびパスワードを発話する。この発話音声はマイクロフォン31が電気信号に変換し、音声認識部71が内容を認識して、指示受付部72が音声情報として受け付ける。そして、図示しない認証部において、発話音声のユーザIDおよびパスワードと予め登録されたユーザIDおよびパスワードとが照合され、アクセス認証が行われる。
 アクセス認証後、表示制御部80は、図13の矢印上段に示すように、蓄積画像43のフォルダ90の一覧91およびフォルダ90の選択を促すメッセージ92を有するフォルダ選択画面93をHMD11に表示させる。ユーザ13は、一覧44を表示させたいフォルダ90の名称を発話する。このフォルダ90の名称の発話音声を音声認識部71で認識した音声情報を、蓄積画像一覧画面45の配信指示として指示受付部72が受け付ける。表示制御部80は、この配信指示に応じて、矢印下段に示すような蓄積画像一覧画面45を生成し、これを配信指示の指示元のHMD11に表示させる。図13では、「2016年6月」のフォルダ90内の蓄積画像43の蓄積画像一覧画面45の配信指示が発せられた場合を示している。
 図14の矢印上段に示すように、表示制御部80は、検知部73からの視線情報に基づいて、ユーザ13の視線が置かれている一覧44中の蓄積画像43にマーク95を表示させる。マーク95は、ユーザ13の視線が置かれている蓄積画像43(視線情報で示される表示領域88)を囲う矩形状の枠である。図14では、番号1の表示領域88が視線情報で示され、画像ID「P001」の蓄積画像43にマーク95が表示された状態を示している。
 このマーク95が表示された状態において、ユーザ13が「再生」と発話した場合、この「再生」の発話音声を音声認識部71で認識した音声情報を、再生指示として指示受付部72が受け付ける。すなわち、指示受付部72は再生指示受付部として機能する。表示制御部80は、矢印下段に示すように、マーク95が表示された蓄積画像43の再生表示画面96をHMD11に表示させる。再生表示画面96には、マーク95が表示された蓄積画像43のフルサイズの拡大画像97が表示される。
 また、図15の矢印上段に示すように、蓄積画像一覧画面45の表示終了後、表示制御部80は、選出部78が選出した関心画像100の一覧101を有する関心画像一覧画面102をHMD11に表示させる。関心画像100の下部には、当該関心画像100に対するユーザ13の関心度を示す星印103が表示される。また、一覧101の下部には、電子アルバム61の作成を問うメッセージ104が表示される。図15では、画像ID「P003」、「P005」、「P010」の蓄積画像43が関心画像100として選出された場合を示している。
 この関心画像一覧画面102が表示された状態において、ユーザ13が「アルバム作成」と発話した場合、この「アルバム作成」の発話音声を音声認識部71で認識した音声情報を、アルバム作成指示として指示受付部72が受け付ける。アルバム作成部79は関心画像一覧画面102に表示された関心画像100を含む電子アルバム61を作成する。
 表示制御部80は、アルバム作成部79から電子アルバム61を受け取り、矢印下段に示すように、電子アルバム61の閲覧画面105をHMD11に表示させる。表示制御部80は、紙のアルバムを模した形態で電子アルバム61を表示させる。
 図15では、大判の関心画像100と小判の蓄積画像43とを織り交ぜた電子アルバム61を例示している。なお、関心画像100のみで電子アルバム61を作成してもよく、要するに少なくとも1つの関心画像100が電子アルバム61に含まれていればよい。また、アルバム作成指示を受け付けることなく、蓄積画像一覧画面45の表示終了後、自動的に関心画像100を含む電子アルバム61を作成してもよい。
 電子アルバム61の下部には、電子アルバム61の保存を問うメッセージ106が表示される。閲覧画面105において、ユーザ13が例えば「アルバム保存」と発話した場合、この「アルバム保存」の発話音声を音声認識部71で認識した音声情報を、アルバム保存指示として指示受付部72が受け付ける。情報管理部77は電子アルバム61をストレージデバイス50に記憶する。
 以下、上記構成による作用について、図16および図17のフローチャートを参照して説明する。まず、ユーザ13は、HMD11を頭部に装着する。そして、アクセス認証画面を介して制御サーバ12にアクセスする。
 アクセス認証後、HMD11には図13の矢印上段に示すフォルダ選択画面93が表示される。このフォルダ選択画面93が表示された状態において、ユーザ13から一覧44を表示させたいフォルダ90の名称が発話されると、この発話の音声情報が蓄積画像一覧画面45の配信指示として指示受付部72に受け付けられる。そして、HMD11には図13の矢印下段に示すように蓄積画像一覧画面45が表示される(図16のステップS100、表示制御ステップ)。
 蓄積画像一覧画面45の表示と同時に、撮像画像取得部70による視線検知カメラ29の撮像画像85の取得が開始される。撮像画像85は撮像画像取得部70から検知部73に出力される。
 検知部73では、図11で示したように、撮像画像85に基づいて一覧44中の蓄積画像43に対するユーザ13の視線が検知される(ステップS110)。この視線の検知結果である視線情報は計時部74、情報受付部76、および表示制御部80に出力される。
 計時部74では、一覧44中の蓄積画像43に対するユーザ13の注視時間が計時される(ステップS120)。これらステップS100~S120の各処理は、ユーザ13から蓄積画像一覧画面45の表示の終了指示があるまで(ステップS130でYES)繰り返し続けられる。なお、終了指示は、例えば「表示終了」等の発話により行われる。
 蓄積画像一覧画面45の表示終了後、注視時間は評価部75に出力され、評価部75にて関心度に置換される(ステップS140)。関心度は情報受付部76に出力される。
 情報受付部76では、検知部73からの視線情報、並びに評価部75からの関心度が受け付けられる(ステップS150、情報受付ステップ)。視線情報は、図12で示したように蓄積画像の画像IDに変換される。画像IDおよび関心度は情報管理部77に出力される。
 画像IDおよび関心度は、情報管理部77により、画像関心度情報63として関連付けてストレージデバイス50に記録される(ステップS160、情報管理ステップ)。
 画像関心度情報63の記録後、画像関心度情報63および選出条件64が情報管理部77から選出部78に受け渡される。選出部78では、一覧44中の複数の蓄積画像43から関心画像100が選出される(図17のステップS200)。関心画像100はアルバム作成部79および表示制御部80に出力される。
 HMD11には、図15の矢印上段に示す関心画像一覧画面102が表示される(ステップS210)。この関心画像一覧画面102が表示された状態において、ユーザ13から「アルバム作成」が発話されると、この発話の音声情報がアルバム作成指示として指示受付部72に受け付けられる(ステップS220でYES)。アルバム作成指示はアルバム作成部79に出力される。
 指示受付部72からアルバム作成指示を受けた場合、アルバム作成部79では、関心画像100を含む電子アルバム61が作成される(ステップS230)。電子アルバム61は情報管理部77および表示制御部80に出力される。
 HMD11には、図15の矢印下段に示す電子アルバム61の閲覧画面105が表示される(ステップS240)。この閲覧画面105が表示された状態において、ユーザ13から「アルバム保存」が発話されると、この発話の音声情報がアルバム保存指示として指示受付部72に受け付けられる(ステップS250でYES)。このアルバム保存指示に応じて、情報管理部77により、アルバム作成部79からの電子アルバム61がストレージデバイス50に記憶される(ステップS260)。
 なお、ユーザ13から「作成しない」等の発話があり、アルバム作成指示とは反対の指示があった場合(ステップS220でNO)は、処理が終了される。また、ユーザ13から「保存しない」等の発話があり、アルバム保存指示とは反対の指示があった場合(ステップS250でNO)も、同様に処理が終了される。
 蓄積画像一覧画面45の一覧44中の蓄積画像43に対するユーザ13の注視時間を計時し、蓄積画像43の画像IDと注視時間の情報である関心度を関連付けて画像関心度情報63として記録するので、画像関心度情報63に応じて関心画像100を選出したり、関心画像100を含む電子アルバム61を作成する等、蓄積画像43に対する注視時間の情報を有効活用することが可能となる。
 情報管理部77からの画像関心度情報63に応じて選出部78で関心画像100を選出するので、ユーザ13は関心の赴くままに蓄積画像一覧画面45を閲覧するだけでよく、一覧44中の蓄積画像43から自分が関心をもった画像を選出する作業を行う必要がない。このためユーザ13の利便性を高めることができる。
 関心画像100を含む電子アルバム61をアルバム作成部79で作成するので、蓄積画像43に対するユーザ13の関心度を色濃く反映した電子アルバム61を簡単に作成することができる。
 評価部75で注視時間を関心度に置換し、置換した関心度を注視時間の情報として記録するので、注視時間の情報を単純化することができる。このため、関心画像100の選出条件64も簡略化することができる。
 なお、注視時間を関心度に置換することなく、注視時間自体を注視時間の情報として記録してもよい。この場合、選出条件64には、例えば注視時間20秒以上等が設定される。選出条件64として関心画像100の選出数を設定しておき、注視時間が長いものから順に関心画像100を選出して、選出した関心画像100が選出数に達したら選出を止めるようにしてもよい。
 あるいは、ユーザ13が主体的に関心画像100を選出するGUIを設け、GUIで選出された関心画像100と、電子アルバム61のページ数等で決定される予定選出数との差分を計算し、不足する枚数だけを選出部78で選出してもよい。こうすることで、ユーザ13が電子アルバム61に掲載したい画像を選出する作業の中で、補助的にユーザ13の関心が高い画像を選出することができる。したがって、ユーザ13の意図を第一に汲んだ従来の電子アルバムの作成手順を踏襲しつつ、ユーザ13にとって違和感がなく、かつ関心のある画像を効率的に選出することができる。
 また、この際、ユーザ13自身でGUIにより選択した画像と類似する画像は、注視時間が比較的長く選出条件64をクリアしたとしても、選出部78で関心画像100として選出しないよう構成してもよい。類似する画像の判定には、画像の類似度を算出する周知の画像解析技術を用いる。あるいは、画像の撮影日時の近似度で判定してもよい。
 例えば同じ被写体を連続で複数回撮影して得た複数枚の画像の中からユーザ13が1枚の画像を選出した場合、複数枚の画像を見比べながら選出している可能性がある。このような場合には、同じ被写体の画像、似た構図の画像等が関心画像100に複数枚選出されないよう、上記のように類似する画像を関心画像100の候補から外すことが好ましい。
 [第2実施形態]
 上記第1実施形態では、選出部78で関心画像100が選出された場合に、関心画像100を含む電子アルバム61を新規に作成する場合を例示したが、既に電子アルバム61がある場合は、この既存の電子アルバム61に関心画像100を追加したいという要望がユーザ13からあがることは当然考えられる。そこで、図18および図19に示す第2実施形態では、既存の電子アルバム61に関心画像100を追加する。なお、以下では、既存の電子アルバム61を電子アルバム61Eと表記する。
 第2実施形態では、表示制御部80は、蓄積画像一覧画面45の表示終了後、図18の矢印上段に示す関心画像一覧画面110をHMD11に表示させる。関心画像一覧画面110には、上記第1実施形態の図15に示す関心画像一覧画面102と同じ一覧101に加えて、関心画像100の電子アルバム61Eへの追加を問うメッセージ111、およびアイコンの形態で電子アルバム61Eが表示される。
 関心画像一覧画面110に電子アルバム61Eを表示させる手順は以下である。まず、情報管理部77は、ストレージデバイス50から電子アルバム61Eを読み出す。電子アルバム61Eが複数ある場合は、情報管理部77は最新の電子アルバム61Eを読み出す。情報管理部77は、読み出した電子アルバム61Eをアルバム作成部79および表示制御部80に受け渡す。表示制御部80は、情報管理部77からの電子アルバム61Eを関心画像一覧画面110に表示させる。
 この関心画像一覧画面110が表示された状態において、ユーザ13が「追加」と発話した場合、図19に示すように、この「追加」の発話音声を音声認識部71で認識した音声情報を、電子アルバム61Eへの関心画像100の追加指示として指示受付部72が受け付ける。すなわち、第2実施形態では、指示受付部72は追加指示受付部として機能する。
 図19において、指示受付部72は、追加指示をアルバム作成部79に出力する。アルバム作成部79は、指示受付部72からの追加指示に応じて、選出部78からの関心画像100を、情報管理部77からの電子アルバム61Eに追加し、電子アルバム61を作成する。アルバム作成部79は、作成した電子アルバム61を表示制御部80に出力する。なお、図19では、説明に必要な指示受付部72、アルバム作成部79のみを示し、検知部73や計時部74等の他の部の図示を省略している。
 上記第1実施形態の図15の矢印下段で示した場合と同じく、図18の矢印下段に示すように、表示制御部80は、アルバム作成部79からの電子アルバム61の閲覧画面105をHMD11に表示させる。以降の電子アルバム61の記憶等の処理は上記第1実施形態と同じであるため、説明を省略する。
 このように、ユーザ13からの電子アルバム61Eへの関心画像100の追加指示を受け付け、追加指示に応じて電子アルバム61を作成するので、関心画像100が選出される度に電子アルバム61を作成する必要がなくなり、電子アルバム61の個数を減らすことができる。このため、電子アルバム61、ひいては蓄積画像43の整理がしやすくなる。
 なお、電子アルバム61Eが複数ある場合、関心画像100を追加する電子アルバム61Eを、ユーザ13が選択可能に構成してもよい。また、複数の電子アルバム61Eを統合して1つの電子アルバム61を作成したり、電子アルバム61Eに追加した関心画像100を削除したり、関心画像100のレイアウト(大きさ、貼り付け位置)を変更したり等、電子アルバム61Eを編集する機能を追加してもよい。
 [第3実施形態]
 上記第1実施形態では、図14で示したように、マーク95が表示された蓄積画像43の再生指示に応じて、拡大画像97を有する再生表示画面96をHMD11に表示させている。しかし、再生表示画面96は、他の画面と同様に仮想空間VS内の所定位置に表示位置が固定されている。そこで、図20~図22に示す第3実施形態では、現実空間RSの実在オブジェクトに拡大画像97を有する再生表示画面96を再生表示させる。
 図20において、第3実施形態のHMD115には、上記第1実施形態のHMD11の各部に加えて、視野カメラ116が設けられている。視野カメラ116は、例えばHMD115の装着時にユーザ13の眉間と対向する本体部25の上部中央に設けられている。視野カメラ116は、ユーザ13がHMD115を通じて認識する拡張現実空間ARSとほぼ同じ視野を所定のフレームレート(例えば30フレーム/秒)で撮像する。視野カメラ116は、撮像した画像(以下、視野画像)121(図22参照)を逐次制御サーバ12に送信する。
 図21に示すように、第3実施形態では、自宅14の壁40にマーカー117が貼り付けられている。マーカー117は、例えば正方形の枠に白黒の規則的なパターンと上下左右の識別を可能とする識別線が描かれたシートである。マーカー117は、現実空間RSにおける再生表示画面96の出現位置を示す。つまり、マーカー117が貼り付けられた壁40は、蓄積画像43を再生表示する現実空間RSの実在オブジェクトに相当する。
 この場合、ユーザ13は、図14で示したように「再生」と発話して、マーク95が表示された蓄積画像43の再生指示を行う。そして、点線矢印で示すように視線の位置LSPをマーカー117に合わせる。そうすると、拡張現実空間ARSに示すように、マーカー117を中心とする所定領域に表示された再生表示画面96を視認することができる。
 図22において、第3実施形態では、上記第1実施形態の図6で示した各部70~80(不図示)に加えて、視野画像取得部118、マーカー検出部119、および画面編集部120がCPU52に構築される。
 視野画像取得部118は、HMD115の視野カメラ116から所定のフレームレートで逐次送信される視野画像121を取得する。視野画像取得部118は、取得した視野画像121をマーカー検出部119に出力する。
 ユーザ13の視線の位置LSPがマーカー117に置かれた場合、視野画像121には図示するようにマーカー117が写る。マーカー検出部119は、周知の画像認識技術を用いて視野画像121内のマーカー117を認識する。そして、視野画像121内におけるマーカー117を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を検出し、これらと対応情報122とに基づいて、マーカー117に対するHMD115(ユーザ13の眼)の三次元的な位置を検出する。マーカー検出部119は、検出した位置の情報(以下、位置情報)を、画面編集部120に出力する。
 位置情報は、例えばマーカー117の中心を原点とする三次元空間におけるHMD115の位置座標である。また、対応情報122は、マーカー117の中心を原点とする三次元空間におけるHMD115の位置座標を求めるための計算式である。この計算式は、例えば、視野画像121内におけるマーカー117を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を変数とする。なお、マーカー117の中心を原点とする三次元空間とは、マーカー117の中心を原点とし、マーカー117が置かれた平面(この場合は壁40)をXY平面、マーカー117が置かれた平面に垂直な軸(この場合は水平軸)をZ軸とする三次元空間である。
 画面編集部120は、マーカー検出部119からの位置情報に応じて、情報管理部77から受け取った、マーク95が表示された蓄積画像43に基づく再生表示画面96を編集する。より詳しくは、画面編集部120は、位置情報で示されるHMD115の位置から見た場合の向きおよび大きさとなるよう、再生表示画面96に回転処理および拡縮処理を施す。画面編集部120は、編集した再生表示画面96を表示制御部80に出力する。
 画面編集部120で再生表示画面96が位置情報に基づいて編集されるので、例えばユーザ13がマーカー117に近付くと、近付くにつれて再生表示画面96が拡大表示される。逆にユーザ13がマーカー117から遠ざかると、遠ざかるにつれて再生表示画面96が縮小表示される。すなわち、再生表示画面96の表示は、HMD115(ユーザ13)とマーカー117との三次元的な位置関係に応じて変更される。
 このように、現実空間RSの実在オブジェクトに再生表示画面96(蓄積画像43)を再生表示させるので、ユーザ13は自分の好きな場所に再生表示画面96を投影させて楽しむことができる。
 なお、再生表示画面96を再生表示する現実空間RSの実在オブジェクトは、上記例の壁40に限らない。例えば天井やデスクでもよいし、紙のアルバムでもよいし、フォトフレームでもよい。また、マーカー117を用いずに、設定された特定の実在オブジェクトに再生表示画面96を出現させる手法を採用してもよい。この場合、視野画像121に写る特定の実在オブジェクトを画像認識技術により認識し、認識した特定の実在オブジェクトをマーカー117に見立てて、特定の実在オブジェクト上に再生表示画面96を表示させる。
 なお、上記第1実施形態では透過型のHMD11を例示したが、第3実施形態のHMD115のような視野カメラ116付きのHMDを用いる場合は、視野カメラ116から出力された視野画像121に仮想画像を重畳してスクリーン28の内面に投影表示する非透過型としてもよい。
 [第4実施形態]
 図7で示したように、表示制御部80は、複数のユーザ13の各々に装着されたHMD11に蓄積画像一覧画面45を表示させることが可能である。図7では、複数のユーザ13のHMD11に対応する各蓄積画像一覧画面45がそれぞれ異なる内容であるとしたが、同じ内容の蓄積画像一覧画面45を複数のユーザ13のHMD11に表示させることももちろん可能である。
 同じ内容の蓄積画像一覧画面45を複数のユーザ13のHMD11に表示させる場合、例えばインターネット電話機能等を用いて、マイクロフォン31で電気信号に変換した発話音声により、遠隔地にいる複数のユーザ13間で意思疎通が可能な状態とする。そうすれば、複数のユーザ13間で会話を楽しみながら蓄積画像43を閲覧することができる。
 こうしたシチュエーションにおいては、ある1人のユーザ13が、自分が関心を寄せた蓄積画像43を他のユーザ13と共有したいと考える場合がある。そこで、図23~図25に示す第4実施形態では、複数のユーザ13間で蓄積画像43の共有をしやすくする。
 図23において、第4実施形態では、上記第1実施形態の図6で示した各部70~80(指示受付部72以外は不図示)に加えて、モード切替部125がCPU52に構築される。指示受付部72は、「この画像」というユーザ13の発話音声による共有指示を受け付ける。すなわち、第4実施形態においては、指示受付部72は共有指示受付部に相当する。指示受付部72は、共有指示をモード切替部125に出力する。
 モード切替部125は、共有モードと非共有モードとを切り替える。共有モードは、共有指示を行ったユーザ13の視線が置かれている一覧44中の蓄積画像43を複数のユーザ13間で共有するモードである。一方、非共有モードは、ユーザ13の視線が置かれている蓄積画像を複数のユーザ13間で共有しないモードである。以下、共有指示を行ったユーザ13を指示ユーザ、指示ユーザの視線が置かれている一覧44中の蓄積画像43を注視画像という。
 モード切替部125は、通常はモードを非共有モードとし、指示受付部72からの共有指示を受けた場合にモードを共有モードに切り替える。モード切替部125は、共有モードに切り替えてから所定時間(例えば30秒)経過後、モードを自動的に非共有モードに戻す。モード切替部125は、このモードの情報(以下、モード情報)を表示制御部80に出力する。
 モード切替部125からのモード情報が共有モードである場合、表示制御部80は、全てのユーザ13の蓄積画像一覧画面45において注視画像にマーク95を表示させる。一方、モード切替部125からのモード情報が非共有モードの場合、表示制御部80は、複数のユーザ13の各々の視線が置かれている一覧44中の蓄積画像43にマーク95を表示させる。
 図24および図25は、ユーザ13A、13Bの2人で、HMD11A、11Bを通して同じ内容の蓄積画像一覧画面45A、45Bを閲覧している場合を示す。図24は非共有モードの場合、図25は共有モードの場合である。ユーザ13A、13Bは、例えばインターネット電話機能等で発話音声により互いに意思疎通が可能な状態である。なお、蓄積画像43、一覧44、および蓄積画像一覧画面45にそれぞれ「A」、「B」を付して便宜上区別しているが、これらは全く同じ内容である。
 非共有モードの場合の図24において、ユーザ13Aの視線の位置LSP-Aは、画像ID「P001」の蓄積画像43Aにある。一方、ユーザ13Bの視線の位置LSP-Bは、画像ID「P009」の蓄積画像43Bにある。このため、蓄積画像一覧画面45Aにおいては、画像ID「P001」の蓄積画像43Aにマーク95Aが表示され、蓄積画像一覧画面45Bにおいては、画像ID「P009」の蓄積画像43Bにマーク95Bが表示される。
 図25において、ユーザ13Aが「この画像」と発話すると、この発話音声を音声認識部71で認識した音声情報を、共有指示として指示受付部72が受け付ける。そして、モード切替部125が、モードを図24の非共有モードから共有モードに切り替える。そうすると、蓄積画像一覧画面45Bでは、画像ID「P009」の蓄積画像43Bに表示されていたマーク95Bが、画像ID「P001」の蓄積画像43Bに移される。所定時間経過後、図24の非共有モードの状態に自動的に戻される。この場合、ユーザ13Aが指示ユーザ、画像ID「P001」の蓄積画像43が注視画像にそれぞれ相当する。
 このように、ユーザ13の共有指示を受け付けて、共有指示を行った指示ユーザの視線が置かれている注視画像を複数のユーザ13間で共有する共有モードを有し、共有モードでは注視画像にマーク95を表示させるので、容易に複数のユーザ13間で注視画像を共有することができる。
 また、共有モードと非共有モードを切り替えるので、1人のユーザ13が他のユーザ13と注視画像を共有したいと望んだときだけ共有モードに切り替えることができる。このため、1人のユーザ13の注視画像が無暗に他のユーザ13に知れることが防がれ、ユーザ13のプライバシーを保護することができる。
 共有指示は「この画像」といったユーザ13の簡単な発話音声によるので、注視画像の特徴(写っている人物の名前や風景の地名、あるいは色味や物の配置等)を事細かに他のユーザ13に説明することなく注視画像を共有することができる。また、共有モードに切り替えてから所定時間経過後、モードを自動的に非共有モードに戻すので、ユーザ13は非共有モードに戻す指示をする必要がなく、かつ非共有モードに戻し忘れて意図しない形で自分の視線が他のユーザ13に知れてしまうということもなくなる。
 図24および図25では、ユーザ13A、13Bの2人としたが、ユーザ13は2人以上でもよい。また、図24では、非共有モードにおいて各ユーザ13A、13Bが同じ内容の蓄積画像一覧画面45A、45Bを閲覧している場合を例示したが、本発明はこれに限定されない。非共有モードにおいては、各ユーザ13で異なる内容の蓄積画像一覧画面45を閲覧していてもよい。この場合は共有モードに切り替わったときに、指示ユーザが閲覧している蓄積画像一覧画面45と同じ内容の蓄積画像一覧画面45を他のユーザ13のHMD11に表示させる。
 なお、共有指示はユーザ13の発話音声に限らない。例えばユーザ13の手のジェスチャーによる共有指示を受け付けてもよい。この場合は図20で示した視野カメラ116付きのHMD115を用いる。そして、ユーザ13の手のジェスチャーを視野カメラ116で撮像し、視野画像121に写るジェスチャーを画像認識技術により検出する。また、例えばテレビ電話機能等を用いて、複数のユーザ13間で他のユーザ13のジェスチャーを視認可能な状態としておく。共有指示のジェスチャーとしては、例えば人差し指を立てて前方に向けるジェスチャー、あるいは「共有する」という手話等を採用することができる。
 共有指示に限らず、蓄積画像一覧画面45の配信指示や電子アルバム61のアルバム作成指示、あるいは電子アルバム61Eへの関心画像100の追加指示といった他の指示も、発話音声による指示ではなく、ユーザ13の手のジェスチャーによる指示であってもよい。例えば追加指示のジェスチャーとしては、図18の矢印上段に示す関心画像一覧画面110が表示された状態において、関心画像100を指で選択してアイコンの形態の電子アルバム61Eに移動させるドラッグアンドドロップのジェスチャーを採用することができる。
 また、蓄積画像43の再生指示については、特許文献1に記載の、ユーザが所定時間以上連続して注視した画像を再生表示する技術を採用してもよい。
 さらに、ユーザ13に操作部を持たせ、操作部からの各種指示を受け付けてもよい。
 評価基準62は、上記第1実施形態で例示したものに限らない。例えば関心度を1~5の5段階ではなく高中低の3段階としてもよい。また、例えば注視時間の秒数を変更する等、ユーザ13が評価基準62をカスタマイズ可能としてもよい。選出条件64も同様に、例えば関心度4以上を関心度3以上に変更する等、ユーザ13がカスタマイズ可能としてもよい。
 蓄積画像一覧画面45の配信指示や電子アルバム61のアルバム作成指示等の指示の発話音声の文言も、上記各実施形態で例示したものに限らない。また、ユーザ13がカスタマイズ可能としてもよい。例えばアルバム作成指示の「アルバム作成」を「アルバムを作る」としたり、共有指示の「この画像」を「これ」としてもよい。
 蓄積画像一覧画面45と関心画像一覧画面102または110を統合してもよい。具体的には、蓄積画像一覧画面45に、蓄積画像43の一覧44と並べて関心画像100の一覧101を表示してもよい。また、図18に示すアイコンの形態の電子アルバム61Eを蓄積画像一覧画面45に表示してもよい。蓄積画像一覧画面45と関心画像一覧画面102または110を統合することで画面の表示遷移が減るので、見た目をすっきりとさせることができる。
 HMD11は、上記各実施形態のようにゴーグル形状の保護枠27でユーザ13の両目全体を覆い、バンド部26をユーザ13の頭部に固定するタイプに限らない。ユーザ13の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプのHMDを用いてもよい。
 視線検知カメラ29はHMD11に搭載されていなくてもよい。少なくともユーザ13の眼球の動きを撮像可能であれば、視線検知カメラ29の設置位置は問わない。また、図20で示した視野カメラ116もHMD115に搭載されていなくてもよい。このため、視野カメラ116は、ユーザ13がHMD115を通じて認識する拡張現実空間ARSと同じ視野を撮像するものでなくともよい。
 上記第1実施形態では、視線検知カメラ29として可視光カメラを用い、撮像画像85に写る目頭86に対する虹彩87の位置を元に、ユーザ13の視線を検知しているが、本発明はこれに限定されない。視線検知カメラ29に赤外線カメラを用い、基準点を角膜反射、動点を瞳孔としてユーザ13の視線を検知してもよい。
 上記各実施形態の拡張現実空間ARSではなく、現実空間RSの情報がシャットアウトされ、仮想画像のみで作り出された仮想現実空間を、HMD11を通してユーザ13に認識させてもよい。
 上記各実施形態では、HMD11の制御装置の機能を制御サーバ12に担わせているが、本発明はこれに限定されない。例えば図26に示すように、ユーザ13が所有するパーソナルコンピュータ130が制御装置の機能の全てまたは一部を担ってもよい。例えば情報受付部76および情報管理部77以外の機能をパーソナルコンピュータ130が担う。この場合は制御サーバ12とパーソナルコンピュータ130で制御装置を構成する。また、視線情報、関心度、レイアウト情報、電子アルバム61等をパーソナルコンピュータ130から制御サーバ12に送信し、蓄積画像43、画像関心度情報63、選出条件64等を制御サーバ12からパーソナルコンピュータ130に送信する。
 もしくは、図27に示すように、ユーザ13が腰等に付けて携帯可能な携帯コンピュータ135に制御装置の機能を担わせてもよい。この場合、制御装置の機能を担う携帯コンピュータ135を、図26に示す市販のパーソナルコンピュータ130ではなく、画像表示システム10に特化した専用の製品としてもよい。また、HMD11自体に制御装置の機能を搭載してもよい。この場合はHMD11自体が制御装置となる。
 あるいは、画像を蓄積および配信する機能を制御サーバ12とは別のネットワークサーバに担わせ、制御サーバ12は、画像を蓄積および配信する機能以外の機能に特化したものとしてもよい。さらには、制御サーバ12等のネットワークサーバではなく、自宅14内に設置されたローカルサーバが制御装置の機能を担ってもよい。
 このように、本発明の制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、撮像画像取得部70、検知部73、および計時部74の機能と、評価部75、情報受付部76、情報管理部77、選出部78、アルバム作成部79、および表示制御部80の機能と、音声認識部71および指示受付部72の機能とを、3台のコンピュータに分散して担わせる。この場合は3台のコンピュータで制御装置を構成する。
 以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム60等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
 なお、制御装置に備えられる部としては、少なくとも情報受付部76、情報管理部77、および表示制御部80があればよい。例えば音声認識部71、検知部73、計時部74は、制御装置ではなくHMD11に備えられていてもよい。
 HMD11の使用環境は自宅14に限らない。制御装置との接続環境が整っていればよく、ユーザ13の出先の建物内であってもよいし、屋外であってもよい。
 上記各実施形態において、例えば、撮像画像取得部70、音声認識部71、指示受付部72、検知部73、計時部74、評価部75、情報受付部76、情報管理部77、選出部78、アルバム作成部79、表示制御部80、視野画像取得部118、マーカー検出部119、画面編集部120、モード切替部125といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
 各種のプロセッサには、CPU、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、専用電気回路等が含まれる。CPUは、周知のとおりソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサである。PLDは、FPGA(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
 上記記載から、以下の付記項1に記載の画像表示システム、並びに付記項2に記載のヘッドマウントディスプレイの制御装置を把握することができる。
 [付記項1]
 ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、
 複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
 前記画像に対する前記ユーザの視線を検知する検知プロセッサと、
 前記視線の検知結果に基づいて、前記画像に対する前記ユーザの注視時間を計時する計時プロセッサと、
 前記注視時間の情報を受け付ける情報受付プロセッサと、
 前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理プロセッサとを備える画像表示システム。
 [付記項2]
 ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、
 複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
 前記画像に対する前記ユーザの視線を検知プロセッサが検知し、前記検知プロセッサの検知結果に基づいて計時プロセッサが計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付プロセッサと、
 前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理プロセッサとを備えるヘッドマウントディスプレイの制御装置。
 本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。例えば、第1実施形態と第2実施形態、あるいは第3実施形態と第4実施形態を複合して実施してもよい。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
 10 画像表示システム
 11、11A、11B、115 ヘッドマウントディスプレイ(HMD)
 12 制御サーバ(制御装置)
 13、13A、13B ユーザ
 14 自宅
 15 データセンタ
 16 ネットワーク
 25 本体部
 26 バンド部
 27 保護枠
 28 スクリーン
 29 視線検知カメラ
 30 アーム
 31 マイクロフォン
 32 ケーブル
 33 横バンド
 34 縦バンド
 40 壁
 41 左手
 42 台
 43、43A、43B 蓄積画像
 44、44A、44B 蓄積画像の一覧
 45、45A、45B 蓄積画像一覧画面
 50 ストレージデバイス
 51 メモリ
 52 CPU
 53 通信部
 54 データバス
 60 作動プログラム
 61、61E 電子アルバム
 62 評価基準
 63 画像関心度情報
 64 選出条件
 70 撮像画像取得部
 71 音声認識部
 72 指示受付部(追加指示受付部、共有指示受付部、再生指示受付部)
 73 検知部
 74 計時部
 75 評価部
 76 情報受付部
 77 情報管理部
 78 選出部
 79 アルバム作成部
 80 表示制御部
 85 撮像画像
 86 目頭
 87 虹彩
 88 表示領域
 90 フォルダ
 91 フォルダの一覧
 92、104、106、111 メッセージ
 93 フォルダ選択画面
 95、95A、95B マーク
 96 再生表示画面
 97 拡大画像
 100 関心画像
 101 関心画像の一覧
 102、110 関心画像一覧画面
 103 星印
 105 電子アルバムの閲覧画面
 116 視野カメラ
 117 マーカー
 118 視野画像取得部
 119 マーカー検出部
 120 画面編集部
 121 視野画像
 122 対応情報
 125 モード切替部
 130 パーソナルコンピュータ(制御装置)
 135 携帯コンピュータ(制御装置)
 ARS 拡張現実空間
 RS 現実空間
 VS 仮想空間
 LSP、LSP-A、LSP-B 視線の位置
 S100~S160、S200~S260 ステップ

Claims (13)

  1.  ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、
     複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御部と、
     前記画像に対する前記ユーザの視線を検知する検知部と、
     前記視線の検知結果に基づいて、前記画像に対する前記ユーザの注視時間を計時する計時部と、
     前記注視時間の情報を受け付ける情報受付部と、
     前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える画像表示システム。
  2.  前記情報管理部からの前記注視時間の情報に応じて、前記複数の画像から少なくとも1つの関心画像を選出する選出部を備える請求項1に記載の画像表示システム。
  3.  前記複数の画像のうちの一部の画像群で構成される電子アルバムを作成するアルバム作成部であり、前記関心画像が選出された場合に、前記関心画像を含む前記電子アルバムを作成するアルバム作成部を備える請求項2に記載の画像表示システム。
  4.  前記表示制御部は、前記関心画像と、前記電子アルバムとを前記ヘッドマウントディスプレイに表示させ、
     前記ユーザからの前記電子アルバムへの前記関心画像の追加指示を受け付ける追加指示受付部を備え、
     前記アルバム作成部は、前記追加指示に応じて前記電子アルバムを作成する請求項3に記載の画像表示システム。
  5.  前記表示制御部は、複数の前記ユーザの各々に装着された前記ヘッドマウントディスプレイに前記一覧を表示させる請求項1ないし4のいずれか1項に記載の画像表示システム。
  6.  前記ユーザの共有指示を受け付ける共有指示受付部と、
     前記共有指示を行った指示ユーザの視線が置かれている前記一覧中の前記画像である注視画像を複数の前記ユーザ間で共有する共有モードと、前記注視画像を複数の前記ユーザ間で共有しない非共有モードとを切り替えるモード切替部とを備える請求項5に記載の画像表示システム。
  7.  前記表示制御部は、前記共有モードでは前記一覧中の前記注視画像にマークを表示させ、前記非共有モードでは複数の前記ユーザの各々の視線が置かれている前記一覧中の前記画像に前記マークを表示させる請求項6に記載の画像表示システム。
  8.  前記共有指示受付部は、前記ユーザの発話音声による前記共有指示を受け付ける請求項6または7に記載の画像表示システム。
  9.  評価基準に基づいて、前記注視時間を前記画像に対する前記ユーザの関心度に置換する評価部を備え、
     前記情報管理部は、前記関心度を前記注視時間の情報として記録する請求項1ないし8のいずれか1項に記載の画像表示システム。
  10.  前記ユーザからの前記画像の再生指示を受け付ける再生指示受付部を備え、
     前記表示制御部は、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させ、前記再生指示に応じて、前記現実空間の実在オブジェクトに前記画像を再生表示させる請求項1ないし9のいずれか1項に記載の画像表示システム。
  11.  ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、
     複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御部と、
     前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付部と、
     前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理部とを備えるヘッドマウントディスプレイの制御装置。
  12.  ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動方法において、
     複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
     前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付ステップと、
     前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。
  13.  ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
     複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御機能と、
     前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付機能と、
     前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。
PCT/JP2017/025880 2016-07-19 2017-07-18 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム WO2018016464A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17830981.1A EP3489943A4 (en) 2016-07-19 2017-07-18 PICTURE DISPLAY SYSTEM, CONTROL DEVICE FOR HEAD-MOUNTED DISPLAY AND METHOD AND PROGRAM FOR ACTUATING THEREOF
CN201780045013.2A CN109564749B (zh) 2016-07-19 2017-07-18 图像显示系统、以及头戴式显示器的控制装置及其工作方法和非暂时性的计算机可读介质
JP2018528541A JP6966443B2 (ja) 2016-07-19 2017-07-18 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US16/251,907 US10705605B2 (en) 2016-07-19 2019-01-18 Image display system, and control apparatus for head-mounted display and operation method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-141384 2016-07-19
JP2016141384 2016-07-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/251,907 Continuation US10705605B2 (en) 2016-07-19 2019-01-18 Image display system, and control apparatus for head-mounted display and operation method therefor

Publications (1)

Publication Number Publication Date
WO2018016464A1 true WO2018016464A1 (ja) 2018-01-25

Family

ID=60992473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025880 WO2018016464A1 (ja) 2016-07-19 2017-07-18 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム

Country Status (5)

Country Link
US (1) US10705605B2 (ja)
EP (1) EP3489943A4 (ja)
JP (1) JP6966443B2 (ja)
CN (1) CN109564749B (ja)
WO (1) WO2018016464A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160186A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2019160187A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2019160185A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020009012A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020009011A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
JP2021048543A (ja) * 2019-09-20 2021-03-25 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023067933A1 (ja) * 2021-10-19 2023-04-27 キヤノン株式会社 画像表示システム
JP7523638B2 (ja) 2019-06-21 2024-07-26 マジック リープ, インコーポレイテッド モード式ウィンドウを介したセキュアな認可

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US10820293B2 (en) * 2013-10-10 2020-10-27 Aura Home, Inc. Digital picture frame with improved display of community photographs
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
CN117373636A (zh) 2017-05-08 2024-01-09 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
US11151600B2 (en) * 2018-04-23 2021-10-19 International Business Machines Corporation Cognitive analysis of user engagement with visual displays
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100917B2 (en) * 2019-03-27 2021-08-24 Adobe Inc. Generating ground truth annotations corresponding to digital image editing dialogues for training state tracking models
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
CN113311936B (zh) * 2020-02-27 2022-12-02 中移(成都)信息通信科技有限公司 基于ar的语音点评方法、装置、设备及存储介质
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
US11657083B2 (en) * 2020-08-18 2023-05-23 Micron Technology, Inc. Image location based on perceived interest
US11860373B2 (en) * 2020-12-30 2024-01-02 Nimo Planet, Inc. User interfaces provided by wearable smart eye-glasses
US11711332B2 (en) * 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
US11416225B1 (en) * 2021-09-21 2022-08-16 Shainin II LLC Complexity analysis of function models
KR20240047458A (ko) * 2021-09-24 2024-04-12 애플 인크. 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
JP7382372B2 (ja) * 2021-09-27 2023-11-16 株式会社 日立産業制御ソリューションズ 作業支援装置、作業支援システム及び作業支援プログラム
CN118511169A (zh) * 2021-12-03 2024-08-16 奥斯米公司 Ai支持的原始文件管理

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233624A (ja) * 2001-12-26 2003-08-22 Eastman Kodak Co デジタル画像化システムで情緒的な情報を生成及び使用する方法
JP2010187320A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像記録装置、画像分類装置、画像表示装置及びプログラム
JP2013088906A (ja) * 2011-10-14 2013-05-13 Cyber Ai Entertainment Inc 画像認識システムを備えた知識情報処理サーバシステム
JP2014143595A (ja) 2013-01-24 2014-08-07 Nikon Corp 画像記録装置
WO2015186447A1 (ja) * 2014-06-03 2015-12-10 ソニー株式会社 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US20030117651A1 (en) * 2001-12-26 2003-06-26 Eastman Kodak Company Method for using affective information recorded with digital images for producing an album page
JP2006253758A (ja) * 2005-03-08 2006-09-21 Casio Comput Co Ltd 画像表示制御装置及びプログラム
US7849116B2 (en) * 2005-05-23 2010-12-07 Picateer, Inc. System and method for automated layout of collaboratively selected images
JP2008227834A (ja) * 2007-03-12 2008-09-25 Osaka Univ 頭部搭載型映像提示装置、頭部搭載型撮影装置、及び頭部搭載型映像装置
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
JP5423183B2 (ja) 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
US9021395B2 (en) * 2011-10-19 2015-04-28 Panasonic Intellectual Property Corporation Of America Display control device, integrated circuit, and display control method
US8873851B2 (en) * 2012-06-29 2014-10-28 Intellectual Ventures Fund 83 Llc System for presenting high-interest-level images
JP5409857B1 (ja) 2012-08-24 2014-02-05 株式会社Pfu 画像読取装置
JP6099342B2 (ja) * 2012-09-19 2017-03-22 大学共同利用機関法人情報・システム研究機構 視線インタフェースを用いた対話的情報探索装置
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
CN105512119A (zh) * 2014-09-22 2016-04-20 中兴通讯股份有限公司 一种实现图片排序的方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233624A (ja) * 2001-12-26 2003-08-22 Eastman Kodak Co デジタル画像化システムで情緒的な情報を生成及び使用する方法
JP2010187320A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像記録装置、画像分類装置、画像表示装置及びプログラム
JP2013088906A (ja) * 2011-10-14 2013-05-13 Cyber Ai Entertainment Inc 画像認識システムを備えた知識情報処理サーバシステム
JP2014143595A (ja) 2013-01-24 2014-08-07 Nikon Corp 画像記録装置
WO2015186447A1 (ja) * 2014-06-03 2015-12-10 ソニー株式会社 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3489943A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160186A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2019160187A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2019160185A (ja) * 2018-03-16 2019-09-19 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP7091890B2 (ja) 2018-07-04 2022-06-28 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020009011A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020009012A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP7147295B2 (ja) 2018-07-04 2022-10-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
JP7523638B2 (ja) 2019-06-21 2024-07-26 マジック リープ, インコーポレイテッド モード式ウィンドウを介したセキュアな認可
JP2021048543A (ja) * 2019-09-20 2021-03-25 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021176241A (ja) * 2019-09-20 2021-11-04 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7007515B2 (ja) 2019-09-20 2022-01-24 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023067933A1 (ja) * 2021-10-19 2023-04-27 キヤノン株式会社 画像表示システム

Also Published As

Publication number Publication date
CN109564749B (zh) 2021-12-31
EP3489943A4 (en) 2019-07-24
US20190155382A1 (en) 2019-05-23
US10705605B2 (en) 2020-07-07
JP6966443B2 (ja) 2021-11-17
EP3489943A1 (en) 2019-05-29
JPWO2018016464A1 (ja) 2019-04-25
CN109564749A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6966443B2 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US9767524B2 (en) Interaction with virtual objects causing change of legal status
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
TWI581178B (zh) 混合實境顯示器中使用者控制的真實物件的消失
CN105892051B (zh) 眼镜式终端及其控制方法
US9619943B2 (en) Event augmentation with real-time information
US10495878B2 (en) Mobile terminal and controlling method thereof
US10223832B2 (en) Providing location occupancy analysis via a mixed reality device
CN105187484B (zh) 移动终端和控制移动终端的方法
CN104423584B (zh) 可佩戴的装置及其输出内容的方法
US9285871B2 (en) Personal audio/visual system for providing an adaptable augmented reality environment
US20170103440A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20130044129A1 (en) Location based skins for mixed reality displays
US20130083007A1 (en) Changing experience using personal a/v system
US20130083008A1 (en) Enriched experience using personal a/v system
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
WO2013029020A1 (en) Portals: registered objects as virtualized, personalized displays
KR20160105439A (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
JP2016208370A (ja) ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
CN106067833A (zh) 移动终端及其控制方法
US10908425B2 (en) Transmission-type head mounted display apparatus, display control method, and computer program
WO2018122709A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
US20230326244A1 (en) Systems and methods for context-dependent augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17830981

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018528541

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017830981

Country of ref document: EP

Effective date: 20190219