WO2024166619A1 - 情報処理方法および情報処理システム - Google Patents
情報処理方法および情報処理システム Download PDFInfo
- Publication number
- WO2024166619A1 WO2024166619A1 PCT/JP2024/000892 JP2024000892W WO2024166619A1 WO 2024166619 A1 WO2024166619 A1 WO 2024166619A1 JP 2024000892 W JP2024000892 W JP 2024000892W WO 2024166619 A1 WO2024166619 A1 WO 2024166619A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- image
- content
- content image
- work medium
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims description 30
- 230000007423 decrease Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 21
- 230000001965 increasing effect Effects 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
Definitions
- This disclosure relates to technology for presenting content images.
- Patent Document 1 discloses a technology that detects the amount of head movement of a user from an image of the user captured by a camera, determines whether the user is in a state of concentration based on the amount of head movement, and, if it is determined that the user is in a state of concentration, turns liquid crystal controllable partitions installed around the user into a non-transparent state.
- Patent document 2 discloses a technology that recognizes the body movements of a user from an image of the user captured by a camera, determines whether the user is concentrating on work or not from the body movement recognition results, and if it is determined that the user is concentrating on work, reduces the image quality of the video conferencing software display screen shown on the monitor.
- the above conventional technology does not determine whether the user's line of sight is directed toward the user's work medium, and therefore cannot accurately determine whether the user is concentrating on working with the work medium.
- the above conventional technology cannot display content images in an appropriate manner depending on whether the user is concentrating on working with the work medium, and cannot prevent a decrease in the user's concentration on such work.
- the present disclosure aims to provide technology that suppresses a decrease in a user's concentration when working with a work medium.
- the information processing method is an information processing method executed by a computer, which displays a content image on a display unit, determines whether the user is directing his/her gaze toward a work medium on which the user is performing work, and, if it is determined that the user is directing his/her gaze toward the work medium, changes the state of the content image displayed on the display unit so that the user's level of attention decreases.
- This comprehensive or specific aspect may be realized by a device, a system, an integrated circuit, a computer program, or a computer-readable recording medium, or may be realized by any combination of a device, a system, a method, an integrated circuit, a computer program, and a computer-readable recording medium.
- the computer-readable recording medium includes, for example, a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
- FIG. 1 is a diagram showing an example of a booth to which an information processing method according to an embodiment of the present disclosure is applied; 1 is a block diagram illustrating an example of a configuration of an information processing system according to an embodiment of the present disclosure.
- FIG. 2 is a diagram illustrating an example of processing of an information processing system according to an embodiment of the present disclosure.
- FIG. 11 is a diagram showing an example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing another example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing yet another example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing yet another example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing yet another example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing yet another example of a change in the aspect of a content image.
- FIG. 11 is a diagram showing yet another example of a change in the aspect of a content image.
- FIG. 1 is a diagram illustrating an example of a vehicle.
- FIG. 10 is a diagram showing an example of a view of the front seat 710 seen from the position of the rear seat 720 shown in FIG. 9 .
- FIG. 1 is a diagram showing an example of a case where a plurality of users use the booth 400.
- FIG. 13 is a diagram showing an example of the processing of the information processing system 1 in a configuration assuming a case where a plurality of users use the booth 400.
- a user is concentrating on a task using a work medium such as a personal computer
- displaying a content image on the display may draw the user's attention to the content image, potentially reducing the user's concentration on that task.
- the user's gaze is directed toward the work medium, so whether or not the user is concentrating on that task can be determined by whether or not the user's gaze is directed toward the work medium.
- Patent Documents 1 and 2 cannot accurately determine whether or not the user is concentrating on a task using a work medium. As a result, it is not possible to display a content image in an appropriate manner depending on whether or not the user is concentrating on a task using a work medium, and it is not possible to prevent a decrease in the user's concentration on such a task.
- Patent Document 1 when a user's level of concentration is high, the system merely warns the user that the level is high and restricts contact requests from two-way communication devices through which a third party requests contact with the user, but does not display a content image that would increase the user's concentration or change the format of the content image.
- Patent Document 2 discloses that when a user is concentrating on work, the image quality of the image displayed on the display is reduced. However, this image is used to display a list of working scenes of members of an organization who are working from home, and is not a content image that would increase the user's concentration.
- the inventors have thus discovered that by determining whether the user's gaze is directed at the work medium, it is possible to accurately determine whether the user is concentrating on working with the work medium.
- the inventors have further discovered that if the user's gaze is directed at the work medium, changing the aspect of the content image so that the user's level of attention decreases, it is possible to suppress a decrease in the user's concentration on working with the work medium, and have arrived at the present disclosure.
- An information processing method is an information processing method executed by a computer, which displays a content image on a display unit, determines whether a user is directing his or her gaze toward a work medium on which the user is performing work, and, if it is determined that the user is directing his or her gaze toward the work medium, changes the appearance of the content image displayed on the display unit so as to decrease the user's level of attention.
- the user's gaze is directed toward the work medium, so it is possible to accurately determine whether the user is concentrating on work using the work medium. If it is determined that the user's gaze is directed toward the work medium, the state of the content image is changed to reduce the level of attention, so that the user's state of concentration on the work is not hindered and the user's attention is directed toward the work medium, making it possible to prevent a decrease in the user's concentration on the work. On the other hand, if the user's gaze is not directed toward the work medium, the user's attention is directed toward the content image, increasing the user's sense of relaxation, and improving work productivity.
- changing the aspect of the content image may include blurring the content image.
- the content image displayed on the display unit is blurred, so the user's focus on the content image is reduced, and the user's attention can be directed toward the work.
- the degree of blurring of the content image may be increased according to the length of time that the user is directing his/her gaze toward the work medium.
- the degree of blurring of the content image is increased depending on the period during which the gaze is directed at the work medium, so the appearance of the content image can be changed without creating an awkward feeling.
- the content image may be a moving image
- changing the aspect of the content image may involve changing an area corresponding to a moving object included in the content image to a background image corresponding to the area.
- changing the aspect of the content image may include reducing the brightness of the content image.
- the brightness of the content image can be reduced, thereby reducing the user's attention to the content.
- the state of the content image may be returned to the state before the state was changed.
- the display unit includes a first display area facing the user and a second display area different from the first display area
- causing the display unit to display the content image includes causing the content image to be displayed in the first display area and the second display area, a first content image included in the content image is displayed in the first display area and a second content image included in the content image is displayed in the second display area
- changing the aspect of the content image may include changing the aspect of the first content image and not changing the aspect of the second content image.
- the content image may include a first content moving image and a second content moving image having a smaller amount of movement than the first content moving image, and when it is determined that the user is directing his or her gaze toward the work medium, the first content moving image displayed on the display unit may be changed to the second content moving image.
- the first content moving image is changed to the second content moving image, which has a smaller amount of movement than the first content moving image, thereby directing the user's attention to the work medium and preventing a decrease in the user's concentration on the work.
- the content image may be an image that forms an atmosphere surrounding the user.
- the content image is an image that creates the atmosphere around the user, and the content image can enhance the user's sense of relaxation, etc.
- the determination of whether the user's line of sight is directed toward the work medium may include making the determination using sensing data detected by a sensor that detects at least the state of the user's eyes.
- An information processing system is an information processing system including a processor, the processor executes a process of displaying a content image on a display unit, determining whether or not the user is directing his/her gaze toward a work medium on which the user is performing work, and, if it is determined that the user is directing his/her gaze toward the work medium, changing the appearance of the content image displayed on the display unit so as to decrease the user's level of attention.
- This configuration makes it possible to provide an information processing system that prevents a user from losing concentration when working with a work medium.
- the present disclosure can also be realized as an information processing program that causes a computer to execute each of the characteristic configurations included in such an information processing method, or as an information processing device that operates by this information processing program.
- a computer program can be distributed on a non-transitory computer-readable recording medium such as a CD-ROM or via a communication network such as the Internet.
- (Embodiment) 1 is a diagram showing an example of a booth 400 to which an information processing method according to an embodiment of the present disclosure is applied.
- the booth 400 is a space in which a user 401 performs work using a work medium 404.
- An example of the booth 400 is, for example, a room of a user 401 who works from home, a room provided in an office, or a space separated by a partition in an office.
- the booth 400 is equipped with at least a camera 402 for observing the inside of the booth 400 and a screen 403 (an example of a display unit) for displaying content.
- An example of the screen 403 is a display device such as a liquid crystal panel or an organic EL panel.
- the screen 403 may be a screen onto which an image is projected from a projector.
- the screen 403 may be part of the wall surface of the booth 400.
- Camera 402 (an example of a sensor) is composed of a camera that captures images of the inside of booth 400 at a predetermined frame rate, for example. Camera 402 is installed on the ceiling of booth 400 so that its optical axis faces work medium 404 and user 401 who is using work medium 404. Camera 402 is used to observe user 401, the line of sight of user 401, and work medium 404 of user 401. Note that if it is difficult to observe all information with one camera, multiple cameras may be installed in booth 400.
- the camera 402 may be installed at any position in the booth 400 as long as it is a position where the work medium 404 and the user 401 can be photographed.
- the camera 402 may be a camera attached to the personal computer.
- the camera 402 may also be installed on or near the table while being supported by a support such as a tripod or a fixing arm.
- the camera 402 may also be a camera attached to a glasses-type wearable device worn by the user 401.
- the screen 403 displays a content image.
- the content image functions as a background for the user 401 working in the booth 400.
- the content image may be a favorite image that the user 401 has set in advance. Examples of content images include a beautiful natural landscape image, an image that exudes the atmosphere of a moderately noisy cafe, or an image that exudes the atmosphere of being in a calm library.
- the content image may also be a soothing image, an animal image, or a plant image. In this way, the content image forms the atmosphere around the user 401 working in the booth 400, and an image that enhances the user 401's sense of elation, relaxation, etc. is adopted.
- the work medium 404 is an object on which the user performs work.
- Examples of the work medium 404 include a personal computer, a notebook, a book, a tablet computer, and a smartphone.
- the personal computer may be a stationary computer or a notebook computer.
- the content image may be an image selected by the user 401 when the user 401 reserves the use of the booth 400. If the booth 400 is provided with an input device (not shown) for selecting a content image, the user 401 may operate this input device to select the content image. Furthermore, a speaker (not shown) may be provided in the booth 400 to play a sound that matches the content image.
- FIG. 2 is a block diagram showing an example of the configuration of the information processing system 1 according to an embodiment of the present disclosure.
- the information processing system 1 includes a database 200 and a processor 300 in addition to the camera 402 and screen 403 shown in FIG. 1.
- the database 200 is configured, for example, from a rewritable non-volatile storage device such as a hard disk drive or a solid state drive.
- the database 200 includes a content database 201 and a sensor database 202.
- the content database 201 stores content images to be displayed on the screen 403.
- the content database 201 may store multiple types of content images that are candidates for display. In this case, the content image selected by the user 401 may be displayed on the screen 403. Note that if a content image is associated with a playback sound, the content database 201 may store the content image in association with the sound data of the playback sound.
- the content image may be a moving image made up of multiple frame images, or may be a still image.
- the sensor database 202 stores images captured by the camera 402.
- the images may be provided with a timestamp indicating the date and time the images were captured.
- the images may also be provided with an identifier for identifying the booth 400.
- the processor 300 is composed of, for example, a central processing unit (CPU).
- the processor 300 includes a user determination unit 301, a gaze estimation unit 302, a work medium detection unit 303, and a content processing unit 304.
- the user determination unit 301 to the content processing unit 304 may be realized by the CPU executing an information processing program, or may be realized by a dedicated hardware circuit.
- the user determination unit 301 reads an image from the sensor database 202, and uses the read image to determine whether or not a user 401 is present in the booth 400.
- the user determination unit 301 may determine whether or not a human is included in the image using a method such as pattern matching, and if it determines that a human is included, may determine that a user 401 is present in the booth 400.
- the user determination unit 301 may determine whether or not a user 401 is present in the booth 400 by applying face recognition technology to the image. Note that, in order to achieve real-time processing, the user determination unit 301 may execute a process of determining whether or not a user is present in the booth 400 each time an image is stored in the sensor database 202.
- the gaze estimation unit 302 estimates the gaze direction of the user 401 using an image including the user 401.
- the gaze estimation unit 302 may estimate the gaze direction of the user 401 using this publicly known technique.
- the gaze estimation unit 302 may detect the eyeball position, pupil position, face direction, etc. of the user 401 from an image including the user 401, and estimate the gaze direction of the user 401 from the detected eyeball position, pupil position, face direction, etc.
- a technique for estimating the gaze using the eyeball position and pupil position detected from an image is disclosed, for example, in Japanese Patent Application Laid-Open No. 2004-21870, so the gaze estimation unit 302 may estimate the gaze direction of the user 401 using this technique.
- the estimated gaze direction may be a two-dimensional vector or a three-dimensional vector.
- the work medium detection unit 303 reads out an image from the sensor database 202 and detects the work medium 404 installed in the booth 400 using the read out image.
- the work medium detection unit 303 may detect the work medium 404, for example, using an object detection technique that detects a specific object from an image.
- the type of work medium 404 to be detected is determined in advance. Therefore, the work medium detection unit 303 may detect the work medium 404 by detecting the type of work medium 404 to be detected from the image. There may be multiple types of work medium 404 to be detected. In this case, the work medium detection unit 303 may determine whether or not any one or more of all types of work media 404 to be detected are installed in the booth 400.
- the work medium detection unit 303 may generate position data and type of the detected work medium 404 as a detection result.
- the position data of the work medium 404 may be, for example, two-dimensional or three-dimensional. If the position data of the work medium 404 is two-dimensional, the position data may be, for example, two-dimensional coordinates indicating the position of the work medium 404 in the image. If the position data of the work medium 404 is three-dimensional, the position data may be, for example, three-dimensional coordinates indicating the position where the work medium 404 is placed in the three-dimensional coordinate space indicating the booth 400.
- the position data of the work medium 404 may be composed of a group of coordinates indicating the outline of the work medium 404 in the case of two dimensions, or the surface in the case of three dimensions.
- the work medium detection unit 303 judges whether the gaze direction of the user 401 estimated by the gaze estimation unit 302 is directed towards the work medium 404.
- the work medium detection unit 303 may judge whether the gaze direction is directed towards the work medium 404 depending on whether an extension line of a vector indicating the gaze direction of the user 401 intersects with the work medium 404.
- the work medium detection unit 303 may judge that the gaze direction of the user 401 is directed towards the work medium 404, and if an extension line of the gaze direction does not intersect with the contour or surface of the work medium 404, it may judge that the gaze direction of the user 401 is not directed towards the work medium 404.
- the work medium detection unit 303 detects multiple types of work media 404, if the user's 401 gaze is directed toward at least one of the multiple types of work media 404, it may determine that the user's 401 gaze is directed toward the work medium 404.
- the content processing unit 304 changes the aspect of the content image so that the user's 401 attention level decreases, and displays the content image with the changed aspect on the screen 403.
- the content processing unit 304 changes the appearance of the content image, for example, by blurring the content image.
- the content processing unit 304 may increase the degree of blurring of the content image as the length of time that the user 401 directs his or her gaze toward the work medium 404 increases.
- the content processing unit 304 may return the aspect of the content image to the aspect before the change, i.e., to an unblurred aspect.
- the database 200 and the processor 300 may be implemented in one computer, or may be distributed across multiple computers.
- the database 200 and the processor 300 may be configured in a cloud server or an edge server.
- the camera 402 and the screen 403 are communicatively connected to the database 200 and the processor 300 via an edge computer provided on the edge side.
- FIG. 3 is a diagram showing an example of processing of the information processing system 1 in an embodiment of the present disclosure.
- the flowchart shown in FIG. 3 is executed repeatedly, for example, each time the camera 402 captures an image.
- step S101 the camera 402 captures an image of the inside of the booth 400, and the obtained image of the inside of the booth 400 is stored in the sensor database 202.
- step S102 the user determination unit 301 reads out the latest image captured in step S101 from the sensor database 202, and uses the read out image to determine whether or not a user 401 is present in the booth 400.
- the image to be processed is referred to as the target image.
- step S103 If it is determined that the user 401 is present in the booth 400 (YES in step S103), the process proceeds to step S104; if it is determined that the user 401 is not present in the booth 400 (NO in step S103), the process ends.
- step S104 the gaze estimation unit 302 applies the gaze direction estimation technique described above to the target image to estimate the gaze direction of the user 401.
- step S105 the work medium detection unit 303 applies the above-mentioned object detection technology to the target image to detect the work medium 404.
- step S106 the work medium detection unit 303 determines whether the gaze direction estimated in step S104 is directed toward the work medium 404 detected in step S105.
- step S107 If it is determined that the work medium 404 is present in the line of sight of the user 401 (YES in step S107), the process proceeds to step S108; if it is determined that the work medium 404 is not present in the line of sight of the user 401 (NO in step S107), the process proceeds to step S109.
- step S108 the content processing unit 304 reads the content image to be displayed from the content database 201, applies blurring processing to the read content image, and displays the blurred content image on the screen 403.
- step S109 the content processing unit 304 reads the content image to be displayed from the content database 201, and displays the read content image as is on the screen 403.
- FIG 4 is a diagram showing an example of how to change the aspect of a content image.
- content image 501 is a content image that is displayed on screen 403 when the line of sight of user 401 is not directed toward work medium 404.
- the content image 502 is a content image that is displayed on the screen 403 when the line of sight of the user 401 is directed toward the work medium 404.
- the content processing unit 304 generates the content image 502 by applying a blurring process to the content image 501.
- the content processing unit 304 may divide the content image 501 into multiple blocks and blur the content image 501 by replacing the color of the pixels in each block with the average color of the pixels in the block.
- the degree of blurring increases as the size of the block increases.
- the method of blurring the content is not limited to blurring. Therefore, the content processing unit 304 may increase the degree of blurring by increasing the size of the blocks set in the content image 501, or may increase the degree of blurring by increasing the number of times the blurring process is repeated.
- the content processing unit 304 may gradually increase the degree of blurring as the period during which the user 401's line of sight is directed toward the work medium 404 becomes longer. By gradually increasing the degree of blurring, the user 401's attention can be naturally directed toward the work medium 404.
- FIG. 5 is a diagram showing another example of changing the aspect of a content image.
- Content image 503 is a content image displayed on screen 403 when user 401's line of sight is not directed toward work medium 404.
- Content image 503 is a moving image made up of multiple frame images.
- the content image 504 is a content image that is displayed on the screen 403 when the line of sight of the user 401 is directed toward the work medium 404.
- the content processing unit 304 generates the content image 504 by blurring the content image 503 and then masking the moving object area where a moving object with a large amount of movement is displayed with a mask image.
- the content processing unit 304 calculates the optical flow between the frame image of interest and the frame image one frame before the frame image of interest.
- the content processing unit 304 extracts vectors whose magnitude is equal to or greater than a threshold value from the vectors indicating the calculated optical flow.
- the content processing unit 304 identifies the moving object region from the frame image of interest by clustering the extracted vectors.
- the content processing unit 304 overwrites the moving object region with a mask image.
- the content processing unit 304 identifies frame images from among the frame images constituting the content image 503, which are from a time period in which a vector indicating optical flow was less than a threshold value, and extracts an area corresponding to a moving object area from the identified frame images as a mask image. Next, the content processing unit 304 may mask the identified moving object area by overwriting the identified moving object area with the extracted mask image.
- the content database 201 may store in advance time zone information for each content image indicating which time zone frame images contain moving object regions.
- the content processing unit 304 can refer to this time zone information to identify frame images for time zones in which the vector indicating the optical flow was less than the threshold value.
- FIG. 6 is a diagram showing yet another example of changing the aspect of a content image.
- content image 505 is a content image that is displayed on screen 403 when user 401's line of sight is not directed toward work medium 404.
- Content image 506 is a content image that is displayed on screen 403 when user 401's line of sight is directed toward work medium 404.
- Content image 506 has a smaller amount of movement than content image 505. The amount of movement will be described later.
- the content processing unit 304 switches the content image 505 displayed on the screen 403 to the content image 506. In this way, "changing the aspect of the content image” includes switching from one content image to another content image.
- the content processing unit 304 can switch content image 505 to content image 506 based on the motion amount information previously stored in the content database 201.
- the motion amount information is information indicating the magnitude of movement (motion amount) of a moving object contained in each content image.
- the motion amount is determined by the length of the time period of a frame image that includes the moving object area calculated by the above-mentioned process.
- the content processing unit 304 can identify content image 506 from the content database 201 that has motion amount information with a smaller motion amount than the motion amount indicated by the motion amount information of content image 505.
- the amount of motion may be either one of the maximum value of the size of the moving object area included in the content image and the maximum value of the magnitude of the motion of the moving object included in the content image, or a combination of these.
- the size of the moving object area is, for example, the size of the area obtained by clustering vectors indicating the optical flow.
- the magnitude of the motion of the moving object is, for example, the average value of the magnitude of the vectors indicating the optical flow included in the moving object area.
- the content processing unit 304 may also switch content images by skipping frame images that make up a certain content image and that are displayed on the screen 403 up to frame images that do not include a moving object area.
- the content processing unit 304 while playing back a content image, refers to the time zone information described above to determine whether it is time to play back a frame image containing a moving object area. Then, when the content processing unit 304 determines that it is time to generate a frame image containing a moving object area, it refers to the time zone information to identify the most recent frame image that does not contain a moving object area among the subsequent frame images. The content processing unit 304 then displays the identified frame image that does not contain a moving object area on the screen 403. By repeating this process, the content processing unit 304 can display a content image with a small amount of movement on the screen 403 when the user 401's line of sight is directed toward the work medium 404.
- FIGS. 7 and 8 are diagrams showing yet another example of changing the aspect of a content image.
- FIG. 7 shows a case where the line of sight of the user 401 is not directed toward the work medium 404.
- FIG. 8 shows a case where the line of sight of the user 401 is directed toward the work medium 404.
- the screen 601 includes a first display area 601a and a second display area 601b.
- the first display area 601a is disposed in front of the user 401.
- the second display area 601b is disposed on the left and right of the user 401.
- the second display area 601b disposed to the right of the user 401 is omitted from the illustration in Figures 7 and 8.
- the screen 601 has a configuration that surrounds the user in front, to the left, and to the right, and can display a panoramic content image 602. Therefore, the screen 601 can give the user 401 a sense of immersion.
- the content image 602 may be a video.
- the content processing unit 304 can change the state of the content image in the same manner as described above. That is, when the gaze estimation unit 302 determines that the gaze direction of the user 401 is not directed toward the work medium 404, the content processing unit 304 applies blurring processing, masking processing, content image switching processing, etc. to the content image 602.
- the content processing unit 304 changes the mode of the content displayed in the first display area 601a and does not change the mode of the content displayed in the second display area 601b.
- the content image 602 displayed in the second display area 601b is not blurred, but the content image 602 displayed in the first display area 601a is blurred.
- screen 601 displays content image 602 over a wide area across first display area 601a and second display area 601b, thereby providing user 401 with a greater sense of immersion.
- screen 601 does not change the appearance of content image 602 displayed in second display area 601b, but changes the appearance of content image 602 displayed in first display area 601a. This makes it possible to effectively guide the user's attention to work medium 404.
- the processing load of the processor 300 in a case where the processor 300 does not change the aspect of the content image 602 to be displayed in the second display area 601b, and changes the content image 602 to be displayed in the first display area 601a is smaller than the processing load of the processor 300 in a case where the processor 300 changes the aspect of the content image 602 to be displayed in the second display area 601b, and changes the aspect of the content image 602 to be displayed in the first display area 601a.
- the gaze of the user 401 is directed toward the work medium 404, and therefore it is possible to accurately determine whether the user 401 is concentrating on the work using the work medium 404. If it is determined that the gaze of the user 401 is directed toward the work medium 404, the state of the content image is changed to reduce the degree of attention, so that the attention of the user 401 is directed toward the work medium 404, and it is possible to prevent the decrease in the user's concentration on the work. On the other hand, if the gaze of the user is not directed toward the work medium 404, the attention of the user is directed toward the content image, which increases the user's sense of relaxation, and improves work productivity.
- the gaze estimation unit 302 may acquire a potential difference (ocular voltage) occurring between the cornea side and the retina side of the eyeball of the user 401, detected by an electrode (an example of a sensor) in contact with the periphery of the user's eye, and estimate the gaze direction of the user 401 based on the acquired potential difference. Details of this method are disclosed, for example, in JP 2018-82727 A.
- the content processing unit 304 uses the line of sight direction of the user 401 estimated by the line of sight estimation unit 302 to identify the field of view of the user 401 on the screen 403 or the first display area 601a, blurs the content image within the identified field of view range, and does not have to blur the content image in areas not included in the identified field of view range. In this case, the content processing unit 304 determines a viewing cone centered on the field of view direction, and identifies the plane where the viewing cone intersects with the screen 403 or the first display area 601a as the field of view.
- the content processing unit 304 may reduce the brightness of the content displayed on the screen 403 below the default brightness value. This makes it possible to guide the user's attention to the work medium.
- the content processing unit 304 may reduce the brightness of the first display area 601a below the default brightness. In this case, the brightness may be gradually reduced as the time that the gaze direction of the user 401 is directed toward the work medium 404 increases.
- the content processing unit 304 acquires luminance information related to the luminance of the display equipped in the computer. The content processing unit 304 may then reduce the luminance of the content displayed on the screen 403 so that the luminance is lower than the luminance of the display indicated by the acquired luminance information. If the work medium 404 and the information processing system 1 are connected via a network, the content processing unit 304 may acquire the luminance information of the display via the network.
- the content processing unit 304 may instantly return the aspect.
- the content processing unit 304 may perform a process of gradually returning the aspect as the time during which the user 401 does not direct his/her gaze at the work medium 404 increases. For example, if the change in the aspect of the content image is a blur of the content image, when it is determined that the user 401 is not directing his/her gaze at the work medium 404, the strength of the blur may be gradually weakened, and the content image may be gradually changed to one without blur. This reduces the sense of discomfort felt by the user 401.
- the content image 504 is blurred and the moving object area where a fast-moving object is displayed is masked, but the content image 504 may not be blurred and the moving object area where a fast-moving object is displayed may be masked.
- the space in which the user 401 performs work using the work medium 404 may be a space inside a moving object.
- the mobile object may be stationary or moving.
- the moving object may be a vehicle.
- the processor 300 may be an ECU (Electronic Control Unit) that is standard equipment on the vehicle, or may be configured separately from the ECU.
- ECU Electronic Control Unit
- FIG. 9 is a diagram showing an example of a vehicle. As shown in FIG. 9, a screen 703 for displaying a content image may be disposed in the vehicle.
- Camera 402 may be a camera attached to a personal computer. It may also be a camera installed at a position inside the vehicle where the work medium and the user can take pictures.
- the user 401 may perform work in the rear seat of the vehicle, and the camera may be positioned so as to capture an image of the rear seat 720 of the vehicle.
- the screen 703 may be disposed between a front seat 710 of the vehicle and a rear seat 720 of the vehicle.
- the front seat 710 includes a driver's seat and a passenger seat.
- FIG. 10 is a schematic diagram showing an example of a view of the front seat 710 from the position of the rear seat 720 shown in FIG. 9.
- the screen 703 may include a light-adjusting sheet that can control the transmittance.
- the information processing system may be configured to control the transmittance so that the user can view the traveling direction of the vehicle from the rear seat 720 through the screen 703.
- the screen 703 may have a back surface and a display surface on which an image is displayed, with the display surface being located on the rear seat 720 side and the back surface being located on the front seat 710 side. In other words, the screen 703 may be positioned so as to present a content image to a user in the rear seat who is working on a computer or holding a meeting.
- the distance between the display surface and the rear seat 720 may be smaller than the distance between the back surface and the rear seat 720.
- the projector When a projector is used to project an image onto a screen, the projector may be placed inside the moving object.
- the information processing system 100 may perform operations similar to those shown in the flowchart in FIG. 3.
- FIG. 11 is a diagram showing an example of a case where multiple users use the booth 400.
- the multiple users include a first user 801 and a second user 802, where the first user 801 is working using a personal computer 803 as a work medium, and the second user 802 is working using a notebook 804 as a work medium.
- the multiple users may include three or more users.
- one camera 402 is used to observe the inside of the booth 400, but multiple cameras may be placed inside the booth 400, and multiple cameras in one-to-one correspondence with multiple users may be placed inside the booth 400 to photograph each of the multiple users.
- the multiple cameras may be cameras attached to multiple work media used by each of the multiple users.
- FIG. 11 there is one screen 403 that displays the content image, but multiple screens may be arranged in the booth 400, and multiple screens in one-to-one correspondence with multiple users may be arranged in the booth 400 to display content images to each of the multiple users.
- the multiple screens may be arranged facing each of the multiple users.
- FIG. 12 is a diagram showing an example of the processing of the information processing system 1 in a configuration in which multiple users use the booth 400.
- Step S201 is the same operation as step S101.
- step S202 the user determination unit 301 reads out the latest image captured in step S201 from the sensor database 202, and uses the read out image to determine whether or not multiple users are present in the booth 400.
- the image to be processed is referred to as the target image.
- step S203 If it is determined that multiple users are present in the booth 400 (YES in step S203), the process proceeds to step S204, and if it is determined that multiple users are not present in the booth 400 (NO in step S203), the process proceeds to step S103 in FIG. 3. In this embodiment, if it is determined that two or more users are present in the booth 400, it may be determined that multiple users are present in the booth 400. If there is one user in the booth 400, or if it is determined that no users are present in the booth 400, it may be determined that multiple users are not present in the booth 400.
- step S204 the gaze estimation unit 302 applies the gaze direction estimation technique described above to the target image, and estimates the gaze direction of each of the multiple users.
- step S205 the work medium detection unit 303 applies the above-mentioned object detection technology to the target image and detects multiple work media used by each of the multiple users.
- step S206 the work medium detection unit 303 determines whether the gaze directions of the multiple users estimated in step S204 are directed toward the multiple work media detected in step S205. For example, when the multiple users include a first user and a second user, the work medium detection unit 303 determines whether the gaze direction of the first user is directed toward a first work medium used by the first user, and determines whether the gaze direction of the second user is directed toward a second work medium used by the second user.
- step S207 If it is determined that multiple work media are present in the line of sight of multiple users (YES in step S207), the process proceeds to step S208, and if it is determined that multiple work media are not present in the line of sight of multiple users (NO in step S207), the process proceeds to step S209.
- the work medium detection unit 303 determines that the line of sight of a first user is directed toward a first work medium used by the first user and the line of sight of a second user is directed toward a second work medium used by the second user.
- the work medium detection unit 303 determines that multiple work media are present in the line of sight of each of the multiple users.
- the work medium detection unit 303 determines that at least one of the gaze direction of the first user and the gaze direction of the second user is not directed toward the work medium, the work medium detection unit 303 determines that multiple work media are not present in the gaze direction of each of the multiple users.
- step S208 the content processing unit 304 reads out the content image to be displayed from the content database 201, applies blurring processing to the read out content image, and displays the blurred content image on the screen 403. If multiple screens corresponding to multiple users are provided in the booth 400, the blurred content image may be displayed on each of the multiple screens. Also, in step S208, instead of applying blurring processing to the read out content image, a process may be applied to change an area corresponding to a moving object contained in the read out content image to a background image corresponding to that area, and the image may be displayed on the screen 403. Alternatively, a process may be applied to reduce the brightness of the read out content image, and the image may be displayed on the screen 403.
- step S209 If it is determined that the work medium is present in the line of sight of any of the multiple users (YES in step S209), the process proceeds to step S210. If it is determined that the work medium is not present in the line of sight of any of the multiple users (NO in step S209), the process proceeds to step S211. For example, if the work medium detection unit 303 determines that the line of sight of the first user is directed toward the first work medium used by the first user, or that the line of sight of the second user is directed toward the second work medium used by the second user, it determines that the work medium is present in the line of sight of any of the multiple users.
- the work medium detection unit 303 determines that the line of sight of the first user is not directed toward the first work medium used by the first user, and that the line of sight of the second user is not directed toward the second work medium used by the second user, it determines that the work medium is not present in the line of sight of any of the multiple users.
- step S210 the content processing unit 304 reads out a content image having motion amount information with a small amount of motion from the content database 201, and displays it on the screen 403. Also, if a content image is being displayed on the screen 403 at the time of step S209, the content image displayed in step S210 may be a content image with a smaller amount of motion than the content image already being displayed.
- step S211 the content processing unit 304 reads out the content image to be displayed from the content database 201, and displays it on the screen 403.
- the amount of movement of the content image displayed in step S211 may be greater than the amount of movement of the content image displayed in step S210. Also, if a content image is being displayed on the screen 403 at the time of step S209, step S211 may be an operation of maintaining the display of the content image already being displayed.
- the target image to be processed may include multiple target images.
- the multiple target images may include a first target image corresponding to a first user and a second target image corresponding to a second user.
- the state of the content image displayed on the screen 403 is changed so that the attention level of all of the multiple users decreases, thereby preventing a decrease in the concentration of all of the multiple users.
- the present disclosure is useful in technical fields that improve the work environment, as it prevents a user from losing concentration when working with a work medium.
- Information processing system 200 Database 201: Content database 202: Sensor database 300: Processor 301: User determination unit 302: Gaze estimation unit 303: Work medium detection unit 304: Content processing unit 400: Booth 401: User 402: Camera 403: Screen 404: Work medium 601a: First display area 601b: Second display area
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
情報処理装置は、表示部にコンテンツ画像を表示させ、ユーザが作業を行うための作業媒体に対して、ユーザが視線を向けているか否かを判定し、ユーザが作業媒体に視線を向けていると判定した場合、ユーザの注視度が低下するように表示部に表示されているコンテンツ画像の態様を変化させる。
Description
本開示は、コンテンツ画像を提示する技術に関するものである。
特許文献1には、カメラで撮影されたユーザの画像からユーザの頭部の動き量を検出し、頭部の動き量に基づいてユーザが集中状態にあるか否かを判定し、ユーザが集中状態にあると判定した場合、ユーザの周囲に設置された液晶制御可能なパーテションを非透過状態にする技術が開示されている。
特許文献2には、カメラで撮影されたユーザの画像からユーザの体の動きを認識し、体の動きの認識結果からユーザが作業に集中しているか否かを判定し、ユーザが作業に集中していると判定した場合、ディスプレイに表示されるテレビ会議ソフトウェアの表示画面の画像品位を低下させる技術を開示する。
しかしながら、上記従来技術では、ユーザの視線が、ユーザの作業媒体に向いているか否かが判定されていないので、作業媒体を用いた作業にユーザが集中しているか否かを正確に判定することができない。そのため、上記従来技術は、作業媒体を用いた作業にユーザが集中しているか否かに応じて適切な態様でコンテンツ画像を表示することができず、かかる作業に対するユーザの集中力の低下を抑制することはできない。
本開示は、作業媒体を用いた作業に対するユーザの集中力の低下を抑制する技術を提供することである。
本開示の一態様における情報処理方法は、コンピュータによって実行される情報処理方法であって、表示部にコンテンツ画像を表示させ、ユーザが作業を行うための作業媒体に対して、前記ユーザが視線を向けているか否かを判定し、前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザの注視度が低下するように前記表示部に表示されている前記コンテンツ画像の態様を変化させる。この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。
本開示によれば、作業媒体を用いた作業に対するユーザの集中力の低下を抑制することができる。
(本開示の一態様に至る経緯)
ユーザが作業する個室ブースの内壁に設置されたディスプレイに、風景等のユーザの好みの画像を含むコンテンツ画像を背景として表示させることで、ユーザの高揚感、リラックス感、及び集中力を高め、仕事に対する作業効率を高める技術が検討されている。
ユーザが作業する個室ブースの内壁に設置されたディスプレイに、風景等のユーザの好みの画像を含むコンテンツ画像を背景として表示させることで、ユーザの高揚感、リラックス感、及び集中力を高め、仕事に対する作業効率を高める技術が検討されている。
しかしながら、ユーザがパソコンなどの作業媒体を使った作業に集中している場合、ティスプレイにコンテンツ画像を表示させると、ユーザの意識がコンテンツ画像へ誘導され、かかる作業に対するユーザの集中力を低下させる可能性がある。
ユーザが作業媒体を用いた作業に集中している場合、ユーザの視線は作業媒体に向くので、かかる作業に対してユーザが集中しているか否かは、ユーザの視線が作業媒体に向いているか否かにより判定できる。
上述の特許文献1は、ユーザの頭部の動き量からユーザが集中状態にあるか否かが判定されており、ユーザの視線が作業媒体に向いているか否かを判定することは行われていない。上述の特許文献2は、ユーザの体の動きからユーザが集中しているか否かが判定されており、ユーザの視線が作業媒体に向いているか否かを判定することは行われていない。
したがって、特許文献1、2は、作業媒体を用いた作業に対するユーザの集中の有無を正確に判定できない。そのため、作業媒体を用いた作業にユーザが集中しているか否かに応じて適切な態様でコンテンツ画像を表示することができず、かかる作業に対するユーザの集中力の低下を抑制することができない。
また、特許文献1では、ユーザの集中度が高い場合、ユーザに対して集中度が高い旨の警告を行ったり、第三者がユーザにコンタクトを要求する双方向通信機器に対してコンタクト要求を制限したりすることが行われているに過ぎず、ユーザの集中力などが高まるようなコンテンツ画像を表示すること、およびコンテンツ画像の態様を変更することは行われていない。特許文献2では、ユーザが作業に集中している場合、ディスプレイに表示される画像の画像品質を低下させることが開示されている。しかしながら、この画像は、ある組織体に属する構成員であって在宅勤務をしている構成員などの勤務風景を一覧表示するための画像であり、ユーザの集中力を高めるようなコンテンツ画像ではない。
そこで、本発明者らは、ユーザの視線が作業媒体を向いているか否かを判定すれば、作業媒体を用いた作業にユーザが集中しているか否かを正確に判定できるとの知見を得た。そして、本発明者らは、作業媒体にユーザの視線が向いている場合、ユーザの注視度が低下するようにコンテンツ画像の態様を変更すれば、作業媒体を用いた作業に対するユーザの集中力の低下を抑制することができるとの知見を得て、本開示を想到するに至った。
(1)本開示の一態様における情報処理方法は、コンピュータによって実行される情報処理方法であって、表示部にコンテンツ画像を表示させ、ユーザが作業を行うための作業媒体に対して、前記ユーザが視線を向けているか否かを判定し、前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザの注視度が低下するように前記表示部に表示されている前記コンテンツ画像の態様を変化させる。
この構成によれば、ユーザの視線が作業媒体に向いているか否かが判定されているので、作業媒体を用いた作業に対してユーザが集中しているか否かを正確に判定できる。そして、ユーザの視線が作業媒体に向いていると判定された場合、注視度が低下するようにコンテンツ画像の態様が変更されるので、作業に対してユーザが集中している状態を阻害せず、ユーザの意識を作業媒体に向けさせ、かかる作業に対するユーザの集中力の低下を抑制することができる。一方、ユーザの視線が作業媒体に向いていない場合は、ユーザの意識をコンテンツ画像に向けてユーザのリラックス感などを高め、仕事の生産性を向上できる。
(2)上記(1)記載の情報処理方法において、前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像を暈すことを含んでもよい。
この構成によれば、ユーザの視線が作業媒体に向いていると判定された場合、表示部に表示されるコンテンツ画像が暈されるので、コンテンツ画像へのユーザの注視度が下げられ、ユーザの意識を作業に誘導させることができる。
(3)上記(2)記載の情報処理方法は、前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザが前記作業媒体に視線を向けている期間の長さに従って、前記コンテンツ画像の暈し度合を高めてもよい。
この構成によれば、作業媒体に視線を向けている期間に応じてコンテンツ画像の暈し度合いが高められるので、コンテンツ画像の態様を違和感なく変化させることができる。
(4)上記(1)~(3)のいずれか1つに記載の情報処理方法において、前記コンテンツ画像は動画像であり、前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像に含まれる動体に対応する領域を、前記領域に対応する背景画像に変更することであってもよい。
この構成によれば、コンテンツ画像に含まれる動体部分が背景画像によってマスクされるので、コンテンツへのユーザの注視度を低下させることができる。
(5)上記(1)~(4)のいずれか1つに記載の情報処理方法において、前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像の輝度を低下させることを含んでもよい。
この構成によれば、コンテンツ画像の輝度を低下させることでコンテンツへのユーザの注視度を低下させることができる。
(6)上記(1)~(5)のいずれか1つに記載の情報処理方法において、前記コンテンツ画像の態様を変化させた後に、前記ユーザが前記作業媒体に視線を向けていないと判定した場合、前記コンテンツ画像の態様を変化させる前の態様へと戻してもよい。
この構成によれば、作業への集中が途切れた際に、コンテンツ画像の態様が元の態様に戻されるので、ユーザの意識をコンテンツ画像に向け、ユーザのリラックス感など高めることができる。
(7)上記(1)~(6)のいずれか1つに記載の情報処理方法において、前記表示部は、前記ユーザに対向する第1表示領域および前記第1表示領域と異なる第2表示領域を含み、前記表示部に前記コンテンツ画像を表示させることは、前記第1表示領域および前記第2表示領域に前記コンテンツ画像を表示させることを含み、前記コンテンツ画像に含まれる第1コンテンツ画像は前記第1表示領域に表示され、前記コンテンツ画像に含まれる第2コンテンツ画像は前記第2表示領域に表示され、前記コンテンツ画像の態様を変化させることは、前記第1コンテンツ画像の態様を変化させ、前記第2コンテンツ画像の態様を変化させないことを含んでもよい。
この構成によれば、ユーザの視線が作業媒体に向いている場合、ユーザに対向する第1表示領域に表示されるコンテンツ画像の態様が変化され、第2表示領域に表示されたコンテンツ画像の態様は変化されないので、コンテンツ画像の態様を変化させる際の処理負担が低減される。さらに、ユーザに対向する第1表示領域と第2表示領域とを用いてコンテンツ画像が表示されるので、ユーザの視線が作業媒体に向いていないときは、より没入感のあるコンテンツ画像を表示させることができる。
(8)上記(1)~(7)のいずれか1つに記載の情報処理方法において、前記コンテンツ画像は、第1コンテンツ動画像と、前記第1コンテンツ動画像よりも動き量が小さい第2コンテンツ動画像とを含み、前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記表示部に表示される前記第1コンテンツ動画像を前記第2コンテンツ動画像に変更してもよい。
この構成によれば、ユーザが作業媒体に視線が向いている場合、第1コンテンツ動画像が、第1コンテンツ動画像よりも動き量が小さい第2コンテンツ動画像に変更されるので、ユーザの意識を作業媒体に誘導し、かかる作業に対するユーザの集中力の低下を抑制できる。
(9)上記(1)~(8)のいずれか1つに記載の情報処理方法において、前記コンテンツ画像は、前記ユーザの周囲の雰囲気を形成する画像であってもよい。
この構成によれば、コンテンツ画像はユーザの周囲の雰囲気を形成する画像であるので、コンテンツ画像を通じてユーザのリラックス感などを高めることができる。
(10)上記(1)~(9)のいずれか1つに記載の情報処理方法において、前記ユーザの視線が前記作業媒体に向いているか否かの判定では、前記ユーザの少なくとも目の状態を検出するセンサによりに検出されたセンシングデータを用いて判定することを含んでもよい。
この構成によれば、ユーザの目の状態を検出するセンサにより検出されたセンシングデータを用いてユーザの視線が作業媒体に向いているか否かが判定されるので、ユーザの視線が作業媒体に向いているか否かを正確に判定できる。
(11)本開示の別の一態様における情報処理システムは、プロセッサを含む情報処理システムであって、前記プロセッサは、表示部にコンテンツ画像を表示させ、ユーザが作業を行うための作業媒体に対して、前記ユーザが視線を向けているか否かを判定し、前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザの注視度が低下するように前記表示部に表示されている前記コンテンツ画像の態様を変化させる、処理を実行する。
この構成によれば、作業媒体を用いた作業に対するユーザの集中力の低下を抑制させる情報処理システムを提供できる。
本開示は、このような情報処理方法に含まれる特徴的な各構成をコンピュータに実行させる情報処理プログラム、或いはこの情報処理プログラムによって動作する情報処理装置として実現することもできる。また、このようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
(実施の形態)
図1は、本開示の実施の形態における情報処理方法が適用されるブース400の一例を示す図である。ブース400とは、ユーザ401が作業媒体404を用いた作業を行うための空間である。ブース400の一例は、例えば在宅勤務を行うユーザ401の部屋、オフィスに設けられた部屋、又はオフィスにおいてパーテションで区切られた空間等である。
図1は、本開示の実施の形態における情報処理方法が適用されるブース400の一例を示す図である。ブース400とは、ユーザ401が作業媒体404を用いた作業を行うための空間である。ブース400の一例は、例えば在宅勤務を行うユーザ401の部屋、オフィスに設けられた部屋、又はオフィスにおいてパーテションで区切られた空間等である。
ブース400には、少なくとも、ブース400内を観測するカメラ402と、コンテンツを表示するスクリーン403(表示部の一例)とが設置されている。
スクリーン403の一例は、液晶パネル及び有機ELパネルなどのディスプレイ機器である。スクリーン403は、プロジェクタからの映像を投影するスクリーンであってもよい。また、プロジェクタを用いて映像を投影する場合、スクリーン403は、ブース400の壁面の一部であってもよい。
カメラ402(センサの一例)は、例えば所定のフレームレートでブース400内を撮影する撮影装置で構成される。カメラ402は、光軸が作業媒体404及び作業媒体404を用いるユーザ401に向くようにブース400の天井に設置されている。カメラ402は、ユーザ401と、ユーザ401の視線方向と、ユーザ401の作業媒体404とを観測するために用いられる。なお、1台のカメラで全ての情報を観測することが困難である場合、ブース400内には複数台のカメラが設置されてもよい。
なお、カメラ402は、作業媒体404及びユーザ401が撮影可能な位置であればブース400内のどのような位置に設置されていてもよい。例えば、作業媒体404がパーソナルコンピュータで構成される場合、カメラ402はパーソナルコンピュータに備え付けられたカメラが採用されてもよい。また、カメラ402は、三脚又は固定用アームなどの支持体によって支持された状態で卓上または卓上の周辺に設置されてもよい。また、カメラ402は、ユーザ401が着用するメガネ型のウェアラブルデバイスに備えつけられたカメラであってもよい。
スクリーン403は、コンテンツ画像を表示する。コンテンツ画像は、ブース400内で作業するユーザ401の背景として機能する。コンテンツ画像はユーザ401が事前に設定した気に入りの画像であってもよい。コンテンツ画像の一例は、美しい自然の風景画像、適度な喧騒のあるカフェの雰囲気を醸し出す画像、又は落ち着いた図書館にいるような雰囲気を醸し出す画像などである。また、コンテンツ画像は、癒しを与える画像、動物系、又は植物系の画像であってもよい。このようにコンテンツ画像は、ブース400内で作業するユーザ401の周囲の雰囲気を形成し、それによって、ユーザ401の高揚感、リラックス感などを高める画像が採用される。
作業媒体404は、ユーザが作業を行うための物体である。作業媒体404の一例は、パーソナルコンピュータ、ノート、本、タブレット型コンピュータ、及びスマートフォンなどである。パーソナルコンピュータは据え置き型のコンピュータであってもよいし、ノートブック型のコンピュータであってもよい。
コンテンツ画像は、ユーザ401がブース400の利用を予約する際にユーザ401により選択された画像が採用されてもよい。また、ブース400にコンテンツ画像を選択するための入力装置(図略)が設けられている場合、ユーザ401はこの入力装置を操作してコンテンツ画像を選択してもよい。さらに、ブース400内にスピーカー(図略)を設け、コンテンツ画像に合った音が再生されてもよい。
図2は、本開示の実施の形態における情報処理システム1の構成の一例を示すブロック図である。情報処理システム1は、図1に示すカメラ402及びスクリーン403の他、データベース200及びプロセッサ300を含む。
データベース200は、例えば、ハードディスクドライブ及びソリッドステートドライブなどの書き換え可能な不揮発性の記憶装置で構成されている。データベース200は、コンテンツデータベース201及びセンサデータベース202を含む。
コンテンツデータベース201は、スクリーン403に表示されるコンテンツ画像を記憶する。コンテンツデータベース201は表示候補となる複数種類のコンテンツ画像を記憶してもよい。この場合、ユーザ401により選択されたコンテンツ画像がスクリーン403に表示されてもよい。なお、コンテンツ画像に再生音が関連付けられている場合、コンテンツデータベース201は、コンテンツ画像に再生音の音データを関連付けて記憶すればよい。コンテンツ画像は、複数のフレーム画像から構成される動画像であってもよいし、静止画像であってもよい。
センサデータベース202は、カメラ402が撮影した画像を記憶する。この画像には撮影日時を示すタイムスタンプが付与されていてもよい。また、この画像には、ブース400を特定するための識別子が付与されていてもよい。
プロセッサ300は、例えば、中央演算処理装置(CPU)で構成されている。プロセッサ300は、ユーザ判定部301、視線推定部302、作業媒体検出部303、及びコンテンツ処理部304を含む。ユーザ判定部301~コンテンツ処理部304は、CPUが情報処理プログラムを実行することで実現されてもよいし、専用のハードウェア回路で実現されてもよい。
ユーザ判定部301は、センサデータベース202から画像を読み出し、読みだした画像を用いてブース400内にユーザ401が存在するか否かを判定する。ユーザ判定部301は、パターンマッチングなどの手法を用いて画像に人間が含まれているか否かを判定し、人間が含まれていると判定した場合、ブース400内にユーザ401が存在すると判定してもよい。或いは、ユーザ判定部301は、顔認証技術を画像に適用することでブース400内にユーザ401が存在するか否かを判定してもよい。なお、ユーザ判定部301は、リアルタイム処理を実現するために、センサデータベース202に画像が記憶される都度、ブース400内にユーザが存在するか否かを判定する処理を実行すればよい。
視線推定部302は、ユーザ401を含む画像を用いてユーザ401の視線方向を推定する。ここで、画像からユーザ401の視線方向を推定する技術は公知であるので、視線推定部302は、この公知の手法を用いてユーザ401の視線方向を推定すればよい。例えば、視線推定部302は、ユーザ401を含む画像からユーザ401の眼球位置、瞳孔位置、及び顔の向きなどを検出し、検出した眼球位置、瞳孔位置、及び顔の向きなどからユーザ401の視線方向を推定すればよい。画像から検出された眼球位置及び瞳孔位置を用いて視線を推定する技術は、例えば特開2004-21870号公報に開示されているので、視線推定部302はこの技術を用いてユーザ401の視線方向を推定してもよい。推定される視線方向は2次元ベクトルであってもよいし、3次元ベクトルであってもよい。
作業媒体検出部303は、センサデータベース202から画像を読み出し、読みだした画像を用いてブース400内に設置された作業媒体404を検出する。作業媒体検出部303は、例えば、画像から特定の物体を検出する物体検出技術を用いて作業媒体404を検出すればよい。ここで、検出対象となる作業媒体404の種類は予め定められている。そのため、作業媒体検出部303は、検出対象となる種類の作業媒体404を画像から検出することで、作業媒体404を検出すればよい。検出対象となる作業媒体404は複数種類であってもよい。この場合、作業媒体検出部303は、検出対象となる全ての種類の作業媒体404のうちいずれか1以上の作業媒体404がブース400内に設置されているか否かを判定すればよい。作業媒体検出部303は、検出した作業媒体404の位置データと種類とを検出結果として生成すればよい。作業媒体404の位置データは、例えば2次元であってもよいし、3次元であってもよい。作業媒体404の位置データが2次元の場合、位置データは例えば画像における作業媒体404の位置を示す2次元座標が採用される。作業媒体404の位置データが3次元の場合、位置データは例えばブース400を示す3次元座標空間内において作業媒体404が設置された位置を示す3次元座標が採用できる。作業媒体404の位置データは作業媒体404の2次元の場合は輪郭又は3次元の場合は表面を示す座標群で構成されてもよい。
さらに、作業媒体検出部303は、視線推定部302により推定されたユーザ401の視線方向が作業媒体404に向いているか否かを判定する。ここで、作業媒体検出部303は、ユーザ401の視線方向を示すベクトルの延長線と作業媒体404とが交わるか否かに応じて視線方向が作業媒体404に向いているか否かを判定すればよい。例えば、作業媒体検出部303は、視線方向を示すベクトルの延長線と作業媒体404の輪郭又は表面とが交われば、ユーザ401の視線方向が作業媒体404に向いていると判定し、視線方向の延長線と作業媒体404の輪郭又は表面とが交わっていなければユーザ401の視線方向が作業媒体404に向いていないと判定すればよい。
なお、作業媒体検出部303は、複数種類の作業媒体404を検出した場合、複数種類の作業媒体404のうち少なくとも1つの作業媒体404にユーザ401の視線が向いていれば、ユーザ401の視線が作業媒体404を向いていると判定すればよい。
コンテンツ処理部304は、作業媒体検出部303によりユーザ401の視線方向が作業媒体404に向いていると判定された場合、ユーザ401の注視度が低下するようにコンテンツ画像の態様を変化させ、態様を変化させたコンテンツ画像をスクリーン403に表示する。
コンテンツ処理部304は、例えば、コンテンツ画像を暈すことで、コンテンツ画像の態様を変化させる。この場合、コンテンツ処理部304は、ユーザ401が作業媒体404に視線を向けている期間の長さが大きくなるにつれて、コンテンツ画像の暈し度合を高めてもよい。
コンテンツ処理部304は、コンテンツ画像の態様を変化させた後に、ユーザ401が作業媒体404に視線を向けていないと判定した場合、コンテンツ画像の態様を変化させる前の態様、すなわち、暈していない態様へと戻してもよい。
なお、図2に示す情報処理システムにおいて、データベース200及びプロセッサ300は1台のコンピュータに実装されていてもよいし、複数のコンピュータに分散配置されていてもよい。例えば、データベース200及びプロセッサ300はクラウドサーバで構成されてもよいし、エッジサーバで構成されていてもよい。データベース200及びプロセッサ300をクラウドサーバで構成する場合、カメラ402及びスクリーン403はエッジ側に設けられたエッジコンピュータを介してデータベース200及びプロセッサ300と通信可能に接続される。
図3は、本開示の実施の形態における情報処理システム1の処理の一例を示す図である。図3に示すフローチャートは例えばカメラ402が画像を撮影する都度繰り返し実行される。
まず、ステップS101において、カメラ402がブース400内を撮影し、得られたブース400内の画像をセンサデータベース202に記憶させる。
次に、ステップS102において、ユーザ判定部301は、ステップS101で撮影された最新の画像をセンサデータベース202から読み出し、読みだした画像を用いてブース400内にユーザ401が存在するか否かを判定する。以下、処理対象となる画像を対象画像と呼ぶ。
ブース400内にユーザ401が存在すると判定された場合(ステップS103でYES)、処理はステップS104に進み、ブース400内にユーザ401が存在しないと判定された場合(ステップS103でNO)、処理は終了する。
次に、ステップS104において、視線推定部302は、対象画像に上述の視線方向を推定する技術を適用し、ユーザ401の視線方向を推定する。
次に、ステップS105において、作業媒体検出部303は、対象画像に上述の物体検出技術を適用し、作業媒体404を検出する。
次に、ステップS106において、作業媒体検出部303は、ステップS104で推定された視線方向がステップS105で検出された作業媒体404を向いているか否かを判定する。
ユーザ401の視線方向に作業媒体404が存在すると判定された場合(ステップS107でYES)、処理はステップS108に進み、ユーザ401の視線方向に作業媒体404が存在しないと判定された場合(ステップS107でNO)、処理はステップS109に進む。
ステップS108において、コンテンツ処理部304は、コンテンツデータベース201から表示対象となるコンテンツ画像を読み出し、読みだしたコンテンツ画像に対して暈す処理を適用し、暈したコンテンツ画像をスクリーン403に表示する。
ステップS109において、コンテンツ処理部304は、コンテンツデータベース201から表示対象となるコンテンツ画像を読み出し、読みだしたコンテンツ画像をそのままスクリーン403に表示する。
次に、コンテンツ画像の態様の変更について説明する。図4は、コンテンツ画像の態様の変更の一例を示す図である。図4において、コンテンツ画像501は、ユーザ401の視線方向が作業媒体404に向いていない場合にスクリーン403に表示されるコンテンツ画像である。
コンテンツ画像502は、ユーザ401の視線方向が作業媒体404に向いている場合に、スクリーン403に表示されるコンテンツ画像である。コンテンツ処理部304は、コンテンツ画像501に対して暈し処理を適用することによってコンテンツ画像502を生成する。
暈し処理の一例はblurである。例えば、コンテンツ処理部304は、コンテンツ画像501を複数のブロックに区切り、各ブロック内の画素の色をブロック内の画素の色の平均値に置き換えることでコンテンツ画像501を暈せばよい。この場合、ブロックのサイズが増大するほど、暈し度合いが高くなる。なお、コンテンツを暈す方法はblurに限定されない。したがって、コンテンツ処理部304は、コンテンツ画像501に設定するブロックのサイズを増大することで暈し度合いを高めてもよいし、blur処理の繰り返し回数を増大させることで、暈し度合いと高めてもよい。
ここで、コンテンツ処理部304は、ユーザ401の視線方向が作業媒体404に向いている期間が長くなるにつれて、暈し度合を徐々に高めてもよい。暈し度合を徐々に高めることで、ユーザ401の意識を違和感なく作業媒体404に向けさせることができる。
図5は、コンテンツ画像の態様の変更の別の一例を示す図である。コンテンツ画像503は、ユーザ401の視線方向が作業媒体404に向いていないときに、スクリーン403に表示されるコンテンツ画像である。コンテンツ画像503は、複数のフレーム画像から構成されている動画像である。
コンテンツ画像504は、ユーザ401の視線方向が作業媒体404に向いているときに、スクリーン403に表示されるコンテンツ画像である。コンテンツ処理部304は、コンテンツ画像503を暈した上で、さらに動きの激しい動体が表示される動体領域をマスク画像でマスクすることでコンテンツ画像504を生成する。
動体領域を判定する方法としては、以下の手法が採用できる。まず、コンテンツ処理部304は、注目するフレーム画像と、注目するフレーム画像よりも1フレーム前のフレーム画像との間におけるオプティカルフローを計算する。次に、コンテンツ処理部304は、計算したオプティカルフローを示すベクトルのうち、大きさが閾値以上となるベクトルを抽出する。次に、コンテンツ処理部304は、抽出したベクトルをクラスタリングすることで注目するフレーム画像から動体領域を特定する。次に、コンテンツ処理部304は、動体領域をマスク画像で上書きする。
ここで、コンテンツ処理部304は、コンテンツ画像503を構成するフレーム画像のうち、オプティカルフローを示すベクトルが閾値未満であった時間帯のフレーム画像を特定し、特定したフレーム画像から動体領域に相当する領域をマスク画像として抽出する。次に、コンテンツ処理部304は、抽出したマスク画像を、特定した動体領域に上書きすることで特定した動体領域をマスクすればよい。
なお、コンテンツデータベース201は、各コンテンツ画像について、どの時間帯のフレーム画像が動体領域を含むフレーム画像であるかを示す時間帯情報を予め記憶していてもよい。この場合、コンテンツ処理部304は、この時間帯情報を参照することで、オプティカルフローを示すベクトルが閾値未満であった時間帯のフレーム画像を特定すればよい。
図6は、コンテンツ画像の態様の変更のさらに別の一例を示す図である。図6において、コンテンツ画像505は、ユーザ401の視線方向が作業媒体404に向いていない場合に、スクリーン403に表示されるコンテンツ画像である。
コンテンツ画像506は、ユーザ401の視線方向が作業媒体404を向いている場合にスクリーン403に表示されるコンテンツ画像である。コンテンツ画像506は、コンテンツ画像505よりも動き量が小さい。動き量については後述する。
コンテンツ処理部304は、視線推定部302によりユーザ401の視線方向が作業媒体404を向いていると判定された場合、スクリーン403に表示するコンテンツ画像505をコンテンツ画像506に切り替える。このように、「コンテンツ画像の態様を変化させる」ことには、あるコンテンツ画像を別のコンテンツ画像に切り替えることが含まれる。
この場合、コンテンツ処理部304は、コンテンツデータベース201に事前に記憶された動き量情報に基づいてコンテンツ画像505をコンテンツ画像506に切り替えればよい。動き量情報は、各コンテンツ画像に含まれる動体の動きの大きさ(動き量)を示す情報である。例えば、動き量は、上述した処理により算出された動体領域を含むフレーム画像の時間帯の長さによって規定される。この場合、コンテンツ処理部304は、コンテンツ画像505の動き量情報が示す動き量より動き量が小さな動き量情報を有するコンテンツ画像506をコンテンツデータベース201から特定すればよい。
また、動き量は、コンテンツ画像に含まれる動体領域の大きさの最大値、及びコンテンツ画像に含まれる動体の動きの大きさの最大値のいずれか1つ又はこれらの組み合わせであってもよい。動体領域の大きさは、例えば、オプティカルフローを示すベクトルをクラスタリングすることで得られる領域のサイズである。動体の動きの大きさは、例えば、動体領域に含まれるオプティカルフローを示すベクトルの大きさの平均値である。
なお、コンテンツ処理部304は、ある1つのコンテンツ画像を構成するフレーム画像のうち、動体領域を含まないフレーム画像までスクリーン403に表示するフレーム画像をスキップすることでコンテンツ画像を切り替えてもよい。
この場合、コンテンツ処理部304は、コンテンツ画像の再生中に、上述した時間帯情報を参照して動体領域を含むフレーム画像を再生するタイミングになったか否かを判定する。そして、コンテンツ処理部304は、動体領域を含むフレーム画像を生成するタイミングになったと判定した場合、時間帯情報を参照することで、後続するフレーム画像のうち動体領域を含んでいない直近のフレーム画像を特定する。そして、コンテンツ処理部304は、特定した動体領域を含んでいないフレーム画像をスクリーン403に表示すればよい。コンテンツ処理部304は、この処理を繰り返すことで、ユーザ401の視線方向が作業媒体404に向いている場合、動き量の小さなコンテンツ画像をスクリーン403に表示できる。
図7、図8は、コンテンツ画像の態様の変更のさらに別の一例を示す図である。図7は、ユーザ401の視線方向が作業媒体404に向いていない場合を示す。図8は、ユーザ401の視線方向が作業媒体404に向いている場合を示す。
図7、図8に示すように、スクリーン601は、第1表示領域601a及び第2表示領域601bを含む。第1表示領域601aは、ユーザ401の正面に配置されている。第2表示領域601bは、ユーザ401の左右に配置されている。なお、図7、図8ではユーザ401の右方に配置された第2表示領域601bは、説明の便宜上、図示が省略されている。このように、スクリーン601は、ユーザの前方、左方、及び右方を取り囲む構成を有しており、パノラマのコンテンツ画像602を表示できる。そのため、スクリーン601は、ユーザ401に没入感を与えることができる。コンテンツ画像602は動画であってもよい。
図7、図8の例においても、前述と同様に、コンテンツ処理部304は、コンテンツ画像の態様を変化させることができる。すなわち、コンテンツ処理部304は、視線推定部302によりユーザ401の視線方向が作業媒体404に向いていないと判定された場合、コンテンツ画像602に対して、暈し処理を適用したり、マスク処理を適用したり、コンテンツ画像の切り替え処理などを実行する。
具体的には、コンテンツ処理部304は、視線推定部302によりユーザ401の視線方向が作業媒体404に向いていると判定された場合、第1表示領域601aに表示されるコンテンツの態様を変化させ、第2表示領域601bに表示されるコンテンツの態様を変化させない。図8の例では、第2表示領域601bに表示されるコンテンツ画像602は暈されていないが、第1表示領域601aに表示されるコンテンツ画像602は暈されている。
このように、図7、図8の例では、ユーザ401が作業媒体404に視線を向けていない場合、スクリーン601は、第1表示領域601a及び第2表示領域601bにわたって広範囲にコンテンツ画像602を表示するので、ユーザ401に対してより没入感を与えることができる。一方、ユーザ401が作業媒体404に視線を向けている場合、スクリーン601は、第2表示領域601bに表示されるコンテンツ画像602の態様を変化させず、第1表示領域601aに表示されるコンテンツ画像602の態様を変化させる。そのため、ユーザの意識を作業媒体404に効果的に誘導させることができる。さらに、プロセッサ300が第2表示領域601bに表示させるコンテンツ画像602の態様を変化させず、かつ、プロセッサ300が第1表示領域601aに表示させるコンテンツ画像602を変化させる場合のプロセッサ300の処理の負荷は、プロセッサ300が第2表示領域601bに表示させるコンテンツ画像602の態様を変化させ、かつ、プロセッサ300が第1表示領域601aに表示させるコンテンツ画像602の態様を変化させる場合のプロセッサ300の処理の負荷より、小さい。
以上説明したように、本実施の形態によれば、ユーザ401の視線が作業媒体404に向いているか否かが判定されているので、作業媒体404を用いた作業に対してユーザ401が集中しているか否かを正確に判定できる。そして、ユーザ401の視線が作業媒体404に向いていると判定された場合、注視度が低下するようにコンテンツ画像の態様が変更されるので、ユーザ401の意識を作業媒体404に向けさせ、かかる作業に対するユーザの集中力の低下を抑制することができる。一方、ユーザの視線が作業媒体404に向いていない場合は、ユーザの意識をコンテンツ画像に向けてユーザのリラックス感などを高め、仕事の生産性を向上できる。
本開示は以下の変形例が採用できる。
(1)視線推定部302は、ユーザの眼の周辺に接触された電極(センサの一例)が検出した、ユーザ401の眼球の角膜側と網膜側との間に生じる電位差(眼電圧)を取得し、取得した電位差に基づいてユーザ401の視線方向を推定してもよい。この手法の詳細は、例えば特開2018-82727号公報に開示されている。
(2)コンテンツ処理部304は、視線推定部302により推定されたユーザ401の視線方向を用いて、スクリーン403又は第1表示領域601aにおけるユーザ401の視野範囲を特定し、特定した視野範囲内においてコンテンツ画像を暈し、かつ、当該特定した視野範囲に含まれない領域においてはコンテンツ画像を暈さなくてもよい。この場合、コンテンツ処理部304は、視野方向を中心とする視円錐を求め、視円錐とスクリーン403又は第1表示領域601aとが交わる面を視野範囲として特定すればよい。
(3)コンテンツ処理部304は、視線推定部302によりユーザ401の視線方向が作業媒体404に向いていると判定された場合、スクリーン403に表示されるコンテンツの輝度をデフォルトの輝度値より低下させてもよい。これにより、ユーザの意識を作業媒体へと誘導することができる。なお、図8の例において、コンテンツ処理部304は、第1表示領域601aの輝度をデフォルトの輝度よりも低下させればよい。また、この場合、ユーザ401の視線方向が作業媒体404に向いている時間が長くなるにつれて徐々に輝度を下げてもよい。
(4)作業媒体404がディスプレイを備えたコンピュータである場合、コンテンツ処理部304は、当該コンピュータに備えられたディスプレイの輝度に関する輝度情報を取得する。そして、コンテンツ処理部304は、スクリーン403に表示されるコンテンツの輝度が、取得した輝度情報が示すディスプレイの輝度よりも低くなるようにコンテンツの輝度を低下させてもよい。作業媒体404と情報処理システム1とがネットワークを介して接続されている場合、コンテンツ処理部304は、ネットワークを介して当該ディスプレイの輝度情報を取得すればよい。
(5)コンテンツ処理部304は、変化させたコンテンツ画像の態様を変化させる前の態様へと戻す場合、瞬時に態様を戻してもい。或いは、コンテンツ処理部304は、ユーザ401が作業媒体404に視線を向けていない時間が増大するにつれて段階的に態様を戻す処理を行ってもよい。例えば、コンテンツ画像の態様の変化が、コンテンツ画像の暈しである場合は、ユーザ401が作業媒体404に視線を向けていないと判定した場合に、暈し強度を徐々に弱め、段階的に暈しのないコンテンツ画像へ変化させればよい。これにより、ユーザ401に与える違和感を低減できる。
(6)図5の例では、コンテンツ画像504は暈され、かつ、動きの激しい動体が表示される動体領域がマスキングされているが、コンテンツ画像504は暈さず、かつ、動きの激しい動体が表示される動体領域がマスキングされてもよい。
(7)その他1
ユーザ401が作業媒体404を用いた作業を行うための空間は、移動体の内部の空間であってもよい。
ユーザ401が作業媒体404を用いた作業を行うための空間は、移動体の内部の空間であってもよい。
ユーザ401が作業を行う期間において、移動体は停止中または移動中であってもよい。
例えば、移動体は車両であってもよい。
プロセッサ300は、車両が標準装備するECU(Electronic Control Unit)であってもよいし、ECUとは別に構成してもよい。
図9は車両の一例を示す図である。図9に示すように、コンテンツ画像を表示するスクリーン703は車両に配置されていてもよい。
カメラ402はパーソナルコンピュータに備え付けられたカメラが採用されてもよい。また、作業媒体及びユーザが撮影可能な位置であって、車両の内部のある位置に設置されたカメラであってもよい。
ユーザ401は、車両の後部座席において作業を行ってもよく、カメラは車両の後部座席720を撮影可能な位置に配置されてもよい。
スクリーン703は、車両の前部座席710と、車両の後部座席720との間に配置されていてもよい。前部座席710は、運転席、および助手席を含む。
図10は、図9に示す後部座席720の位置から前部座席710を見た場合の光景の一例を模式的に示す図である。スクリーン703は、透過率を制御できる調光シートを含んでいてもよい。当該透過率を制御することにより、後部座席720からスクリーン703を介して、ユーザが車両の進行方向を視認できるように情報処理システムが構成されていてもよい。
スクリーン703は、背面、および画像が表示される表示面を有し、表示面が後部座席720の側に位置し、背面が前部座席710の側に位置していてもよい。すなわち、スクリーン703は、後部座席においてコンピュータなどを用いた作業や会議を行うユーザに対してコンテンツ画像を提示するように配置されていてもよい。表示面と後部座席720の距離は、背面と後部座席720の距離より小さくてもよい。
プロジェクタを用いてスクリーンに映像を投影する場合、プロジェクタは移動体の内部に配置されてもよい。
ユーザが作業を行うための空間が移動体の内部の空間であっても、情報処理システム100は、図3に示すフローチャートと同様の動作を行ってもよい。
(8)その他2
複数のユーザに対して本開示の情報処理方法が適用されてもよい。
複数のユーザに対して本開示の情報処理方法が適用されてもよい。
図11は、複数のユーザがブース400を利用する場合の一例を示す図である。図11において、複数のユーザは、第1ユーザ801及び第2ユーザ802を含み、第1ユーザ801は作業媒体としてパーソナルコンピュータ803を用いて作業を行っており、第2ユーザ802は作業媒体としてノート804を用いて作業を行っている。図11に示す例とは異なり、複数のユーザは3人以上のユーザを含んでいてもよい。
図11において、ブース400内を観測するカメラ402は1台であるが、複数のカメラがブース400内に配置されていてもよく、複数のユーザそれぞれを撮影するための、複数のユーザそれぞれに1対1対応する複数のカメラがブース400内に配置されていてもよい。当該複数のカメラは、複数のユーザそれぞれが用いる複数の作業媒体それぞれに備え付けられたカメラが採用されてもよい。
図11において、コンテンツ画像を表示するスクリーン403は1つであるが、複数のスクリーンがブース400内に配置されていてもよく、複数のユーザそれぞれに対してコンテンツ画像を表示するための、複数のユーザそれぞれに1対1対応する複数のスクリーンがブース400内に配置されていてもよい。当該複数のスクリーンは、複数のユーザそれぞれに対向して配置されていてもよい。
図12は、複数のユーザがブース400を利用する場合を想定した形態における情報処理システム1の処理の一例を示す図である。
ステップS201はステップS101と同様の動作である。
ステップS202において、ユーザ判定部301は、ステップS201で撮影された最新の画像をセンサデータベース202から読み出し、読みだした画像を用いてブース400内に複数のユーザが存在するか否かを判定する。以下、処理対象となる画像を対象画像と呼ぶ。
ブース400内に複数のユーザが存在すると判定された場合(ステップS203でYES)、処理はステップS204に進み、ブース400内に複数のユーザが存在しないと判定された場合(ステップS203でNO)、処理は図3におけるステップS103に進む。本形態においては、ブース400内に2以上のユーザが存在すると判定された場合に、ブース400内に複数のユーザが存在すると判定されてもよい。ブース400内に1のユーザが存在する場合、またはブース400内にユーザが存在しないと判定された場合に、ブース400内に複数のユーザが存在しないと判定されてもよい。
ステップS204において、視線推定部302は、対象画像に上述の視線方向を推定する技術を適用し、複数のユーザそれぞれの視線方向を推定する。
ステップS205において、作業媒体検出部303は、対象画像に上述の物体検出技術を適用し、複数のユーザそれぞれが用いる複数の作業媒体を検出する。
ステップS206において、作業媒体検出部303は、ステップS204で推定された複数のユーザの視線方向がステップS205で検出された複数の作業媒体を向いているか否かを判定する。例えば、複数のユーザが第1ユーザ及び第2ユーザを含む場合、作業媒体検出部303は、第1ユーザの視線方向が、第1ユーザが用いる第1作業媒体を向いているか否かを判定し、第2ユーザの視線方向が、第2ユーザが用いる第2作業媒体を向いているか否かを判定する。
複数のユーザの視線方向に複数の作業媒体が存在すると判定された場合(ステップS207でYES)、処理はステップS208に進み、複数のユーザの視線方向に複数の作業媒体が存在しないと判定された場合(ステップS207でNO)、処理はステップS209に進む。複数のユーザの視線方向に複数の作業媒体が存在すると判定された場合とは、ブース400内において作業を行う全てのユーザそれぞれの視線方向が、当該全てのユーザそれぞれに1対1対応する複数の作業媒体を向いていると判定された場合であってもよい。例えば、作業媒体検出部303が、第1ユーザの視線方向が、第1ユーザが用いる第1作業媒体を向いていると判定し、かつ第2ユーザの視線方向が、第2ユーザが用いる第2作業媒体を向いていると判定した場合に、作業媒体検出部303は複数のユーザそれぞれの視線方向に複数の作業媒体が存在すると判定する。また、作業媒体検出部303が、第1ユーザの視線方向及び第2ユーザの視線方向の少なくとも一方が作業媒体を向いていないと判定した場合に、作業媒体検出部303は複数のユーザそれぞれの視線方向に複数の作業媒体が存在しないと判定する。
ステップS208において、コンテンツ処理部304は、コンテンツデータベース201から表示対象となるコンテンツ画像を読み出し、読みだしたコンテンツ画像に対して暈す処理を適用し、暈したコンテンツ画像をスクリーン403に表示する。複数のユーザそれぞれに対応する複数のスクリーンがブース400内に備えられている場合、暈したコンテンツ画像を当該複数のスクリーンそれぞれに表示してもよい。また、ステップS208において、読みだしたコンテンツ画像に対して暈す処理を適用する代わりに、読みだしたコンテンツ画像に含まれる動体に対応する領域を、当該領域に対応する背景画像に変更する処理を適用し、スクリーン403に表示させてもよい。または、読みだしたコンテンツ画像の輝度を低下させる処理を適用し、スクリーン403に表示させてもよい。
複数のユーザのうちの何れかのユーザの視線方向に作業媒体が存在すると判定された場合(ステップS209でYES)、処理はステップS210に進み、複数のユーザのうちの何れのユーザの視線方向にも作業媒体が存在しないと判定された場合(ステップS209でNO)、処理はステップS211に進む。例えば、作業媒体検出部303が、第1ユーザの視線方向が、第1ユーザが用いる第1作業媒体を向いていると判定した場合、または第2ユーザの視線方向が、第2ユーザが用いる第2作業媒体を向いていると判定した場合、複数のユーザのうちの何れかのユーザの視線方向に作業媒体が存在すると判定する。作業媒体検出部303が、第1ユーザの視線方向が、第1ユーザが用いる第1作業媒体を向いていないと判定した場合、かつ第2ユーザの視線方向が、第2ユーザが用いる第2作業媒体を向いていないと判定した場合、複数のユーザのうちの何れのユーザの視線方向にも作業媒体が存在しないと判定する。
ステップS210において、コンテンツ処理部304は、コンテンツデータベース201から、動き量が小さな動き量情報を有するコンテンツ画像をコンテンツデータベース201から読み出し、スクリーン403に表示する。また、ステップS209の時点でスクリーン403にコンテンツ画像が表示されている場合、ステップS210において表示されるコンテンツ画像は既に表示されているコンテンツ画像よりも動き量が小さいコンテンツ画像を表示してもよい。
ステップS211において、コンテンツ処理部304は、コンテンツデータベース201から、表示対象となるコンテンツ画像をコンテンツデータベース201から読み出し、スクリーン403に表示する。ステップS211において表示されるコンテンツ画像の動き量は、ステップS210において表示されるコンテンツ画像の動き量よりも大きくてもよい。また、ステップS209の時点でスクリーン403にコンテンツ画像が表示されている場合、ステップS211は、既に表示されているコンテンツ画像の表示を維持する動作であってもよい。
処理対象となる対象画像は複数の対象画像を含んでいてもよい。複数の対象画像は第1のユーザに対応する第1対象画像及び第2のユーザに対応する第2対象画像を含んでいてもよい。
上記のように、図12に示す処理の一例において、ブース400内にて作業を行う複数のユーザ全ての視線方向が作業媒体に向いている場合は、複数のユーザ全ての注視度が低下するようにスクリーン403に表示されているコンテンツ画像の態様が変更されるため、複数のユーザ全ての集中力の低下を抑制することができる。
また、ブース400内にて作業を行う複数のユーザのうち、何れかのユーザの視線方向が作業媒体に向いており、かつ他のユーザの視線方向が作業媒体に向いていない場合は、動き量の少ないコンテンツ画像が表示されるため、作業に集中しているユーザの集中力の低下を抑制しつつ、かつ作業に集中していないユーザのリラックス感などを高め、作業に集中していないユーザの仕事の生産性を向上できる。
本開示によれば、作業媒体を用いた作業に対するユーザの集中力の低下が抑制されるので、仕事環境を向上させる技術分野において有用である。
1 :情報処理システム
200 :データベース
201 :コンテンツデータベース
202 :センサデータベース
300 :プロセッサ
301 :ユーザ判定部
302 :視線推定部
303 :作業媒体検出部
304 :コンテンツ処理部
400 :ブース
401 :ユーザ
402 :カメラ
403 :スクリーン
404 :作業媒体
601a :第1表示領域
601b :第2表示領域
200 :データベース
201 :コンテンツデータベース
202 :センサデータベース
300 :プロセッサ
301 :ユーザ判定部
302 :視線推定部
303 :作業媒体検出部
304 :コンテンツ処理部
400 :ブース
401 :ユーザ
402 :カメラ
403 :スクリーン
404 :作業媒体
601a :第1表示領域
601b :第2表示領域
Claims (12)
- コンピュータによって実行される情報処理方法であって、
表示部にコンテンツ画像を表示させ、
ユーザが作業を行うための作業媒体に対して、前記ユーザが視線を向けているか否かを判定し、
前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザの注視度が低下するように前記表示部に表示されている前記コンテンツ画像の態様を変化させる、
情報処理方法。 - 前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像を暈すことを含む、
請求項1に記載の情報処理方法。 - 前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザが前記作業媒体に視線を向けている期間の長さに従って、前記コンテンツ画像の暈し度合を高める、
請求項2に記載の情報処理方法。 - 前記コンテンツ画像は動画像であり、
前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像に含まれる動体に対応する領域を、前記領域に対応する背景画像に変更することである、
請求項1に記載の情報処理方法。 - 前記コンテンツ画像の態様を変化させることは、前記コンテンツ画像の輝度を低下させることを含む、
請求項1に記載の情報処理方法。 - 前記コンテンツ画像の態様を変化させた後に、前記ユーザが前記作業媒体に視線を向けていないと判定した場合、前記コンテンツ画像の態様を変化させる前の態様へと戻す、
請求項1に記載の情報処理方法。 - 前記表示部は、前記ユーザに対向する第1表示領域および前記第1表示領域と異なる第2表示領域を含み、
前記表示部に前記コンテンツ画像を表示させることは、前記第1表示領域および前記第2表示領域に前記コンテンツ画像を表示させることを含み、前記コンテンツ画像に含まれる第1コンテンツ画像は前記第1表示領域に表示され、前記コンテンツ画像に含まれる第2コンテンツ画像は前記第2表示領域に表示され、
前記コンテンツ画像の態様を変化させることは、前記第1コンテンツ画像の態様を変化させ、前記第2コンテンツ画像の態様を変化させないことを含む、
請求項1に記載の情報処理方法。 - 前記コンテンツ画像は、第1コンテンツ動画像と、前記第1コンテンツ動画像よりも動き量が小さい第2コンテンツ動画像とを含み、
前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記表示部に表示される前記第1コンテンツ動画像を前記第2コンテンツ動画像に変更する、
請求項1に記載の情報処理方法。 - 前記コンテンツ画像は、前記ユーザの周囲の雰囲気を形成する画像である、
請求項1に記載の情報処理方法。 - 前記ユーザの視線が前記作業媒体に向いているか否かの判定では、前記ユーザの少なくとも目の状態を検出するセンサによりに検出されたセンシングデータを用いて判定することを含む、
請求項1又は2記載の情報処理方法。 - プロセッサを含む情報処理システムであって、
前記プロセッサは、
表示部にコンテンツ画像を表示させ、
ユーザが作業を行うための作業媒体に対して、前記ユーザが視線を向けているか否かを判定し、
前記ユーザが前記作業媒体に視線を向けていると判定した場合、前記ユーザの注視度が低下するように前記表示部に表示されている前記コンテンツ画像の態様を変化させる、処理を実行する、
情報処理システム。 - 前記表示部は、背面と前記コンテンツ画像が表示される表示面を含み、
前記表示部は、車両の前部座席と前記車両の後部座席との間に配置され、
前記表示面と前記後部座席の距離は、前記背面と後部座席の距離の距離より小さい、
請求項1に記載の情報処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023-017109 | 2023-02-07 | ||
JP2023017109 | 2023-02-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024166619A1 true WO2024166619A1 (ja) | 2024-08-15 |
Family
ID=92262327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2024/000892 WO2024166619A1 (ja) | 2023-02-07 | 2024-01-16 | 情報処理方法および情報処理システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024166619A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010070882A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
WO2011033877A1 (ja) * | 2009-09-16 | 2011-03-24 | 日本電気株式会社 | 携帯情報装置および表示制御方法 |
WO2020195625A1 (ja) * | 2019-03-25 | 2020-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2021070959A (ja) * | 2019-10-30 | 2021-05-06 | コマニー株式会社 | ブース |
WO2021172578A1 (ja) * | 2020-02-27 | 2021-09-02 | アトモフ株式会社 | 画像表示装置、システム及び方法 |
-
2024
- 2024-01-16 WO PCT/JP2024/000892 patent/WO2024166619A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010070882A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
WO2011033877A1 (ja) * | 2009-09-16 | 2011-03-24 | 日本電気株式会社 | 携帯情報装置および表示制御方法 |
WO2020195625A1 (ja) * | 2019-03-25 | 2020-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2021070959A (ja) * | 2019-10-30 | 2021-05-06 | コマニー株式会社 | ブース |
WO2021172578A1 (ja) * | 2020-02-27 | 2021-09-02 | アトモフ株式会社 | 画像表示装置、システム及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6112878B2 (ja) | ウェアラブル型表示装置及びプログラム | |
US11320655B2 (en) | Graphic interface for real-time vision enhancement | |
US10666853B2 (en) | Virtual makeup device, and virtual makeup method | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
JP2019510321A (ja) | 仮想現実用パススルーカメラのユーザインターフェイス要素 | |
US12112449B2 (en) | Camera-based transparent display | |
EP3398004B1 (en) | Configuration for rendering virtual reality with an adaptive focal plane | |
US20210150774A1 (en) | Method, device, and system for delivering recommendations | |
WO2016158001A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP2021105749A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2018216402A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
US20200292825A1 (en) | Attention direction on optical passthrough displays | |
US11699412B2 (en) | Application programming interface for setting the prominence of user interface elements | |
WO2024166619A1 (ja) | 情報処理方法および情報処理システム | |
EP4254348A2 (en) | Method and device for multi-camera hole filling | |
JP7392723B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6746033B1 (ja) | 情報処理装置、情報処理方法、映像提示装置、及び情報処理プログラム | |
US12106735B1 (en) | System and method of remote rendering based on smooth pursuit movement | |
US20240320930A1 (en) | Devices, methods, and graphical user interfaces for capturing media with a camera application | |
WO2024195562A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US20240104819A1 (en) | Representations of participants in real-time communication sessions | |
US20240372968A1 (en) | Devices, methods, and graphical user interfaces for displaying a representation of a person | |
JPWO2018150711A1 (ja) | 表示制御装置、表示制御装置の制御方法、および制御プログラム | |
CN115543073A (zh) | 眼睛跟踪数据过滤 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24753065 Country of ref document: EP Kind code of ref document: A1 |