Nothing Special   »   [go: up one dir, main page]

WO2020175199A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020175199A1
WO2020175199A1 PCT/JP2020/005905 JP2020005905W WO2020175199A1 WO 2020175199 A1 WO2020175199 A1 WO 2020175199A1 JP 2020005905 W JP2020005905 W JP 2020005905W WO 2020175199 A1 WO2020175199 A1 WO 2020175199A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
information
user
presentation
unit
Prior art date
Application number
PCT/JP2020/005905
Other languages
English (en)
French (fr)
Inventor
敦 石原
語楓 金
伊藤　鎮
諒 横山
山野　郁男
猛史 荻田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/432,346 priority Critical patent/US20220171518A1/en
Priority to DE112020000958.0T priority patent/DE112020000958T5/de
Priority to JP2021501958A priority patent/JP7452525B2/ja
Publication of WO2020175199A1 publication Critical patent/WO2020175199A1/ja
Priority to US18/371,692 priority patent/US20240012516A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technique of presenting to a driver a tactile stimulus determined in accordance with sensing information about the surroundings of a vehicle.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 20 16 -0 8 1 5 21
  • Patent Document 1 The technique described in Patent Document 1 is intended to notify a driver of a vehicle of an emergency. Therefore, the tactile stimulus presented to the driver only needs to be recognized by the driver as an emergency, and its reality is not considered at all.
  • the present disclosure proposes a new and improved information processing device, information processing method, and program capable of presenting a more realistic tactile stimulus.
  • sensing information about a user and a unique tactile presentation object are provided.
  • the first tactile information based on the sensing information, and the second tactile information used when the tactile presentation device presents a tactile stimulus to the user.
  • a processing device is provided.
  • an acquisition unit that causes a computer to acquire sensing information about a user and first tactile information unique to a tactile presentation object, and a tactile presentation device provides tactile stimulation to the user.
  • a program is provided for causing the second tactile information used when presenting to function as a data processing unit that generates the second tactile information from the first tactile information based on the sensing information.
  • Fig. 1 is a diagram showing an outline of a process according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing a presentation example of tactile stimuli according to the same embodiment.
  • FIG. 3 is a block diagram showing a configuration example of a tactile presentation system according to the same embodiment.
  • FIG. 4 is a diagram showing a configuration example of tactile information according to the same embodiment.
  • FIG. 5 is a diagram showing an example of generation of second tactile information based on speed change according to the same embodiment.
  • FIG. 6 is a diagram showing an example of generation of second tactile information based on speed change according to the same embodiment.
  • FIG. 7 is a diagram showing an example of generating second tactile information based on pressure according to the same embodiment.
  • FIG. 8 is a diagram showing an example of generating second tactile information based on pressure according to the same embodiment.
  • FIG. 9 is a diagram showing an example of generation of second tactile information based on a contact area according to the same embodiment.
  • FIG. 10 is a diagram showing an example of generation of second tactile information based on humidity according to the same embodiment. ⁇ 02020/175199 3 ((171?2020/005905
  • FIG. 11 is a diagram showing an example of generation of second tactile information based on the size of the tactile presentation unit according to the embodiment.
  • FIG. 12 is a diagram showing an example of generation of second tactile information based on a scaling ratio according to the same embodiment.
  • FIG. 13 is a diagram showing an example of generation of second tactile information based on a scaling ratio according to the same embodiment.
  • FIG. 14 is a diagram showing an example of generation of second tactile information based on a scaling ratio according to the same embodiment.
  • FIG. 15 is a diagram showing an example of matting second tactile information according to the same embodiment.
  • FIG. 16 is a diagram showing an example of scaling the second tactile information according to the same embodiment.
  • FIG. 17 is a flow chart showing the flow of processing when processing tactile information without switching according to the same embodiment.
  • FIG. 18 is a flow chart showing a flow of processing when processing is performed after switching tactile information according to the same embodiment.
  • FIG. 19 is a diagram showing a specific example of presentation of tactile stimuli in the first specific example according to the embodiment.
  • FIG. 20 is a diagram showing a specific example of presentation of tactile stimuli in the second specific example according to the embodiment.
  • FIG. 21 is a diagram showing a presentation example of tactile stimuli in the first modified example according to the same embodiment.
  • FIG. 22 is a diagram showing a presentation example of tactile stimuli in a second modified example according to the same embodiment.
  • FIG. 23 is a diagram showing a presentation example of tactile stimuli in a third modified example according to the same embodiment.
  • FIG. 24 is a block diagram showing a hardware configuration example of an information processing device according to an embodiment of the present disclosure.
  • a technology relates to an information processing device that presents a tactile stimulus to a user according to sensing information.
  • the information processing apparatus uses the first tactile information specific to the tactile presentation object based on the sensing information about the user, and uses the second tactile presentation device to present the tactile stimulus to the user. Generates tactile information of.
  • Sensing information about a user may include various kinds of information.
  • the sensing information includes contact information indicating a contact state between the user and the tactile sense presentation device.
  • the contact information the moving speed (acceleration) of the part of the user who is in contact with the tactile presentation device (hereinafter also referred to as “contact part”), the pressure applied from the contact part to the contact presentation device, and the contact part And the area where the tactile presentation device is in contact.
  • the contact information is not limited to this example. With this configuration, the information processing apparatus can generate the second tactile information from the first tactile information based on the contact information.
  • the sensing information includes non-contact information indicating a non-contact state between the user and the tactile sense presentation device.
  • the non-contact information include the user's body temperature, the user's body surface humidity, and the distance from the tactile presentation device to the contact site. Note that non- ⁇ 02020/175199 5 ((171?2020/005905
  • the contact information is not limited to this example.
  • the information processing device can generate the second tactile information from the first tactile information based on the non-contact information.
  • the sensing information includes environmental information regarding the surrounding environment of the user.
  • environmental information include temperature and humidity in the space where the user is present.
  • the environmental information is not limited to this example.
  • the information processing device can generate the second tactile information from the first tactile information based on the environmental information.
  • the tactile presentation object is an object to present a tactile stimulus to the user via the tactile presentation device.
  • the information of the tactile presentation object can be managed in association with the image of the tactile presentation object, for example.
  • the first tactile information is information including information on the tactile stimulus transmitted to the user when the user actually touches the tactile presentation object.
  • the first tactile information includes information that digitizes the strength of the tactile stimulus (hereinafter, also referred to as “tactile stimulus value”).
  • the tactile stimulus value is information unique to the tactile presentation item.
  • the tactile stimulus value can be set for each predetermined area. For example, when the tactile presentation object is shown in an image, the tactile stimulation value may be set for each pixel of the image. Also, one tactile stimulus value may be set for a plurality of pixels. Further, the image in which the tactile presentation object is shown may be divided into a plurality of areas of arbitrary size, and the tactile stimulation value may be set for each area. Below, the area where the tactile stimulation value is set is also referred to as the “tactile stimulation value area”. In the following, "information density" refers to the amount of tactile stimulus value set per unit area of the image.
  • the second tactile information is information generated from the first tactile information based on the sensing information.
  • the second tactile information is generated by changing the tactile stimulation value included in the first tactile information (hereinafter also referred to as “processing”) based on the sensing information.
  • processing the tactile stimulation value included in the first tactile information
  • the process of generating the second tactile information is also referred to as “generation process”. ⁇ 02020/175199 6 (:171?2020/005905
  • the information processing apparatus After generating the second tactile information, the information processing apparatus notifies the user of the generated first tactile information.
  • the tactile stimulus based on the second tactile information is presented on the tactile presentation device.
  • the information processing device maps the tactile stimulus value included in the second tactile information to the region where the tactile sense can be presented in the tactile presenting device (hereinafter also referred to as “tactile presenting region”). Then, the information processing apparatus causes the tactile presentation device to present the user with the tactile bundle I” of the intensity indicated by the tactile stimulation value that is mapped to the position touched by the user.
  • the tactile sensation that the user obtains when the user touches the object in the real space depends on how the user touches the object and the characteristics peculiar to the object such as the material and hardness of the object.
  • the information processing apparatus generates the second tactile information based on the sensing information corresponding to the former and the first tactile information corresponding to the latter, thereby providing a realistic feeling.
  • a certain tactile stimulus can be presented to the user.
  • FIG. 1 is a diagram showing an outline of processing according to an embodiment of the present disclosure.
  • the tactile presentation unit 160 of the tactile presentation device 10 a tactile stimulus equivalent to that when the user actually touches the actual object of the tactile presentation 62 is given to the user.
  • the example presented will be described.
  • the tactile presentation article 62 in the example shown in Fig. 1 is a shirt.
  • the actual surface of the shirt has, for example, a fibrous structure as shown in area 64.
  • the first tactile information 72 shows the tactile sensation that the user feels when the user actually touches the area 64 of the real shirt and the corresponding tactile stimulus value.
  • the first tactile information 72 shown in FIG. 1 has areas of equal size of 16 cells in total, 4 cells vertically and 4 cells horizontally, and tactile stimulus values are set in each area.
  • ⁇ or 1 is set as the tactile stimulation value, for example.
  • the value of the tactile stimulus value is not limited to this example, and a value other than 0 and 1 may be set.
  • the tactile sense presentation device 10 performs a generation process. In the generation process, the tactile presentation device 10 processes the first tactile information 7 2 based on the sensing information to generate the second tactile information 7 4 that reflects the change in how the user touches. To do.
  • the generated second tactile information 74 is mapped to the tactile presenting unit 160. Then, the tactile presentation unit 160 presents the tactile stimulus to the user based on the tactile stimulus value of the second tactile information 74 mapped to the position of the tactile presentation unit 160 touched by the user. To do.
  • FIG. 2 is a diagram showing a presentation example of a tactile stimulus according to an embodiment of the present disclosure.
  • the tactile sense presentation device 10 reads out the tactile sense stimulus value mapped to the position where the user touches the tactile sense presentation unit 160 and converts it into a presentation signal. Then, the tactile sense presentation device 100 inputs the converted presentation signal to the tactile sense presentation unit 160 and causes the tactile sense presentation unit 160 to present the tactile sense.
  • the graph shown in the lower part of FIG. 2 is a graph of the tactile stimulus values mapped to the tactile sense presentation unit 160.
  • the vertical axis of the graph shows the tactile stimulus value
  • the horizontal axis shows the time.
  • From 1: 2 since the tactile stimulus value gradually decreases from 64 to 8, the intensity of the tactile stimulus presented to the user gradually decreases. From 1 to 3 , the tactile stimulation value ⁇ 02020/175199 8 ((171?2020/005905
  • a general tactile presentation device does not consider presenting a tactile stimulus obtained by processing a tactile stimulus value to a user based on sensing information. Therefore, in a general tactile presentation device, the second tactile information is not generated from the first tactile information even when the information indicating the change in how the user touches is acquired as the sensing information.
  • the embodiment of the present disclosure is conceived in view of the above points, and proposes a technique capable of presenting a more realistic tactile stimulus.
  • the present embodiment will be sequentially described in detail.
  • FIG. 3 is a block diagram showing a configuration example of a tactile presentation system 100 according to an embodiment of the present disclosure.
  • the tactile presentation system 100 includes a tactile presentation device 10, a server 20, a sensor device 30, a display device 40, and a network 50. ..
  • the tactile presentation device 10 is a device (information processing device) that presents a tactile stimulus to an arbitrary object.
  • the tactile presentation device 10 presents a tactile stimulus to the part of the user who is in contact with the tactile presentation device.
  • the tactile presentation device 10 is connected to the server 20 via the network 50 and can send and receive information to and from the server 20.
  • the tactile presentation device 10 ⁇ 02020/175199 9 (:171?2020/005905
  • the tactile presentation device 10 is connected to the display device 40 via the network 50, and the display device 40 can display an image of the tactile presentation object.
  • the information processing device performs tactile sense presentation processing.
  • the information processing device is mounted on the tactile presentation device 10 and performs a tactile presentation process for presenting a tactile stimulus to the tactile presentation unit of the tactile presentation device 10.
  • the mounting destination of the information processing device is not limited to the tactile presentation device 10 and may be any device.
  • the information processing device may be mounted on the server 20 and control the tactile presentation process in the tactile presentation device 10 via the network 50.
  • the server 20 is a server device having a function of storing information regarding the tactile presentation process of the tactile presentation device 10.
  • the server 20 may be a tactile information server that stores the first tactile information.
  • the server 20 is connected to the tactile presentation device 10 via the network 50, and can send and receive information to and from the tactile presentation device 10. For example, the server 20 transmits the first tactile information to the tactile presenting device 10 via the network 50.
  • the sensor device 30 has a function of sensing information used for processing in the tactile sense presentation device 10. For example, the sensor device 30 senses sensing information about the user. After sensing, the sensor device 30 transmits the sensing information to the tactile presentation device 10 via the network 50.
  • the sensor device 30 may include various sensor devices.
  • the sensor device 30 may include a camera, a thermo sensor, and a humidity sensor.
  • the sensor device included in the sensor device 30 is not limited to this example, and any other sensor device may be used. ⁇ 02020/175199 10 (:171?2020/005905
  • a device may be provided.
  • the camera is An imaging device that has a lens system such as a camera, a drive system, and an image sensor, and captures an image (still image or moving image). For example, the camera captures a captured image showing a contact state between the user and the tactile sense presentation device 10. Therefore, it is desirable that the camera is provided at a position where the contact state between the user and the tactile presentation device 10 can be imaged. With such a configuration, the sensor device 30 can acquire, as contact information, a captured image showing a contact state between the user and the tactile sense presentation device 10.
  • the thermosensor is a device that senses temperature.
  • Thermosensors can sense a variety of temperatures.
  • a thermosensor senses the temperature of the space where the user is.
  • Thermosensors also sense the user's body temperature.
  • the thermosensor senses the temperature of the object with which the user is in contact (for example, the tactile presentation device 10).
  • the sensor device 30 can acquire the temperature of the space in which the user exists as environmental information, the body temperature of the user as non-contact information, and the temperature of the object in contact with the user as contact information.
  • the humidity sensor is a device that senses humidity.
  • the humidity sensor can sense various humidity.
  • a humidity sensor senses the humidity of the space where the user is.
  • the humidity sensor also senses the humidity of the user's body surface.
  • the humidity sensor senses the humidity at the contact position between the user and the object (for example, the tactile presentation device 10).
  • the sensor device 30 can obtain the humidity of the space where the user exists as environmental information, the humidity of the user's body surface as non-contact information, and the humidity of the contact position between the user and the object as contact information. ..
  • the display device 40 has a function of displaying an image related to the tactile presentation process of the tactile presentation device 10. For example, when the tactile presentation object is an image, the display device 40 displays the image. ⁇ 02020/175199 11 11 (:171?2020/005905
  • the display device 40 is connected to the tactile sense presentation device 10 via the network 50, and can exchange information with the tactile sense presentation device 10. For example, the display device 40 receives and displays an image of the tactile presentation device from the tactile presentation device 10 via the network 50.
  • the display device 40 can be realized by various devices.
  • the display device 40 is realized by a personal computer (PC), a smartphone, a tablet terminal, a wearable terminal, or a terminal device including a display unit such as an agent device.
  • PC personal computer
  • smartphone a smartphone
  • tablet terminal a wearable terminal
  • terminal device including a display unit such as an agent device.
  • the display device 40 may be realized by a display device.
  • the display device include a CRT display device, a liquid crystal display device, a plasma display device and an EL display device.
  • the display device 40 may be realized by a laser projector, an LED projector, or the like.
  • the network 50 has a function of connecting the tactile presentation device 10 and the server 20, and the tactile presentation device 10 and the sensor device 30.
  • the network 50 is a public network such as an Internet, a telephone network, and a satellite communication network, various LANs (Local Area Area Network) including Ethernet (registered trademark), and WAN (Wide). Area N et wo rk) may be included.
  • the network 50 may include a dedicated line network such as IP PV PN (Internet Protocol — Virtual Private Network).
  • the network 50 may include a wireless communication network such as W i -F i (registered trademark) or Blu et o o t h (registered trademark).
  • the tactile presentation device 10 includes a communication unit 110, a sensor unit 120, a control unit 140, a storage unit 150, and a tactile presentation unit 160.
  • ⁇ 02020/175199 12 ⁇ 171?2020/005905
  • the communication unit 110 has a function of communicating with an external device.
  • the communication unit 110 outputs the information received from the external device to the control unit 140 in communication with the external device, for example.
  • the communication unit 110 receives the first tactile information from the server 20 in the communication with the server 20 via the network 50, and outputs the first tactile information to the control unit 140.
  • the communication unit 110 transmits information input from the control unit 140 to the external device in communication with the external device. Specifically, the communication unit 110 outputs the tactile presentation object for which the first tactile information is to be acquired, which is input from the acquisition unit 1 42 of the control unit 140 when the first tactile information is acquired. Send the information shown to server 20.
  • the sensor section 120 has a function of sensing information used for processing in the control section 140.
  • the sensor unit 120 senses sensing information about the user. After sensing, the sensor unit 120 outputs the sensing information to the control unit 140.
  • the sensor unit 120 may include various sensor devices. As an example,
  • the 120 may include a touch panel, a pressure sensor, an acceleration sensor, a gyro sensor, and a proximity sensor.
  • the sensor device included in the sensor unit 120 is not limited to such an example, and may include any other sensor device.
  • the sensor unit 120 may include the camera described above as a sensor device that the sensor device 30 may include, a thermo sensor, and a humidity sensor.
  • the touch panel is a device that senses a contact state. For example, the touch panel detects whether or not the object is touched. As an example, the touch panel detects whether or not the user touches the tactile sense presentation unit 160. In addition, the touch panel and the touch panel sense the speed at which the object is in contact with the touch panel. As an example, the touch panel senses the speed at which the user is moving at the contact portion while the user is touching the tactile sense presentation unit 160. With such a configuration, the sensor unit 120 is connected to the user and the tactile sense providing unit 160. ⁇ 02020/175199 13 ((171?2020/005905
  • the pressure-sensitive sensor is a device that senses pressure.
  • the pressure-sensitive sensor senses the pressure applied to the pressure-sensitive sensor when it contacts an object.
  • the pressure-sensitive sensor senses the pressure applied to the touched portion when the user and the tactile sense presentation unit 160 contact each other.
  • the pressure-sensitive sensor senses the area in contact with the target when it contacts the target.
  • the pressure sensor senses the area of the contact portion when the user and the tactile sense presentation unit 160 contact each other.
  • the sensor unit 120 can acquire the pressure applied to the contact portion and the area of the contact portion when the user and the tactile sense presentation unit 160 contact each other as the contact information.
  • the acceleration sensor is a device that senses acceleration.
  • an acceleration sensor senses acceleration, which is the amount of change in speed when an object moves.
  • the acceleration sensor senses the acceleration when the user moves the contact part in contact with the tactile sense presentation unit 160. With this configuration, the sensor unit 120 can obtain the acceleration when the user moves the contact portion as the contact information.
  • the gyro sensor is a device that senses angular velocity.
  • a gyro sensor senses the angular velocity, which is the amount of change in the target posture.
  • the tactile presentation device 10 is realized as a device gripped and operated by a user
  • the gyro sensor senses an angular velocity when the user changes the posture of the tactile presentation device 10.
  • the sensor unit 120 can acquire the angular velocity when the user changes the posture of the tactile presentation device 10 as contact information.
  • the proximity sensor is a device that detects an approaching object.
  • the proximity sensor may be realized by various devices.
  • the proximity sensor may be realized by a depth camera that senses distance information to an object located in front. With this configuration, the sensor unit 120 is supposed to come into contact with the tactile sense providing unit 160. ⁇ 02020/175 199 14 (: 17 2020/005905
  • the distance to the touched part of the user can be acquired as non-contact information.
  • the control unit 140 is an information processing device having a function of controlling the operation of the entire haptic presentation device 10.
  • the control unit 140 has an acquisition unit 1 42, a data processing unit 1 4 4, and a tactile sense presentation control unit 1 4 6 as shown in FIG.
  • the acquisition unit 1 4 2 has a function of acquiring sensing information. For example, the acquisition unit 1 4 2 acquires the sensing information about the user and the first tactile information. When acquiring the sensing information, the acquisition unit 1 4 2 can acquire the sensing information from a plurality of acquisition sources. For example, the acquisition unit 1 4 2 acquires the information sensed by the sensor unit 1 20 from the sensor unit 1 20 as sensing information. Further, the acquisition unit 1422 may acquire the information sensed by the sensor device 30 as the sensing information from the sensor device 30 via the communication unit 110. Note that the acquisition unit 6 1 4 2 may acquire the sensing information from either the sensor unit 120 or the sensor unit 30 or may acquire the sensing information from both the sensor unit 1 20 and the sensor unit 30. Information may be acquired.
  • the acquisition unit 1 4 2 After acquiring the sensing information, the acquisition unit 1 4 2 outputs the acquired sensing information to the data processing unit 1 4 4. With this configuration, the acquisition unit 1 4 2 can output the sensing information acquired from both the sensor unit 1 20 and the sensor device 30 to the data processing unit 1 4 4. Note that the acquisition unit 1 4 2 may store the acquired sensing information in the storage unit 6 1 5 0 by outputting the acquired sensing information to the storage unit 1 5 0.
  • the acquisition unit 1 4 2 acquires the first tactile information from the server 20 (tactile information server) via the network 50. After acquiring the first tactile information, the acquisition unit 1 4 2 outputs the acquired first tactile information to the data processing unit 1 4 4. The acquisition unit 1 4 2 stores the acquired first tactile information in the storage unit. ⁇ 02020/175199 15 ((171?2020/005905
  • the acquired first tactile information may be stored in the storage unit 150 by outputting the information to the storage unit 150.
  • the acquisition unit 14 When the first tactile information is stored in the storage unit 150, the acquisition unit 14 is stored.
  • the acquisition unit 144 can improve the processing efficiency in the control unit 140 as compared with the case where the first tactile information is acquired from the server 20 via the network 50. You can
  • the data processing unit 1 144 has a function of generating the second tactile information.
  • the data processing unit 1444 generates the second tactile information used when the tactile presenting unit 1600 presents the tactile stimulation to the user from the first tactile information based on the sensing information.
  • the data processing unit 1 4 4 changes the tactile stimulus value included in the first tactile information also input from the acquisition unit 1 4 2 based on the sensing information input from the acquisition unit 1 4 2.
  • the second tactile information is generated.
  • the data processing unit 1 144 maps the generated second tactile information to the tactile presenting unit 1 6 0.
  • the processing performed by the data processing unit 1 144 will be sequentially described in detail.
  • FIG. 4 is a diagram showing a configuration example of tactile information according to the embodiment of the present disclosure.
  • the structure of the tactile information described below is common to the first tactile information and the second tactile information.
  • the tactile information consists of a header part and a data part.
  • the header section may store information about tactile information.
  • the information on the tactile information is, for example, the data size of the tactile information, the information on a predetermined area, and the information applied to the global.
  • the predetermined area here is an area for each pixel.
  • the predetermined area may be a tactile stimulation value area. Also, regarding the specified area ⁇ 02020/175199 16 ⁇ (: 171?2020/005905
  • the information to be set is, for example, the size of a predetermined area.
  • the data section may store information for each predetermined area. As shown in FIG. 4, the data section has at least a predetermined number of areas in which information for each predetermined area is stored.
  • the information for each predetermined area is, for example, a tactile stimulus value.
  • the data processing unit 1 144 for example, generates the second tactile information by processing the first tactile information based on the sensing information.
  • the data processing unit 1 144 generates the second tactile information by processing the first tactile information based on the contact information.
  • the generation of the second tactile information based on the contact information will be described with reference to FIGS. 5 to 16.
  • the tactile stimulus value set in the first tactile information which is the generation source of the second tactile information, is 6.
  • the data processing unit 1 144 generates the second tactile information based on the rate of change of the contact position with the user in the tactile presentation unit 1 60.
  • FIGS. 5 and 6 are diagrams illustrating an example of generating the second tactile information based on the speed change according to the embodiment of the present disclosure.
  • the data processing unit 144 processes the first tactile information according to the changing speed of the contact position to generate the second tactile information. Specifically, the data processing unit 1 4 4 generates the second tactile information in which the change amount of the tactile stimulus per unit distance is smaller as the contact position changing speed is faster, and the unit is set as the contact position changing speed is slower. The second tactile information in which the amount of change in the tactile stimulus per unit distance is large is generated.
  • the first tactile information having a different information density prepared in advance changes the information density according to the speed change, thereby changing the change amount of the tactile stimulus per unit distance.
  • An example is shown.
  • the data processing unit 1 4 4 can detect the first tactile information with low information density as shown in the upper diagram of FIG. ⁇ 02020/175199 17 ((171?2020/005905
  • the data processing unit 144 changes the tactile stimulus per short distance by switching to the first tactile information with high information density, as shown in the lower part of FIG. A large amount of second tactile information is being generated.
  • FIG. 6 an example is shown in which the change amount of the tactile stimulus per unit distance is changed by processing the tactile stimulus value by filtering the first tactile information.
  • the data processing unit 1 4 4 reduces the difference in the tactile stimulus values in the adjacent tactile stimulus value regions as shown in the upper part of FIG.
  • the second tactile information with a small change of is generated.
  • the data processing unit 1144 increases the difference in the tactile stimulus values between adjacent tactile stimulus value regions as shown in the lower part of FIG.
  • the second tactile information that produces a large amount of change in stimulus is generated.
  • the data processing unit 1 144 generates the second tactile information based on the pressure between the tactile sense presenting unit 1 60 and the user.
  • FIGS. 7 and 8. 7 and 8 are diagrams showing an example of generating the second tactile information based on the pressure according to the embodiment of the present disclosure.
  • the tactile sense presentation unit 160 when the user touches the tactile sense presentation unit 160, the tactile sense presentation unit
  • reaction force according to the strength of the pressure (contact pressure) applied to 160 is presented to the user.
  • the data processing unit 1 4 4 is presented to the user by processing the tactile stimulus value of the first tactile information from 6 to 4 as shown in the left diagram of FIG. 7.
  • the second tactile information is generated so that the reaction force becomes weak.
  • the data processing unit 1144 presents it to the user by processing the tactile stimulus value of the first tactile information from 6 to 8 as shown in the right figure of Fig. 7.
  • the second tactile information is generated so that the reaction force generated becomes stronger.
  • the tactile sense presentation unit 160 when the user touches the tactile sense presentation unit 160, the tactile sense presentation unit 160 ⁇ 02020/175199 18 ⁇ (: 171?2020/005905
  • FIG. 1 An example is shown in which the frictional force according to the strength of the pressure (contact pressure) applied to 160 is presented to the user.
  • the data processing unit 1 4 4 When the pressure is weak, the data processing unit 1 4 4 is presented to the user by processing the tactile stimulus value of the first tactile information from 6 to 4 as shown in the left diagram of FIG. The second tactile information is generated so that the frictional force is weakened.
  • the data processing unit 1 4 4 processes the tactile stimulus value of the first tactile information from 6 to 8 as shown in the right figure of FIG. The second tactile information is generated so that the frictional force presented to the user becomes stronger.
  • FIG. 9 is a diagram showing an example of generating the second tactile information based on the contact area according to the embodiment of the present disclosure.
  • the data processing unit 1 4 4 modifies the tactile stimulus value of the first tactile information from 6 to 4 as shown in the left diagram of FIG.
  • the second tactile information is generated so that the presented temperature is low.
  • the data processing unit 1 4 4 processes the tactile stimulus value of the first tactile information from 6 to 8 as shown in the right diagram of FIG.
  • the second tactile information is generated so that the temperature presented to the user becomes higher.
  • FIG. 10 is a diagram showing an example of generation of second tactile information based on humidity according to the embodiment of the present disclosure.
  • the contact sound of the same frequency is presented to the user.
  • the data processing unit 1 4 4 processes the tactile stimulus value of the first tactile information from 6 to 8 and presents it to the user as shown in the left diagram of FIG.
  • the second tactile information is generated so that the high-frequency component contained in the generated contact sound is large.
  • the data processing unit 1 4 4 processes the tactile stimulus value of the first tactile information from 6 to 4 as shown on the right side of FIG.
  • the second tactile information is generated so that the high-frequency component contained in the contact sound presented as a result is reduced.
  • the data processing unit 144 determines the size of the tactile presentation unit 160 among the plurality of first tactile information.
  • the second tactile information may be generated based on the first tactile information having the different information density.
  • FIG. 11 is a diagram showing an example of generation of second tactile information based on the size of the tactile sense presentation unit 160 according to the embodiment of the present disclosure.
  • the data processing unit 1444 shows the upper right diagram of FIG. based on the first touch information 7 2 3, it may generate a second haptic information.
  • the size of the first tactile information 7 2 3 is the same as the size of the tactile presentation unit 1 6 0 3 and the information density is low, so the second tactile information suitable for the size of the tactile presentation unit 1 6 0 3 Is generated
  • the data processing unit 1 144 shows in the middle diagram on the right side of Fig. 10.
  • the second tactile information may be generated based on the first tactile information 72.
  • the size of the first tactile information 72 is the same as the size of the tactile presenting part 160, and the information density is medium, so that the second tactile information suitable for the size of the tactile presenting part 160 is suitable.
  • the tactile information of is generated.
  • the size of the tactile presentation unit 160 is large. ⁇ 02020/175199 20 ((171?2020/005905
  • the data processing unit 144 may generate the second tactile information based on the first tactile information 72 shown in the lower part of FIG.
  • the size of the first tactile information 720 is the same as that of the tactile presentation unit 160, and since the information density is high, the second tactile information suitable for the size of the tactile presentation unit 160 Is generated.
  • the user can feel an appropriate tactile sensation without being affected by the size of the tactile sense presentation unit 160.
  • the data processing unit 1 144 may generate the second tactile information according to the scaling factor of the tactile presentation object mapped to the tactile presentation unit 1 60.
  • the enlargement/reduction rate is the enlargement or reduction rate of an image.
  • the magnification when the image of the tactile presentation object displayed on the display device 40 is enlarged is the enlargement ratio.
  • the magnification when the image of the tactile presentation object displayed on the display device 40 is reduced is the reduction rate.
  • the data processing unit 1 4 4 when there are a plurality of first tactile information having different information densities according to the scaling ratios, the data processing unit 1 4 4 , An example in which the second tactile information is generated based on the first tactile information having the information density according to the scaling rate is shown.
  • the data processing unit 1 144 uses the first tactile information having a higher information density than the first tactile information 7 2 before the enlargement, as shown in the lower part of FIG. Generates tactile information 7 4.
  • the data processing unit 1 4 4 maps to the tactile presentation unit 1 6 0 according to the scaling rate.
  • An example of processing the first tactile information corresponding to the generated tactile presentation and generating the second tactile information is shown. ⁇ 02020/175199 21 ((171?2020/005905
  • the data processing unit 144 obtains the tactile stimulation value for each predetermined region in the first tactile information. Repeat in units of a predetermined area. Specifically, as shown in the upper part of FIG. 13, the image showing the tactile presentation object mapped to the tactile presentation unit 160 is enlarged in the state displayed on the display device 40. To do. In this case, the data processing unit 1 4 4 sets each tactile stimulus value region in the enlargement target region in the first tactile information 7 2 before enlargement to vertical 2 as shown in the lower part of Fig. 13. By repeating each square and two squares horizontally, the second tactile information 74 having a higher information density than the first unexpanded information is generated.
  • the data processing unit 1144 may cause the tactile stimulus that appears in a plurality of predetermined regions in the first tactile information when the image showing the tactile presentation object is enlarged.
  • the value pattern is repeated in units of a plurality of predetermined areas.
  • the data processing unit 1 4 4 vertically expands the area to be expanded of 4 vertical cells and 4 horizontal cells in the first tactile information 7 2 before expansion.
  • the second tactile information 7 4 having a higher information density than the first unexpanded information is generated by repeating the second horizontal two.
  • the data processing unit 1 144 generates the second tactile information based on the first tactile information corresponding to the actual size of the tactile presentation object.
  • the data processing unit 1444 determines that the pattern of the predetermined area of the first size tactile information of the actual size. ⁇ 02020/175199 22 ((171?2020/005905
  • the second tactile information may be generated by repeating the process. If the first tactile information of a size smaller than the actual size is present, the data processing unit 1444 repeats the pattern of the predetermined area of the first tactile information of a small size to generate the second tactile information. Information may be generated.
  • the size of the enlarged or reduced image is outside the predetermined range and smaller than the actual size of the tactile presentation object. Furthermore, when the first tactile information having the information density according to the size after enlargement or reduction is present, the data processing unit 1444 generates the second tactile information based on the first tactile information. Good. On the other hand, if the first tactile information with the information density corresponding to the size after enlargement or reduction does not exist, the data processing unit 1144 reduces the second tactile information by reducing the first size tactile information of the actual size. May generate tactile information.
  • FIG. 15 is a diagram showing an example of mapping the second haptic information according to the embodiment of the present disclosure. Note that in FIG. 15, for convenience of description, what is indicated by the second tactile information is indicated by the tactile presentation object 62 associated with the second tactile information.
  • the data processing unit 1144 maps the generated second tactile information to the tactile sense presenting unit 1600.
  • the data processing unit 1 144 maps the second tactile information to the tactile presenting unit 1 6 0 as it is in the actual size of the tactile presentation object.
  • the actual size tactile presenter 6 2 (second tactile information) and the tactile presenter 1 6 0
  • the tactile presentation 6 2 is ⁇ 02020/175199 23 ((171?2020/005905
  • the second tactile information is also matted so as to fit into the tactile presenting unit 160.
  • the actual size tactile presentation object 6 2 (second tactile information) is larger than the actual size of the tactile presentation part 1600.
  • the tactile presentation object 62 is mubbed in the large size, the tactile presentation object 62 enters the tactile presentation section 160 with a margin. Therefore, the second tactile information is also mubbed so that the second tactile information can be entered into the tactile presenting unit 160.
  • FIG. 16 is a diagram showing an example of scaling of the second tactile information according to the embodiment of the present disclosure.
  • the tactile presentation object 62 associated with the second tactile information.
  • the data processing section 1 4 4 may be scaled to an appropriate size by enlarging or reducing it and then matting.
  • the full-size tactile presentation object 6 2 (first tactile information) is mapped on the tactile presentation unit 160 with a margin.
  • the data processing unit 144 may regenerate the second tactile information so as to obtain the information density according to the scaling ratio at the time of scaling.
  • the data processing unit 1 4 4 outputs the second tactile information having the information density suitable for the size of the scaled tactile presentation object 6 2 to the tactile presentation unit 1 6 0. Can be mapped to.
  • the tactile presentation control unit 1 46 has a function of controlling the operation of the tactile presentation unit 1 6 0. For example, the tactile presentation control unit 1 46 generates a presentation signal for the tactile presentation unit 1 6 0 to present based on the second tactile information mapped to the position where the user touches the tactile presentation unit 1 6 0. To do. Specifically, the tactile presentation control unit 146 reads out the tactile stimulus value from the second tactile information that is mapped to the position where the user touches the tactile presentation unit 1600 and converts the tactile stimulus. Generate a presentation signal. Then, the tactile sense presentation control unit 146 outputs the generated presentation signal to the tactile sense presentation unit 1660.
  • the storage unit 150 has a function of storing information regarding processing in the tactile sense presentation device 10. In order to realize the function, the storage unit 150 has, as shown in FIG. 3, a tactile information storage unit 1 52, a sensing information storage unit 1 5 4, and a tactile presentation unit information storage unit 1 5 6. ..
  • the tactile information storage unit 152 is a storage unit that stores tactile information.
  • the tactile information storage unit 1 52 stores the first tactile information acquired by the acquisition unit 1 4 2 from the server 2 0 via the communication unit 1 10 and the network 5 0. ⁇ 02020/175199 25 ((171?2020/005905
  • the sensing information storage unit 154 is a storage unit that stores sensing information.
  • the sensing information storage unit 1 54 has the sensing information acquired by the acquisition unit 1 4 2 from the sensor device 30 via the communication unit 1 10 and the acquisition information 1 4 2 acquired from the sensor unit 1 20. The sensing information is stored.
  • the tactile presentation unit information storage unit 156 is a storage unit that stores tactile presentation unit information.
  • the tactile sense presentation unit information storage unit 156 stores the tactile sense presentation unit information prepared in advance.
  • the tactile presentation unit information is information unique to the tactile presentation unit 160, such as the coefficient of restitution and the coefficient of friction.
  • the storage unit 150 may store programs such as various applications.
  • the tactile sense presentation unit 160 has a function of presenting a tactile sense stimulus to the user.
  • the tactile sense presentation unit 160 presents a tactile sense stimulus to the user according to the presentation signal input from the control unit 140.
  • Presentation of tactile stimuli to the user by the tactile presentation unit 160 can be realized by various means.
  • the presentation of the tactile stimulus by the tactile presenting unit 160 can be realized by an electrical stimulus, a Peltier element, a motor, an air pressure, a vibrator, a speaker, a display, or the like.
  • the tactile sense presentation unit 160 presents, for example, an electrical stimulus having an intensity corresponding to the presentation signal to the user as a tactile stimulus.
  • an electrical stimulus having an intensity corresponding to the presentation signal to the user as a tactile stimulus.
  • the tactile sense presentation unit 160 presents, for example, heat adjusted by the Peltier device according to the presentation signal to the user as a tactile stimulus.
  • the user can set the temperature of the surface of the tactile presentation object as a tactile sense through the tactile presentation unit 160. ⁇ 02020/175199 26 ⁇ (: 171?2020/005905
  • the tactile sense providing unit 160 is, for example, a tactile sense presenting unit driven by a motor in response to a presentation signal.
  • the reaction force generated by moving 160 is presented to the user as a tactile stimulus.
  • the user can feel the texture of the surface of the tactile presentation object as a tactile sense through the tactile sense presentation unit 160.
  • the tactile presenting section 160 is, for example, a tactile presenting section by air pressure in accordance with a presenting signal.
  • the vibration generated by vibrating 160 at an arbitrary frequency is presented to the user as a tactile stimulus.
  • the tactile sense presentation unit 160 presents the reaction force generated by moving the tactile sense presentation unit 160 according to the presentation signal by air pressure to the user as a tactile stimulation. With this configuration, the user can feel the texture of the surface of the tactile presentation object as a tactile sense through the tactile presentation unit 160.
  • the tactile sense presenting unit 160 is, for example, a tactile sense presenting unit by a vibrator according to a presenting signal.
  • the vibration generated by vibrating 160 at an arbitrary frequency is presented to the user as a tactile stimulus.
  • the user can feel the texture of the surface of the tactile presentation object as a tactile sense via the tactile presentation unit 160.
  • the tactile sense presentation unit 160 presents a change in the moving direction to the user as a tactile stimulus by changing the movement pattern of the mass by the oscillator according to the presentation signal.
  • the user can feel the change in the weight of the tactile presentation object as a tactile sense via the tactile presentation unit 160.
  • the tactile sense presentation unit 160 presents, for example, a sound of a specific frequency through a speaker to the user as a tactile stimulus according to the presentation signal.
  • the user can feel the change in humidity as a tactile sensation via the tactile sense presentation unit 160.
  • the user can feel that the humidity is low and the sound is dry when a sound with a frequency of about 2000 to 1 is output.
  • the user can perceive that the humidity is high and the humidity is high when the sound with the suppressed high frequency is output.
  • the tactile sense presentation unit 160 may, for example, display on the display in response to a presentation signal. ⁇ 02020/175199 27 ((171?2020/005905
  • the user can feel a pseudo tactile sensation (36 l 0 1 to 13 1: I 0 3) via the tactile sense presentation unit 160.
  • FIG. 17 is a flow chart showing a flow of processing when processing tactile information without switching according to an embodiment of the present disclosure.
  • the control unit 140 of the tactile sense presentation device 10 acquires the unique information of the tactile sense presentation unit 160 from the storage unit 150 (3102).
  • the control unit 140 detects the tactile presentation object selected by the user (3104).
  • the control unit 140 acquires the first tactile information corresponding to the selected tactile presentation object from the server 20 via the communication unit 110 (31 06), and acquires the acquired first tactile information. It is stored in the storage unit 150 (31 08).
  • the control unit 140 acquires sensing information from the sensor unit 120 (3110).
  • the control unit 140 After acquiring the sensing information, the control unit 140 generates the second tactile information by the generation process (31 1 2). After the generation processing, the control unit 140 generates a presentation signal based on the generated second tactile information (31 14). Then, the control unit 140 causes the tactile sense presentation unit 160 to present a tactile stimulus based on the presentation signal (3 1 16).
  • control unit 140 repeats the process from 3106. On the other hand, when another tactile presentation object is not selected by the user (31 18/1 ⁇ 10), the control unit 140 repeats the processing from 31 10.
  • FIG. 18 is a flow chart showing a flow of processing when processing is performed after switching tactile information according to the embodiment of the present disclosure. ⁇ 02020/175199 28 ⁇ (: 171?2020/005905
  • the control unit 140 of the tactile sense presentation device 10 acquires the unique information of the tactile sense presentation unit 160 from the storage unit 150 (3202). Next, the control unit 140 detects the tactile presentation object selected by the user (3204). Next, the control unit 140 obtains the first tactile information corresponding to the selected tactile presentation object from the server 20 via the communication unit 110 (3206), and stores the obtained first tactile information. It is stored in part 150 (3208). Next, the control unit 140 acquires sensing information from the sensor unit 120 (3210).
  • control unit 140 determines whether the first
  • the control unit 140 After switching the first tactile information, the control unit 140 generates the second tactile information by the generation process (32 1 4). After the generation processing, the control unit 140 generates a presentation signal based on the generated second tactile information (32 16). Then, the control unit 140 causes the tactile sense presentation unit 160 to present a tactile stimulus based on the presentation signal (32 18).
  • control unit 140 repeats the processing from 3206. On the other hand, when another tactile presentation object is not selected by the user (3220/1 ⁇ 10), the control unit 140 repeats the processing from 3210.
  • FIG. 19 is a diagram showing a specific presentation example of the tactile stimulus in the first specific example of the embodiment of the present disclosure.
  • FIG. 19 shows an example in which the haptic presentation system 1000 according to the embodiment of the present disclosure is applied to net syobbing.
  • FIG. 20 is a diagram showing a specific presentation example of the tactile stimulus in the second specific example of the embodiment of the present disclosure.
  • the tactile presentation system 100 according to the embodiment is an augmented reality (8[3 ⁇ 4: hanri 90 1 16 ⁇ 1 61 0 1 I) The example applied to shopping is shown.
  • a virtual object that is virtual content such as an image is superimposed and displayed on the tactile presentation device 10.
  • An example of the virtual object is a product image.
  • the tactile information corresponding to the product image is mapped on the tactile presentation device 10.
  • the user can receive a tactile stimulus corresponding to the tactile sensation when actually touching the superimposed product by touching the tactile presentation device 10 on which the image of the product is superimposed. ..
  • modified examples of the embodiment of the present disclosure will be described.
  • the modified examples described below may be applied to the embodiment of the present disclosure alone, or may be applied to the embodiment of the present disclosure in combination.
  • the modified example may be applied instead of the configuration described in the embodiment of the present disclosure, or may be additionally applied to the configuration described in the embodiment of the present disclosure.
  • FIG. 21 is a diagram showing a presentation example of the tactile stimulus in the first modified example of the embodiment of the present disclosure.
  • the tactile sense presentation device 10 may be mounted inside an arbitrary object, for example, and may present a tactile sense stimulus to the user when the user indirectly touches it.
  • the tactile presentation device 10 is mounted inside the seat portion 92 of the sofa 9 1. It is assumed that the tactile presentation device 10 can present a tactile stimulus related to heat to the user by, for example, a Peltier element. This ⁇ 02020/175199 30 ⁇ (: 171?2020/005905
  • the user sits down on the seat portion 92 of the sofa 91 and the heat is presented as a tactile stimulus from the tactile presentation device 10.
  • FIG. 22 is a diagram showing a presentation example of the tactile stimulus in the second modified example of the embodiment of the present disclosure.
  • the data processing unit 144 may generate the second tactile information, further based on the information contained in the sensing information and indicating the posture of the tactile presentation device held by the user. For example, the data processing unit 1 4 4 In a game or the like, the size of the tactile stimulus relating to the virtual object displayed in association with the tactile presentation device 10 is changed according to the posture of the tactile presentation device 10.
  • the virtual object is displayed when the user holds the tactile presentation device 10 without tilting it. From this state, when the user tilts the tactile presentation device 10 as shown in the right diagram of FIG. 22, the virtual object is also tilted and displayed. At this time, if the posture information indicating that the posture of the tactile sense presentation device 10 has changed is acquired as the sensing information, the data processing unit 1444 generates the second tactile information based on the posture information. For example, the data processing unit 1 144 may change the weight feedback according to the inclination by changing the mass movement pattern of the mass change oscillator according to the inclination of the posture.
  • FIG. 23 is a diagram showing a presentation example of the tactile stimulus in the third modified example of the embodiment of the present disclosure.
  • the data processing unit 144 may generate the second haptic information based on the information included in the sensing information and indicating the position and orientation of the user with respect to the virtual object arranged in the space. For example, in the eight games and the like, the data processing unit 1444 changes the size of the tactile stimulus according to the posture of the tactile presentation device 10 with respect to the direction of energy release.
  • the data processing unit 144 outputs the tactile stimulus presented to the user when an attack is performed from the front as shown in the left diagram of FIG. 23, and the user in the right diagram of FIG. May be stronger than the tactile stimuli presented to.
  • FIG. 24 is a block diagram showing a hardware configuration example of the information processing apparatus according to the present embodiment.
  • the information processing device 900 shown in FIG. 24 can realize the tactile presentation device 10 shown in FIG. 2, for example.
  • Information processing by the tactile sense presentation device 10 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 has a CPU (Ce n t r a l
  • the information processing device 900 includes a host bus 904, a bridge 905, an external bus 906, an interface 907, an input device 908, an output device 909, a storage device 910, a drive 911, a connection port 912, and A communication device 9 13 is provided.
  • the hardware configuration shown here is an example, and some of the components may be omitted. The hardware configuration may further include components other than the components shown here.
  • the CPU 901 functions, for example, as an arithmetic processing unit or a control unit, and based on various programs recorded in the R ⁇ M902, the RAM 903, or the storage device 910, the overall operation of each component or one of the operations. Control the department.
  • the R0M902 is a means for storing a program read into the CPU 901 and data used for calculation.
  • the RAM 903 temporarily or permanently stores, for example, a program read by the CPU 901 and various parameters that change appropriately when the program is executed. These consist of CPU bus etc. ⁇ 02020/175199 32 ((171?2020/005905
  • ⁇ 11901, [3 ⁇ 4 1 ⁇ /1902, and [3 ⁇ 4 1 ⁇ /1903] can realize the function of the control unit 140 described with reference to Fig. 3 in cooperation with software, for example.
  • ⁇ 11901, [ ⁇ 1 ⁇ /1902, and [3 ⁇ 41 ⁇ /1903] are mutually connected, for example, via a host bus 904 capable of high-speed data transmission.
  • the host bus 904 is connected to, for example, an external bus 906 having a relatively low data transmission rate via a bridge 905.
  • the external bus 906 is connected to various components via an interface 907.
  • the input device 908 is realized by a device to which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch and a lever.
  • the input device 908 may be, for example, a remote control device that uses infrared rays or other radio waves, or a mobile phone or a mobile phone that supports the operation of the information processing device 900. It may be an externally connected device such as a mouth.
  • the input device 908 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above-described input means and outputs the input signal to 0 1) 901.
  • the user of the information processing device 900 can input various data to the information processing device 900 and instruct the processing operation by operating the input device 908.
  • the input device 908 may be formed by a device that senses information about a user.
  • the input device 908 includes an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, and a distance measuring sensor (for example, D (7 ⁇ 6 ⁇ ⁇ ⁇ 9 1:) Sensors ), various sensors such as sensors.
  • the input device 908 relates to the information processing device 900 itself such as the posture and moving speed of the information processing device 900, and the surrounding environment of the information processing device 900 such as the brightness and noise around the information processing device 900. You may get the information.
  • the input device 908 is 0 33 (0 ⁇ oba ⁇ I
  • the input device 908 may include a G N S S module that receives G PS (G l o b a l P o s i t i o n i n g S y s te m) satellite to measure position information including latitude, longitude and altitude of the device.
  • the input device 908 may detect the position by transmission/reception with W i -F i (registered trademark), a mobile phone PH S smart phone, or the like, or short-range communication, or the like.
  • the input device 908 can realize the function of the sensor unit 120 described with reference to FIG. 3, for example.
  • the output device 909 is formed of a device capable of visually or audibly notifying the user of the acquired information. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, and printer devices. There are places etc.
  • the output device 909 outputs, for example, the results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data and acoustic data into an analog signal and outputs it audibly.
  • the output device 909 can realize the function of the tactile sense presentation unit 160 described with reference to FIG. 3, for example.
  • the storage device 910 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 910 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 910 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 910 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 9 10 realizes the function of the storage unit 150 described with reference to FIG. 3, for example. ⁇ 02020/175199 34 ⁇ (: 171?2020/005905
  • the drive 9 11 is a reader/writer for a storage medium, and is incorporated in the information processing device 900 or externally attached.
  • the drive 9 11 reads the information recorded in the removable storage medium such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 903.
  • the drive 911 can also write information to a removable storage medium.
  • connection port 9 1 2 is, for example, U S B (U n i v e r s a l S e r i a
  • IB us port, IEEE 1394 port, SCS I (Small Computer System Interface), RS-232C port, or a port for connecting an external device such as an optical audio terminal. is there.
  • the communication device 9 13 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 9 13 is, for example, a wired or wireless LAN (Local Area N et wo rk), LTE (Long i. erm E volution), Bluetooth (registered trademark), or WU SB (Wireless USB).
  • the communication device 91 3 may be a router for optical communication, a router for ADS L (A s y m m e t r i c D i g i t a l S u b s c r i b e r L i n e), or a modem for various kinds of communication.
  • This communication device 9 13 can send and receive signals and the like to and from the Internet and other communication devices, for example, in accordance with a predetermined protocol such as TC P/IP.
  • the communication device 9 13 can realize the function of the communication unit 1 10 described with reference to FIG. 3, for example.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 is a public network such as the Internet, a telephone network, and a satellite communication network, and various LANs (Local Area Area Network) including Ethernet (registered trademark) and WAN. (Wide Area N et wo rk) May be included.
  • the network 920 may include a private line network such as Internet P-VPN (Virtual Network-Virtual Private Network).
  • the network 920 may implement the functions of the network 50 described with reference to FIG. 3, for example.
  • each component described above may be realized by using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at the time of implementing the present embodiment.
  • the information processing device acquires the sensing information about the user and the first tactile information unique to the tactile presentation object.
  • the information processing device generates second tactile information used when the tactile presentation device presents a tactile stimulus to the user from the first tactile information based on the acquired sensing information.
  • the information processing apparatus can generate tactile information according to the sensing information about the user from the tactile information unique to the tactile presentation object.
  • each device described in the present specification may be realized as a single device, or part or all may be realized as separate devices.
  • the control unit 140 provided in the tactile presentation device 10 shown in FIG. 3 may be realized as a single device.
  • the control unit 140 may be realized as an independent device such as a server device, and may be connected to the tactile sense presentation device 10 via a network or the like.
  • the series of processes performed by each device described in the present specification may be realized using any of software, hardware, and a combination of software and hardware.
  • the program that constitutes the software may be, for example, a recording medium (non-transitory medium) provided inside or outside each device. Stored in advance. Then, each program, for example, is loaded into [8/1 ⁇ /1] when it is executed by a computer and executed by a processor such as X.
  • processing described using the flow chart in the present specification does not necessarily have to be executed in the illustrated order. Some processing steps may be performed in parallel. In addition, additional processing steps may be adopted, and some processing steps may be omitted.
  • An acquisition unit that acquires sensing information about the user and first tactile information unique to the tactile presentation object
  • a second tactile information used when the tactile presentation device presents a tactile stimulus to the user and a data processing unit that generates from the first tactile information based on the sensing information
  • An information processing device comprising:
  • the sensing information includes contact information indicating a contact state between the user and the tactile presentation device,
  • the information processing apparatus wherein the data processing unit further generates the second tactile information based on the contact information.
  • the information processing device wherein the data processing unit generates the second tactile information based on a rate of change of a contact position with the user in the tactile presentation device.
  • the information processing device according to (3), wherein the data processing unit generates the second tactile information by processing the first tactile information according to the changing speed of the contact position.
  • the data processing unit generates the second tactile information in which the change amount of the tactile stimulus per unit distance is smaller as the changing speed of the contact position is faster, and the tactile sensation per unit distance is smaller as the changing speed of the contact position is slower.
  • the information processing device according to (4), wherein the second tactile information having a large amount of change in stimulation is generated.
  • the information processing unit according to any one of (2) to (5), wherein the data processing unit generates the second tactile information based on a contact pressure between the tactile presentation device and the user. apparatus.
  • the information processing unit according to any one of (2) to (6), wherein the data processing unit generates the second tactile information based on a contact area between the tactile presentation device and the user. apparatus.
  • the sensing information includes environmental information related to the surrounding environment of the user, and the data processing unit further includes the second tactile information based on the environmental information. ⁇ 02020/175199 38 ⁇ (: 171?2020/005905
  • the data processing unit further generates the second tactile information based on the information indicating the posture of the tactile presentation device held by the user, which is included in the sensing information.
  • the data processing unit further generates the second tactile information based on information that is included in the sensing information and that indicates the position and orientation of the user with respect to a virtual object arranged in space, (1) ⁇
  • the information processing device according to any one of (9).
  • the data processing unit generates the second tactile information based on the first tactile information having an information density according to the size of the tactile presentation device, among the plurality of first tactile information.
  • the information processing apparatus according to any one of (1) to (10) above.
  • the data processing unit generates the second tactile information according to a scaling ratio of the tactile presentation object that is to be mapped to the tactile presentation device.
  • the data processing unit generates the second tactile information based on the first tactile information having an information density corresponding to the scaling ratio among the plurality of first tactile information.
  • the first tactile information and the second tactile information include information indicating a tactile stimulation value for each predetermined area
  • the data processing unit repeats the tactile stimulation value for each of the predetermined regions in the first tactile information in a predetermined region unit when the image showing the tactile presentation object is enlarged.
  • the first tactile information and the second tactile information include information indicating a tactile stimulation value for each predetermined area
  • the data processing unit repeats a pattern of tactile stimulus values appearing in a plurality of predetermined areas in the first tactile information in units of a plurality of predetermined areas when the image showing the tactile presentation object is enlarged.
  • the information processing device according to (14) above.
  • the information processing device according to any one of (1) to (16), wherein the acquisition unit acquires information sensed by the sensor unit as the sensing information.
  • the information processing device according to any one of (1) to (17), wherein the acquisition unit acquires information sensed by an external sensor device as the sensing information via the communication unit.
  • An information processing method executed by a processor including:
  • An acquisition unit that acquires sensing information about the user and first tactile information unique to the tactile presentation object
  • a second tactile information used when the tactile presentation device presents a tactile stimulus to the user and a data processing unit that generates from the first tactile information based on the sensing information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置は、ユーザに関するセンシング情報と触覚提示物に固有の第１の触覚情報とを取得する取得部と、触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用する第２の触覚情報を、前記センシング情報に基づいて前記第１の触覚情報から生成するデータ処理部と、を備える。

Description

\¥02020/175199 1 卩（：17 2020/005905
明 細 書
発明の名称 ： 情報処理装置、 情報処理方法、 及びプログラム 技術分野
[0001 ] 本開示は、 情報処理装置、 情報処理方法、 及びプログラムに関する。
背景技術
[0002] 従来、 振動などの触覚刺激をユーザに対して提示するための技術が各種提 案されている。 一例として、 ユーザに関するセンシング情報に応じた触覚刺 激をユーザに提示する技術がある。 例えば、 下記特許文献 1 には、 車両の周 辺状況に関するセンシング情報に応じて決定された触覚刺激をドライバーに 対して提示する技術が開示されている。
先行技術文献
特許文献
[0003] 特許文献 1 :特開 2 0 1 6 - 0 8 1 5 2 1号公報
発明の概要
発明が解決しようとする課題
[0004] 上記特許文献 1 に記載の技術は、 車両を運転するドライバーに対し、 緊急 事態を知らせることを目的としている。 そのため、 ドライバーに提示される 触覚刺激は、 緊急事態であることがドライバーに認識されればよく、 そのリ アリティは全く考慮されていない。
[0005] そこで、 本開示では、 より現実感のある触覚刺激を提示することが可能な 、 新規かつ改良された情報処理装置、 情報処理方法、 及びプログラムを提案 する。
課題を解決するための手段
[0006] 本開示によれば、 ユーザに関するセンシング情報と触覚提示物に固有の第
1の触覚情報とを取得する取得部と、 触覚提示装置が前記ユーザに対して触 覚刺激を提示する際に使用する第 2の触覚情報を、 前記センシング情報に基 づいて前記第 1の触覚情報から生成するデータ処理部と、 を備える、 情報処 \¥02020/175199 2 卩（：171?2020/005905
理装置が提供される。
［0007］ また、 本開示によれば、 ユーザに関するセンシング情報と触覚提示物に固 有の第 1の触覚情報とを取得することと、 触覚提示装置が前記ユーザに対し て触覚刺激を提示する際に使用する第 2の触覚情報を、 前記センシング情報 に基づいて前記第 1の触覚情報から生成することと、 を含む、 プロセッサに より実行される情報処理方法が提供される。
［0008］ また、 本開示によれば、 コンピュータを、 ユーザに関するセンシング情報 と触覚提示物に固有の第 1の触覚情報とを取得する取得部と、 触覚提示装置 が前記ユーザに対して触覚刺激を提示する際に使用する第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成するデータ処理 部と、 として機能させるための、 プログラムが提供される。
図面の簡単な説明
［0009］ ［図 1］本開示の実施形態に係る処理の概要を示す図である。
［図 2］同実施形態に係る触覚刺激の提示例を示す図である。
［図 3］同実施形態に係る触覚提示システムの構成例を示すブロック図である。 ［図 4］同実施形態に係る触覚情報の構成例を示す図である。
［図 5］同実施形態に係る速度変化に基づく第 2の触覚情報の生成例を示す図で ある。
［図 6］同実施形態に係る速度変化に基づく第 2の触覚情報の生成例を示す図で ある。
［図 7］同実施形態に係る圧力に基づく第 2の触覚情報の生成例を示す図である
［図 8］同実施形態に係る圧力に基づく第 2の触覚情報の生成例を示す図である
［図 9］同実施形態に係る接触面積に基づく第 2の触覚情報の生成例を示す図で ある。
［図 10］同実施形態に係る湿度に基づく第 2の触覚情報の生成例を示す図であ る。 \¥02020/175199 3 卩（：171?2020/005905
［図 1 1］同実施形態に係る触覚提示部の大きさに基づく第 2の触覚情報の生成 例を示す図である。
［図 12］同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。
［図 13］同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。
［図 14］同実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。
［図 15］同実施形態に係る第 2の触覚情報のマツビング例を示す図である。
［図 16］同実施形態に係る第 2の触覚情報のスケーリング例を示す図である。 ［図 17］同実施形態に係る触覚情報を切り替えずに加工する場合の処理の流れ を示すフローチヤートである。
［図 18］同実施形態に係る触覚情報を切り替えてから加工する場合の処理の流 れを示すフローチヤートである。
［図 19］同実施形態に係る第 1の具体例における触覚刺激の具体的な提示例を 示す図である。
［図 20］同実施形態に係る第 2の具体例における触覚刺激の具体的な提示例を 示す図である。
［図 21］同実施形態に係る第 1の変形例における触覚刺激の提示例を示す図で ある。
［図 22］同実施形態に係る第 2の変形例における触覚刺激の提示例を示す図で ある。
［図 23］同実施形態に係る第 3の変形例における触覚刺激の提示例を示す図で ある。
［図 24］本開示の一実施形態に係る情報処理装置のハードウヱア構成例を示す ブロツク図である。
発明を実施するための形態
［0010］ 以下に添付図面を参照しながら、 本開示の好適な実施の形態について詳細 \¥02020/175199 4 卩（：171?2020/005905
に説明する。 なお、 本明細書及び図面において、 実質的に同一の機能構成を 有する構成要素については、 同一の符号を付することにより重複説明を省略 する。
[001 1 ] なお、 説明は以下の順序で行うものとする。
1 . 概要
2 . 構成例
3 . 処理例
4 . 具体例
5 . 変形例
6 . ハードウェァ構成
7 . まとめ
[0012] « 1 . 概要》
本開示の実施形態に係る技術は、 ユーザに対してセンシング情報に応じた 触覚刺激を提示させる情報処理装置に関する。 本実施形態に係る情報処理装 置は、 ユーザに関するセンシング情報に基づき、 触覚提示物に固有の第 1の 触覚情報から、 触覚提示装置がユーザに対して触覚刺激を提示する際に使用 する第 2の触覚情報を生成する。
[0013] ユーザに関するセンシング情報には、 多様な情報が含まれ得る。 例えば、 センシング情報は、 ユーザと触覚提示装置との接触状態を示す接触情報を含 む。 接触情報の一例として、 触覚提示装置と接触しているユーザの部位 （以 下、 「接触部位」 とも称される） の移動速度 （加速度） 、 接触部位から接触 提示装置にかけられる圧力、 及び接触部位と触覚提示装置が接触している面 積等が挙げられる。 なお、 接触情報は、 かかる例に限定されない。 かかる構 成により、 情報処理装置は、 接触情報に基づき、 第 1の触覚情報から第 2の 触覚情報を生成することができる。
[0014] また、 センシング情報は、 ユーザと触覚提示装置との非接触状態を示す非 接触情報を含む。 非接触情報の一例として、 ユーザの体温、 ユーザの体面の 湿度、 及び触覚提示装置から接触部位までの距離等が挙げられる。 なお、 非 \¥02020/175199 5 卩（：171?2020/005905
接触情報は、 かかる例に限定されない。 かかる構成により、 情報処理装置は 、 非接触情報に基づき、 第 1の触覚情報から第 2の触覚情報を生成すること ができる。
[0015] また、 センシング情報は、 ユーザの周辺環境に関する環境情報を含む。 環 境情報の一例として、 ユーザが存在する空間の温度及び湿度等が挙げられる 。 なお、 環境情報は、 かかる例に限定されない。 かかる構成により、 情報処 理装置は、 環境情報に基づき、 第 1の触覚情報から第 2の触覚情報を生成す ることができる。
[0016] 触覚提示物は、 触覚提示装置を介して、 ユーザに触覚刺激を提示する対象 となる物体である。 触覚提示物の情報は、 例えば、 触覚提示物の画像と対応 付けて管理され得る。
[0017] 第 1の触覚情報は、 ユーザが実際に触覚提示物に触れた際に、 ユーザに伝 わる触覚刺激に関する情報を含む情報である。 例えば、 第 1の触覚情報は、 触覚刺激の強度を数値化した情報 （以下、 「触覚刺激値」 とも称される） を 含む。
[0018] 触覚刺激値は、 触覚提示物に固有の情報である。 触覚刺激値は、 所定の領 域ごとに設定され得る。 例えば、 触覚提示物が画像で示される場合、 触覚刺 激値は、 当該画像の画素ごとに設定されてよい。 また、 複数の画素に対して 1つの触覚刺激値が設定されてもよい。 また、 触覚提示物が示された画像を 任意の大きさの複数の領域に分割し、 各々の領域に対して触覚刺激値が設定 されてもよい。 以下では、 触覚刺激値が設定される領域は、 「触覚刺激値領 域」 とも称される。 また、 以下では、 「情報密度」 は、 当該画像の単位面積 当たりに設定された触覚刺激値の量のことを示す。
[0019] 第 2の触覚情報は、 センシング情報に基づいて第 1の触覚情報から生成さ れる情報である。 例えば、 第 2の触覚情報は、 センシング情報に基づき、 第 1の触覚情報に含まれる触覚刺激値が変更 （以下、 「加工」 とも称される） されることで生成される。 以下では、 第 2の触覚情報が生成される処理は、 「生成処理」 とも称される。 \¥02020/175199 6 卩（：171?2020/005905
[0020] 第 2の触覚情報の生成後、 情報処理装置は、 ユーザに対して、 生成した第
2の触覚情報に基づく触覚刺激を触覚提示装置に提示させる。 例えば、 情報 処理装置は、 触覚提示装置における触覚を提示可能な領域 （以下、 「触覚提 示領域」 とも称される） に対して、 第 2の触覚情報に含まれる触覚刺激値を マッピングさせる。 そして、 情報処理装置は、 ユーザに対して、 ユーザが触 れた触覚提示領域上の位置にマッビングされた触覚刺激値が示す強度の触覚 束 I」激を触覚提示装置に提示させる。
[0021 ] 典型的には、 実空間においてユーザが物体に触れた時にユーザが得る触覚 は、 ユーザの物体に対する触れ方と、 物体の素材や硬さ等の物体固有の特性 とに依存する。 この点、 本実施形態に係る情報処理装置は、 前者に対応する センシング情報と、 後者に対応する第 1の触覚情報と、 に基づいて第 2の触 覚情報を生成することで、 現実感のある触覚刺激をユーザに提示することが できる。
[0022] （処理の概要）
ここで、 図 1 を参照して、 本開示の実施形態に係る処理の概要について説 明する。 図 1は、 本開示の実施形態に係る処理の概要を示す図である。 以下 では、 ユーザが触覚提示装置 1 0の触覚提示部 1 6 0に触れた際に、 ユーザ が触覚提示物 6 2の実物に実際に触れた際と同等な触覚刺激が、 ユーザに対 して提示される例について説明する。
[0023] 図 1 に示す例における触覚提示物 6 2は、 シャツである。 当該シャツの実 物の表面は、 例えば、 領域 6 4に示すような繊維構造をしている。 第 1の触 覚情報 7 2には、 ユーザが実物のシャツの領域 6 4に実際に触れた際に、 ユ —ザが感じる触覚と対応する触覚刺激値が示されている。 図 1 に示す第 1の 触覚情報 7 2は、 縦 4マス、 横 4マスの計 1 6マスの等しい大きさの領域を 有し、 各々の領域に、 触覚刺激値が設定されている。 図 1 に示す例では、 一 例として、 触覚刺激値として〇または 1が設定されている。 なお、 触覚刺激 値の値はかかる例に限定されず、 0と 1以外の値が設定されてもよい。
[0024] ユーザが、 触覚提示部 1 6 0に手を接触させたまま、 手 5 2 3の位置から \¥02020/175199 7 卩（：171?2020/005905
手 5 2匕の位置まで手を移動させたとする。 この時、 例えば、 ユーザが手を 移動させた際の移動速度の変化量がセンシング情報として取得される。 セン シング情報が取得されると、 触覚提示装置 1 0は、 生成処理を行う。 生成処 理にて、 触覚提示装置 1 〇は、 センシング情報に基づいて第 1の触覚情報 7 2が加工することで、 ユーザの触れ方の変化が反映された第 2の触覚情報 7 4を生成する。
[0025] 生成された第 2の触覚情報 7 4は、 触覚提示部 1 6 0にマッピングされる 。 そして、 触覚提示部 1 6 0は、 ユーザが触れた触覚提示部 1 6 0の位置に マッピングされた第 2の触覚情報 7 4の触覚刺激値に基づき、 触覚刺激をユ —ザに対して提示する。
[0026] （触覚刺激の提示例）
ここで、 図 2を参照して、 本開示の実施形態に係る触覚刺激の提示例につ いて説明する。 図 2は、 本開示の実施形態に係る触覚刺激の提示例を示す図 である。
[0027] 図 2の上部の図に示すように、 まず、 ユーザが、 手 5 2 3の位置から手 5
2匕の位置まで、 触覚提示部 1 6 0に触れている手を移動したとする。 この 時、 ユーザの接触部位の速度変化がセンシング情報として取得される。 次い で、 取得されたセンシング情報に基づき第 1の触覚情報が加工されることで 生成された第 2の触覚情報が触覚提示部 1 6 0にマッピングされる。 そして 、 触覚提示装置 1 〇は、 ユーザが触覚提示部 1 6 0に触れた位置にマッピン グされた触覚刺激値を読み出し、 提示信号に変換する。 そして、 触覚提示装 置 1 〇は、 変換した提示信号を触覚提示部 1 6 0に入力し、 触覚提示部 1 6 〇に触覚を提示させる。
[0028] 図 2の下部の図に示すグラフは、 触覚提示部 1 6 0にマッピングされた触 覚刺激値をグラフ化したものである。 当該グラフの縦軸は、 触覚刺激値 を 示しており、 横軸は、 時間 を示している。 当該グラフに示すように、
Figure imgf000009_0001
か ら 1： 2では、 触覚刺激値が 6 4から 8まで徐々に減少しているため、 ユーザに 提示される触覚刺激の強度は徐々に弱くなる。 から 1 3では、 触覚刺激値 \¥02020/175199 8 卩（：171?2020/005905
は 8のまま変化がないため、 ユーザに提示される触覚刺激の強度にもほぼ変 化はない。 I 3から I 4では、 ユーザに提示される触覚刺激値が 9から 5 6ま で急激に増加しているため、 ユーザに提示される触覚刺激の強度は急激に強 くなる。
Figure imgf000010_0001
以降では、 触覚刺激値にほぼ変化がないため、 ユーザに提示され る触覚刺激の強度にもほぼ変化はない。
[0029] （課題の整理）
ここで、 課題の整理を行う。 一般的な触覚提示装置では、 センシング情報 に基づき、 触覚刺激値を加工した触覚刺激をユーザに対して提示することに ついては考慮されていない。 そのため、 一般的な触覚提示装置は、 ユーザの 触れ方の変化を示す情報がセンシング情報として取得されても、 第 1の触覚 情報から第 2の触覚情報が生成されない。
[0030] 本開示の実施形態では、 上記の点に着目して発想されたものであり、 より 現実感のある触覚刺激を提示することが可能な技術を提案する。 以下、 本実 施形態について順次詳細に説明する。
[0031 ] « 2 . 構成例》
まず、 図 3を参照して、 本開示の実施形態に係る情報処理システムの構成 例について説明する。 図 3は、 本開示の実施形態に係る触覚提示システム 1 0 0 0の構成例を示すブロック図である。
[0032] < 2 - 1 . システム構成 >
図 2に示すように、 本実施形態に係る触覚提示システム 1 0 0 0は、 触覚 提示装置 1 〇、 サーバ 2 0、 センサ装置 3 0、 表示装置 4 0、 及びネッ トワ —ク 5 0を備える。
[0033] （ 1） 触覚提示装置 1 0
触覚提示装置 1 〇は、 任意の対象に対して触覚刺激を提示する装置 （情報 処理装置） である。 例えば、 触覚提示装置 1 0は、 触覚提示装置と接触して いるユーザの部位に対して、 触覚刺激を提示する。
[0034] 触覚提示装置 1 0は、 ネッ トワーク 5 0を介してサーバ 2 0と接続されて おり、 サーバ 2 0と情報の送受信を行える。 また、 触覚提示装置 1 0は、 ネ \¥02020/175199 9 卩（：171?2020/005905
ッ トワーク 5 0を介してセンサ装置 3 0と接続されており、 センサ装置 3 0 と情報の送受信を行える。 また、 触覚提示装置 1 〇は、 ネッ トワーク 5 0を 介して表示装置 4 0と接続されており、 表示装置 4 0に触覚提示物の画像を 表示させることができる。
[0035] 触覚提示装置 1 0では、 本実施形態に係る情報処理装置により触覚提示処 理が行われる。 例えば、 情報処理装置は、 触覚提示装置 1 0に搭載され、 触 覚提示装置 1 〇の触覚提示部に触覚刺激を提示する触覚提示処理を行う。 以 下では、 情報処理装置が触覚提示装置 1 〇に搭載されている例について説明 するが、 情報処理装置の搭載先は触覚提示装置 1 〇に限定されず、 任意の装 置であってよい。 例えば、 情報処理装置は、 サーバ 2 0に搭載され、 ネッ ト ワーク 5 0を介して触覚提示装置 1 0における触覚提示処理を制御してもよ い。
[0036] ( 2 ) サーバ 2 0
サーバ 2 0は、 触覚提示装置 1 〇の触覚提示処理に関する情報を記憶する 機能を有するサーバ装置である。 例えば、 サーバ 2 0は、 第 1の触覚情報を 記憶する触覚情報サーバであり得る。
[0037] サーバ 2 0は、 ネッ トワーク 5 0を介して触覚提示装置 1 0と接続されて おり、 触覚提示装置 1 〇と情報の送受信を行える。 例えば、 サーバ 2 0は、 ネッ トワーク 5 0を介して、 第 1の触覚情報を触覚提示装置 1 〇へ送信する
[0038] ( 3 ) センサ装置 3 0
センサ装置 3 0は、 触覚提示装置 1 0における処理に用いられる情報をセ ンシングする機能を有する。 例えば、 センサ装置 3 0は、 ユーザに関するセ ンシング情報をセンシングする。 センシング後、 センサ装置 3 0は、 ネッ ト ワーク 5 0を介して、 センシング情報を触覚提示装置 1 0へ送信する。
[0039] センサ装置 3 0は、 多様なセンサ装置を備え得る。 一例として、 センサ装 置 3 0は、 カメラ、 サーモセンサ、 及び湿度センサを備え得る。 なお、 セン サ装置 3 0が備えるセンサ装置は、 かかる例に限定されず、 他の任意のセン \¥02020/175199 10 卩（：171?2020/005905
サ装置を備えてもよい。
[0040] カメラは、
Figure imgf000012_0001
巳カメラ等のレンズ系、 駆動系、 及び撮像素子を有し、 画 像 （静止画像又は動画像） を撮像する撮像装置である。 例えば、 カメラは、 ユーザと触覚提示装置 1 〇との接触状態を示す撮像画像を撮像する。 そのた め、 カメラは、 ユーザと触覚提示装置 1 〇との接触状態を撮像可能な位置に 設けられることが望ましい。 かかる構成により、 センサ装置 3 0は、 ユーザ と触覚提示装置 1 〇との接触状態を示す撮像画像を接触情報として取得する ことができる。
[0041 ] サーモセンサは、 温度をセンシングする装置である。 サーモセンサは、 多 様な温度をセンシングし得る。 例えば、 サーモセンサは、 ユーザが存在する 空間の温度をセンシングする。 また、 サーモセンサは、 ユーザの体温をセン シングする。 また、 サーモセンサは、 ユーザが接触している物体 （例えば触 覚提示装置 1 〇） の温度をセンシングする。 かかる構成により、 センサ装置 3 0は、 ユーザが存在する空間の温度を環境情報、 ユーザの体温を非接触情 報、 及びユーザ接触している物体の温度を接触情報として取得することがで きる。
[0042] 湿度センサは、 湿度をセンシングする装置である。 湿度センサは、 多様な 湿度をセンシングし得る。 例えば、 湿度センサは、 ユーザが存在する空間の 湿度をセンシングする。 また、 湿度センサは、 ユーザの体面の湿度をセンシ ングする。 また、 湿度センサは、 ユーザと物体 （例えば触覚提示装置 1 〇） との接触位置の湿度をセンシングする。 かかる構成により、 センサ装置 3 0 は、 ユーザが存在する空間の湿度を環境情報、 ユーザの体面の湿度を非接触 情報、 及びユーザと物体との接触位置の湿度を接触情報として取得すること ができる。
[0043] （4） 表示装置 4 0
表示装置 4 0は、 触覚提示装置 1 0の触覚提示処理に関する画像を表示す る機能を有する。 例えば、 触覚提示物が画像である場合、 表示装置 4 0は、 当該画像を表示する。 \¥02020/175199 11 卩（：171?2020/005905
[0044] 表示装置 40は、 ネッ トワーク 50を介して触覚提示装置 1 0と接続され ており、 触覚提示装置 1 〇と情報の送受信を行える。 例えば、 表示装置 40 は、 ネッ トワーク 50を介して、 触覚提示物の画像を触覚提示装置 1 0から 受信して表示する。
[0045] 表示装置 40は、 多様な装置により実現され得る。 例えば、 表示装置 40 は、 パーソナルコンビユータ (PC) 、 スマートフォン、 タブレッ ト端末、 ウェアラブル端末、 又はエージェントデバイス等の表示部を備える端末装置 により実現される。
[0046] なお、 表示装置 40は、 ディスプレイ装置により実現されてもよい。 ディ スプレイ装置の一例として、 CRTディスプレイ装置、 液晶ディスプレイ装 置、 プラズマディスプレイ装置、 E Lディスプレイ装置等が挙げられる。 ま た、 表示装置 40は、 レーザープロジェクタ、 L E Dプロジェクタ等により 実現されてもよい。
[0047] (5) ネッ トワーク 50
ネッ トワーク 50は、 触覚提示装置 1 0とサーバ 20、 及び触覚提示装置 1 0とセンサ装置 30を接続する機能を有する。 ネッ トワーク 50は、 イン 夕ーネッ ト、 電話回線網、 衛星通信網などの公衆回線網や、 E t h e r n e t (登録商標) を含む各種の LAN (L o c a l A r e a N e t wo r k) 、 WAN (W i d e A r e a N e t wo r k) などを含んでもよい 〇 また、 ネッ トワーク 50は、 I P-V P N ( I n t e r n e t P r o t o c o l — V i r t u a l P r i v a t e N e t wo r k) などの専用 回線網を含んでもよい。 また、 ネッ トワーク 50は、 W i -F i (登録商標 ) 、 B l u e t o o t h (登録商標) など無線通信網を含んでもよい。
[0048] <2-2. 機能構成 >
続いて、 本開示の実施形態に係る触覚提示装置 1 〇の機能構成について説 明する。 図 2に示すように、 本実施形態に係る触覚提示装置 1 0は、 通信部 1 1 0、 センサ部 1 20、 制御部 1 40、 記憶部 1 50、 及び触覚提示部 1 60を備える。 \¥02020/175199 12 卩（：171?2020/005905
[0049] ( 1 ) 通信部 1 1 0
通信部 1 1 〇は、 外部装置と通信を行う機能を有する。 通信部 1 1 〇は、 例えば、 外部装置との通信において、 外部装置から受信する情報を制御部 1 4 0へ出力する。 具体的に、 通信部 1 1 0は、 ネッ トワーク 5 0を介したサ —バ 2 0との通信において、 サーバ 2 0から第 1の触覚情報を受信し、 制御 部 1 4 0へ出力する。
[0050] 通信部 1 1 0は、 例えば、 外部装置との通信において、 制御部 1 4 0から 入力される情報を外部装置へ送信する。 具体的に、 通信部 1 1 〇は、 第 1の 触覚情報の取得時に制御部 1 4 0の取得部 1 4 2から入力される、 第 1の触 覚情報の取得対象となる触覚提示物を示す情報をサーバ 2 0へ送信する。
[0051 ] ( 2 ) センサ部 1 2 0
センサ部 1 2 0は、 制御部 1 4 0における処理に用いられる情報をセンシ ングする機能を有する。 例えば、 センサ部 1 2 0は、 ユーザに関するセンシ ング情報をセンシングする。 センシング後、 センサ部 1 2 0は、 センシング 情報を制御部 1 4 0へ出力する。
[0052] センサ部 1 2 0は、 多様なセンサ装置を備え得る。 一例として、 センサ部
1 2 0は、 タッチパネル、 感圧センサ、 加速度センサ、 ジャイロセンサ、 及 び近接センサを備え得る。 なお、 センサ部 1 2 0が備えるセンサ装置は、 か かる例に限定されず、 他の任意のセンサ装置を備えてもよい。 一例として、 センサ部 1 2 0は、 センサ装置 3 0が備え得るセンサ装置として上述された カメラ、 サーモセンサ、 及び湿度センサを備えてもよい。
[0053] タッチパネルは、 接触状態をセンシングする装置である。 例えば、 タッチ パネルは、 対象と接触したか否かを検出する。 一例として、 タッチパネルは 、 ユーザと触覚提示部 1 6 0が接触したか否かを検出する。 また、 タッチパ ネルは、 また、 タッチパネルは、 対象がタッチパネルと接触している際の速 度をセンシングする。 一例として、 タッチパネルは、 ユーザが触覚提示部 1 6 0を触れている際に、 ユーザが接触部位を移動している速度をセンシング する。 かかる構成により、 センサ部 1 2 0は、 ユーザと触覚提示部 1 6 0と \¥02020/175199 13 卩（：171?2020/005905
接触したか否かを示す情報及び接触部位の移動速度を接触情報として取得す ることができる。
[0054] 感圧センサは、 圧力をセンシングする装置である。 例えば、 感圧センサは 、 対象と接触した際に感圧センサにかけられている圧力をセンシングする。 一例として、 感圧センサは、 ユーザと触覚提示部 1 6 0が接触した際に、 接 触部位にかけられている圧力をセンシングする。 また、 感圧センサは、 対象 と接触した際に対象と接触している面積をセンシングする。 一例として、 感 圧センサは、 ユーザと触覚提示部 1 6 0が接触した際に、 接触部位の面積を センシングする。 かかる構成により、 センサ部 1 2 0は、 ユーザと触覚提示 部 1 6 0が接触した際に接触部位にかかる圧力及び接触部位の面積を接触情 報として取得することができる。
[0055] 加速度センサは、 加速度をセンシングする装置である。 例えば、 加速度セ ンサは、 対象が移動した際の速度の変化量である加速度をセンシングする。 一例として、 加速度センサは、 ユーザが触覚提示部 1 6 0と接触している接 触部位を移動した際の加速度をセンシングする。 かかる構成により、 センサ 部 1 2 0は、 ユーザが接触部位を移動した際の加速度を接触情報として取得 することができる。
[0056] ジャイロセンサは、 角速度をセンシングする装置である。 例えば、 ジャイ ロセンサは、 対象の姿勢の変化量である角速度をセンシングする。 一例とし て、 触覚提示装置 1 〇がユーザにより把持されて操作される装置として実現 される場合、 ジャイロセンサは、 ユーザが触覚提示装置 1 0の姿勢を変化さ せた際の角速度をセンシングする。 かかる構成により、 センサ部 1 2 0は、 ユーザが触覚提示装置 1 〇の姿勢を変化させた際の角速度を接触情報として 取得することができる。
[0057] 近接センサは、 近接する物体を検出する装置である。 近接センサは、 多様 な装置により実現されてもよい。 一例として、 近接センサは、 前方に位置す る物体までの距離情報をセンシングするデブスカメラにより実現されてもよ い。 かかる構成によりセンサ部 1 2 0は、 触覚提示部 1 6 0との接触が想定 \¥02020/175199 14 卩（：17 2020/005905
されるユーザの接触部位までの距離を非接触情報として取得することができ る。
[0058] （3） 制御部 1 4 0
制御部 1 4 0は、 触覚提示装置 1 0全体の動作を制御する機能を有する情 報処理装置である。 当該機能を実現するために、 制御部 1 4 0は、 図 2に示 すように、 取得部 1 4 2、 データ処理部 1 4 4、 及び触覚提示制御部 1 4 6 を有する。
[0059] （3 - 1 . 取得部 1 4 2）
取得部 1 4 2は、 センシング情報を取得する機能を有する。 例えば、 取得 部 1 4 2は、 ユーザに関するセンシング情報と第 1の触覚情報とを取得する 。 センシング情報の取得時、 取得部 1 4 2は、 複数の取得先からセンシング 情報を取得し得る。 例えば、 取得部 1 4 2は、 センサ部 1 2 0から、 センサ 部 1 2 0がセンシングした情報をセンシング情報として取得する。 また、 取 得部 1 4 2は、 通信部 1 1 0を介してセンサ装置 3 0から、 センサ装置 3 0 がセンシングした情報をセンシング情報として取得してもよい。 なお、 取得 咅6 1 4 2は、 センサ部 1 2 0とセンサ装置 3 0のいずれか一方からセンシン グ情報を取得してもよいし、 センサ部 1 2 0とセンサ装置 3 0の両方からセ ンシング情報を取得してもよい。
[0060] センシング情報の取得後、 取得部 1 4 2は、 取得したセンシング情報をデ —夕処理部 1 4 4へ出力する。 かかる構成により、 取得部 1 4 2は、 センサ 部 1 2 0とセンサ装置 3 0の両方から取得したセンシング情報をデータ処理 部 1 4 4へ出力することができる。 なお、 取得部 1 4 2は、 取得したセンシ ング情報を記憶部 1 5 0へ出力することで、 取得したセンシング情報を記憶 咅6 1 5 0に記憶させてもよい。
[0061 ] 第 1の触覚情報の取得時、 取得部 1 4 2は、 ネッ トワーク 5 0を介して、 サーバ 2 0 （触覚情報サーバ） から第 1の触覚情報を取得する。 第 1の触覚 情報の取得後、 取得部 1 4 2は、 取得した第 1の触覚情報をデータ処理部 1 4 4へ出力する。 なお、 取得部 1 4 2は、 取得した第 1の触覚情報を記憶部 \¥02020/175199 15 卩（：171?2020/005905
1 5 0へ出力することで、 取得した第 1の触覚情報を記憶部 1 5 0に記憶さ せてもよい。
[0062] なお、 第 1の触覚情報が記憶部 1 5 0に保持されている場合、 取得部 1 4
2は、 記憶部 1 5 0から第 1の触覚情報を取得してもよい。 かかる構成によ り、 取得部 1 4 2は、 ネッ トワーク 5 0を介してサーバ 2 0から第 1の触覚 情報を取得する場合と比較し、 制御部 1 4 0における処理効率を向上するこ とができる。
[0063] （3 - 2 . データ処理部 1 4 4）
データ処理部 1 4 4は、 第 2の触覚情報の生成処理を行う機能を有する。 例えば、 データ処理部 1 4 4は、 触覚提示部 1 6 0がユーザに対して触覚刺 激を提示する際に使用する第 2の触覚情報を、 センシング情報に基づいて第 1の触覚情報から生成する。 具体的に、 データ処理部 1 4 4は、 取得部 1 4 2から入力されるセンシング情報に基づき、 同じく取得部 1 4 2から入力さ れる第 1の触覚情報に含まれる触覚刺激値を変更することで、 第 2の触覚情 報を生成する。 そして、 データ処理部 1 4 4は、 生成した第 2の触覚情報を 触覚提示部 1 6 0にマッビングする。 以下、 データ処理部 1 4 4が行う処理 について、 順次詳細に説明する。
[0064] （3 - 2 - 1 . 触覚情報の構成）
まず、 図 4を参照して、 本開示の実施形態に係る触覚情報の構成例につい て説明する。 図 4は、 本開示の実施形態に係る触覚情報の構成例を示す図で ある。 なお、 以下で説明する触覚情報の構成は、 第 1の触覚情報と第 2の触 覚情報に共通する構成である。 図 4に示すように、 触覚情報は、 ヘッダー部 とデータ部により構成される。
[0065] ヘッダー部には、 触覚情報に関する情報が格納され得る。 触覚情報に関す る情報は、 例えば、 触覚情報のデータサイズ、 所定の領域に関する情報、 グ 口ーバルに適用される情報等である。 図 4に示すように触覚提示物が画像 6 6である場合、 ここでいう所定の領域は、 画素ごとの領域である。 なお、 所 定の領域は、 触覚刺激値領域のことであってもよい。 また、 所定の領域に関 \¥02020/175199 16 卩（：171?2020/005905
する情報は、 例えば、 所定の領域のサイズ等である。
[0066] データ部には、 所定の領域ごとの情報が格納され得る。 図 4に示すように 、 データ部は、 所定の領域ごとの情報が格納される領域を、 少なくとも所定 の領域の数だけ有する。 所定の領域ごとの情報は、 例えば、 触覚刺激値であ る。
[0067] （3 - 2 - 2 . 第 2の触覚情報の生成）
（センシング情報に基づく生成例）
データ処理部 1 4 4は、 例えば、 センシング情報に基づき、 第 1の触覚情 報を加工することで第 2の触覚情報を生成する。
[0068] 一例として、 データ処理部 1 4 4は、 接触情報に基づいて第 1の触覚情報 を加工することで、 第 2の触覚情報を生成する。 ここで、 図 5〜図 1 6を参 照して、 接触情報に基づく第 2の触覚情報の生成について説明する。 なお、 図 7〜図 1 0に示す例では、 第 2の触覚情報の生成元となる第 1の触覚情報 に設定された触覚刺激値が 6であるとする。
[0069] _速度に基づく生成例
例えば、 データ処理部 1 4 4は、 触覚提示部 1 6 0におけるユーザとの接 触位置の変化速度に基づいて、 第 2の触覚情報を生成する。 以下、 図 5及び 図 6を参照して、 具体的に説明する。 図 5及び図 6は、 本開示の実施形態に 係る速度変化に基づく第 2の触覚情報の生成例を示す図である。
[0070] 例えば、 データ処理部 1 4 4は、 接触位置の変化速度に応じて第 1の触覚 情報を加工することで、 第 2の触覚情報を生成する。 具体的に、 データ処理 部 1 4 4は、 接触位置の変化速度が速いほど単位距離当たりの触覚刺激の変 化量が小さい第 2の触覚情報を生成し、 接触位置の変化速度が遅いほど単位 距離当たりの触覚刺激の変化量が大きい第 2の触覚情報を生成する。
[0071 ] 図 5に示す例では、 予め用意された情報密度が異なる第 1の触覚情報によ り、 速度変化に応じて情報密度を切り替えることで、 単位距離当たりの触覚 刺激の変化量を変える例が示されている。 変化速度が速い場合、 データ処理 部 1 4 4は、 図 5の上部の図に示すように、 情報密度が低い第 1の触覚情報 \¥02020/175199 17 卩（：171?2020/005905
に切り替えることで、 単位距離当たりの触覚刺激の変化量が小さい第 2の触 覚情報を生成している。 一方、 変化速度が遅い場合、 データ処理部 1 4 4は 、 図 5の下部の図に示すように、 情報密度が高い第 1の触覚情報に切り替え ることで、 短距離当たりの触覚刺激の変化量が大きい第 2の触覚情報を生成 している。
[0072] 図 6に示す例では、 第 1の触覚情報をフィルタにかけることで触覚刺激値 を加工することで、 単位距離当たりの触覚刺激の変化量を変える例が示され ている。 変化速度が速い場合、 データ処理部 1 4 4は、 図 6の上部の図に示 すように、 隣り合う触覚刺激値領域の触覚刺激値の差分を小さくすることで 、 単位距離当たりの触覚刺激の変化量が小さい第 2の触覚情報を生成してい る。 一方、 変化速度が遅い場合、 データ処理部 1 4 4は、 図 6の下部の図に 示すように、 隣り合う触覚刺激値領域の触覚刺激値の差分を大きくすること で、 単位距離当たりの触覚刺激の変化量が大きい第 2の触覚情報を生成して いる。
[0073] _圧力に基づく生成例
また、 データ処理部 1 4 4は、 触覚提示部 1 6 0とユーザとの圧力に基づ いて、 第 2の触覚情報を生成する。 以下、 図 7及び図 8を参照して、 具体的 に説明する。 図 7及び図 8は、 本開示の実施形態に係る圧力に基づく第 2の 触覚情報の生成例を示す図である。
[0074] 図 7に示す例では、 ユーザが触覚提示部 1 6 0に接触した際に触覚提示部
1 6 0にかかる圧力 （接触圧力） の強弱に応じた反力がユーザに提示される 例が示されている。 圧力が弱い場合、 データ処理部 1 4 4は、 図 7の左図に 示すように、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対して提示される反力が弱くなるように第 2の触覚情報を生成して いる。 一方、 圧力が強い場合、 データ処理部 1 4 4は、 図 7の右図に示すよ うに、 第 1の触覚情報の触覚刺激値を、 6から 8へ加工することで、 ユーザ に対して提示される反力が強くなるように第 2の触覚情報を生成している。
[0075] 図 8に示す例では、 ユーザが触覚提示部 1 6 0に接触した際に触覚提示部 \¥02020/175199 18 卩（：171?2020/005905
1 6 0にかかる圧力 （接触圧力） の強弱に応じた摩擦力がユーザに提示され る例が示されている。 圧力が弱い場合、 データ処理部 1 4 4は、 図 8の左図 に示すように、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで 、 ユーザに対して提示される摩擦力が弱くなるように第 2の触覚情報を生成 している。 一方、 圧力が強い場合、 データ処理部 1 4 4は、 図 8の右図に示 すように、 第 1の触覚情報の触覚刺激値を、 6から 8へ加工することで、 ユ —ザに対して提示される摩擦力が強くなるように第 2の触覚情報を生成して いる。
[0076] 一接触面積に基づく生成例
また、 データ処理部 1 4 4は、 触覚提示部 1 6 0とユーザとの接触面積に 基づいて、 第 2の触覚情報を生成する。 以下、 図 9を参照して、 具体的に説 明する。 図 9は、 本開示の実施形態に係る接触面積に基づく第 2の触覚情報 の生成例を示す図である。
[0077] 図 9に示す例では、 ユーザが触覚提示部 1 6 0に接触した際の接触面積の 大きさに応じた温度がユーザに提示される例が示されている。 接触面積が小 さい場合、 データ処理部 1 4 4は、 図 9の左図に示すように、 第 1の触覚情 報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対して提示される 温度が低くなるように第 2の触覚情報を生成している。 一方、 接触面積が大 きい場合、 データ処理部 1 4 4は、 図 9の右図に示すように、 第 1の触覚情 報の触覚刺激値を、 6から 8へ加工することで、 ユーザに対して提示される 温度が高くなるように第 2の触覚情報を生成している。
[0078] 一環境情報に基づく生成例
また、 データ処理部 1 4 4は、 環境情報にさらに基づいて第 2の触覚情報 を生成してもよい。 以下、 図 1 〇を参照して、 具体的に説明する。 図 1 0は 、 本開示の実施形態に係る湿度に基づく第 2の触覚情報の生成例を示す図で ある。
[0079] _湿度に基づく生成例
図 1 0に示す例では、 ユーザが触覚提示部 1 6 0に接触した際の湿度に応 \¥02020/175199 19 卩（：171?2020/005905
じた周波数の接触音がユーザに提示される例が示されている。 湿度が低い場 合、 データ処理部 1 4 4は、 図 1 0の左図に示すように、 第 1の触覚情報の 触覚刺激値を、 6から 8へ加工することで、 ユーザに対して提示される接触 音に含まれる高周波成分が多くなるように第 2の触覚情報を生成している。 一方、 湿度が高い場合、 データ処理部 1 4 4は、 図 1 0の右図に示すように 、 第 1の触覚情報の触覚刺激値を、 6から 4へ加工することで、 ユーザに対 して提示される接触音に含まれる高周波成分が少なくなるように第 2の触覚 情報を生成している。
[0080] （触覚提示部 1 6 0の大きさに基づく生成例）
また、 サイズ及び情報密度が異なる複数の第 1の触覚情報が複数存在する 場合、 データ処理部 1 4 4は、 複数の第 1の触覚情報のうち、 触覚提示部 1 6 0の大きさに応じた情報密度を有する第 1の触覚情報に基づいて、 第 2の 触覚情報を生成してもよい。 以下、 図 1 1 を参照して、 具体的に説明する。 図 1 1は、 本開示の実施形態に係る、 触覚提示部 1 6 0の大きさに基づく第 2の触覚情報の生成例を示す図である。
[0081 ] 図 1 0の上段の左図に示すように、 触覚提示部 1 6〇 8のサイズが小であ る場合、 データ処理部 1 4 4は、 図 1 0の上段の右図に示す第 1の触覚情報 7 2 3に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2 3 は、 サイズが触覚提示部 1 6 0 3のサイズと同一であり、 かつ情報密度が低 いため、 触覚提示部 1 6 0 3のサイズに適した第 2の触覚情報が生成される
[0082] 図 1 0の中段の左図に示すように、 触覚提示部 1 6 0 13のサイズが中であ る場合、 データ処理部 1 4 4は、 図 1 0の中段の右図に示す第 1の触覚情報 7 2匕に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2匕 は、 サイズが触覚提示部 1 6 0匕のサイズと同一であり、 かつ情報密度が中 程度であるため、 触覚提示部 1 6 0匕のサイズに適した第 2の触覚情報が生 成される。
[0083] 図 1 0の下段の左図に示すように、 触覚提示部 1 6 0〇のサイズが大であ \¥02020/175199 20 卩（：171?2020/005905
る場合、 データ処理部 1 4 4は、 図 1 0の下段の図に示す第 1の触覚情報 7 2〇に基づき、 第 2の触覚情報を生成するとよい。 第 1の触覚情報 7 2〇は 、 サイズが触覚提示部 1 6 0〇のサイズと同一であり、 かつ情報密度が高い ため、 触覚提示部 1 6 0〇のサイズに適した第 2の触覚情報が生成される。
[0084] かかる構成により、 ユーザは、 触覚提示部 1 6 0のサイズに影響されるこ となく、 適切な触覚を感じることができる。
[0085] （拡縮率に基づく生成例）
また、 データ処理部 1 4 4は、 触覚提示部 1 6 0にマッピングされる触覚 提示物の拡縮率に応じて第 2の触覚情報を生成してもよい。 拡縮率とは、 画 像の拡大率または縮小率のことである。 例えば、 表示装置 4 0に表示された 触覚提示物の画像が拡大された際の倍率は拡大率である。 また、 表示装置 4 0に表示された触覚提示物の画像が縮小された際の倍率は、 縮小率である。 以下、 図 1 2〜図 1 4を参照して、 具体的に説明する。 図 1 2〜図 1 4は、 本開示の実施形態に係る拡縮率に基づく第 2の触覚情報の生成例を示す図で ある。
[0086] 図 1 2に示す例には、 拡縮率に応じて情報密度が異なる複数の第 1の触覚 情報が存在する場合、 データ処理部 1 4 4は、 複数の第 1の触覚情報のうち 、 拡縮率に応じた情報密度を有する第 1の触覚情報に基づいて、 第 2の触覚 情報を生成する例が示されている。 例えば、 図 1 2の上部の図に示すように 、 触覚提示部 1 6 0にマッピングされている触覚提示物を示す画像が、 表示 装置 4 0に表示されている状態で拡大されたとする。 この場合、 データ処理 部 1 4 4は、 図 1 2の下部の図に示すように、 拡大前の第 1の触覚情報 7 2 よりも高い情報密度の第 1の触覚情報を用いて、 第 2の触覚情報 7 4を生成 する。
[0087] 図 1 3及び図 1 4に示す例には、 複数の第 1の触覚情報が存在しない場合 、 データ処理部 1 4 4は、 拡縮率に応じて、 触覚提示部 1 6 0にマッピング された触覚提示物と対応する第 1の触覚情報を加工し、 第 2の触覚情報を生 成する例が示されている。 \¥02020/175199 21 卩（：171?2020/005905
[0088] 図 1 3に示す例では、 例えば、 データ処理部 1 4 4は、 触覚提示物を示す 画像が拡大される場合に、 第 1の触覚情報における所定の領域ごとの触覚刺 激値を所定の領域単位で繰り返す。 具体的に、 図 1 3の上部の図に示すよう に、 触覚提示部 1 6 0にマッピングされている触覚提示物を示す画像が、 表 示装置 4 0に表示されている状態で拡大されたとする。 この場合、 データ処 理部 1 4 4は、 図 1 3の下部の図に示すように、 拡大前の第 1の触覚情報 7 2における拡大対象領域内の各々の触覚刺激値領域を、 縦 2マス、 横 2マス ずつ繰り返すことで、 拡大前の第 1のよりも高い情報密度の第 2の触覚情報 7 4を生成する。
[0089] 図 1 4に示す例では、 例えば、 データ処理部 1 4 4は、 触覚提示物を示す 画像が拡大される場合に、 第 1の触覚情報における複数の所定の領域に現れ る触覚刺激値のパターンを複数の所定の領域単位で繰り返す。 具体的に、 図 1 4の上部の図に示すように、 触覚提示部 1 6 0にマッピングされている触 覚提示物を示す画像が、 表示装置 4 0に表示されている状態で拡大されたと する。 この場合、 データ処理部 1 4 4は、 図 1 4の下部の図に示すように、 拡大前の第 1の触覚情報 7 2における縦 4マス、 横 4マスの拡大対象領域を 、 縦に 2つ、 横に 2つ繰り返すことで、 拡大前の第 1のよりも高い情報密度 の第 2の触覚情報 7 4を生成する。
[0090] なお、 表示装置 4 0に表示された触覚提示物の画像が拡大または縮小され た際に、 拡大または縮小後の画像のサイズが所定の範囲内であったとする。 この場合、 データ処理部 1 4 4は、 触覚提示物の実物サイズと対応する第 1 の触覚情報に基づき、 第 2の触覚情報を生成する。
[0091 ] また、 拡大または縮小後の画像のサイズが所定の範囲外、 かつ触覚提示物 の実物サイズより大きいとする。 さらに、 拡大または縮小後のサイズに応じ た情報密度の第 1の触覚情報が存在する場合、 データ処理部 1 4 4は、 当該 第 1の触覚情報に基づき、 第 2の触覚情報を生成してもよい。 一方、 拡大ま たは縮小後のサイズに応じた情報密度の第 1の触覚情報が存在しない場合、 データ処理部 1 4 4は、 実物サイズの第 1の触覚情報の所定の領域のパター \¥02020/175199 22 卩（：171?2020/005905
ンを繰り返すことで、 第 2の触覚情報を生成してもよい。 なお、 実物サイズ よりも小さいサイズの第 1の触覚情報が存在する場合、 データ処理部 1 4 4 は、 小さいサイズの第 1の触覚情報の所定の領域のバターンを繰り返すこと で、 第 2の触覚情報を生成してもよい。
[0092] また、 拡大または縮小後の画像のサイズが所定の範囲外、 かつ触覚提示物 の実物サイズより小さいとする。 さらに、 拡大または縮小後のサイズに応じ た情報密度の第 1の触覚情報が存在する場合、 データ処理部 1 4 4は、 当該 第 1の触覚情報に基づき、 第 2の触覚情報を生成してもよい。 一方、 拡大ま たは縮小後のサイズに応じた情報密度の第 1の触覚情報が存在しない場合、 データ処理部 1 4 4は、 実物サイズの第 1の触覚情報を縮小することで、 第 2の触覚情報を生成してもよい。
[0093] （3 - 2 - 3 . 第 2の触覚情報のマッピング）
次に、 図 1 5を参照して、 本開示の実施形態に係る第 2の触覚情報のマッ ビングについて説明する。 図 1 5は、 本開示の実施形態に係る第 2の触覚情 報のマッピング例を示す図である。 なお、 図 1 5では、 説明の便宜上、 第 2 の触覚情報で示されるところが、 第 2の触覚情報と対応付けられる触覚提示 物 6 2により示されている。
[0094] データ処理部 1 4 4は、 生成した第 2の触覚情報を触覚提示部 1 6 0にマ ッビングする。 例えば、 データ処理部 1 4 4は、 第 2の触覚情報を、 触覚提 示物の実物大サイズのまま、 触覚提示部 1 6 0にマッピングする。
[0095] 一例として、 図 1 5の上段の図に示すように、 実物大サイズの触覚提示物
6 2 （第 2の触覚情報） よりも小さいサイズの触覚提示部 1 6〇 3に対して 、 実物大サイズのまま触覚提示物 6 2がマッピングされると、 触覚提示物 6 2は触覚提示部 1 6 0 3からはみ出る。 よって、 第 2の触覚情報も触覚提示 咅6 1 6 0 3からはみ出た状態でマッビングされる。
[0096] また、 図 1 5の中段の図に示すように、 実物大サイズの触覚提示物 6 2 （ 第 2の触覚情報） と同一のサイズの触覚提示部 1 6 0匕に対して、 実物大サ イズのまま触覚提示物 6 2がマッビングされると、 触覚提示物 6 2は触覚提 \¥02020/175199 23 卩（：171?2020/005905
示部 1 6 0 13の中にちょうど入る。 よって、 第 2の触覚情報も触覚提示部 1 6 0匕にちょうど入るようにマツビングされる。
[0097] また、 図 1 5の下段の図に示すように、 実物大サイズの触覚提示物 6 2 （ 第 2の触覚情報） よりも大きいサイズの触覚提示部 1 6 0〇に対して、 実物 大サイズのまま触覚提示物 6 2がマッビングされると、 触覚提示物 6 2は触 覚提示部 1 6 0〇の中に余裕をもって入る。 よって、 第 2の触覚情報も触覚 提示部 1 6 0〇に余裕をもって入るようにマッビングされる。
[0098] （3 - 2 - 4 . 第 2の触覚情報のスケーリング）
次に、 図 1 6を参照して、 本開示の実施形態に係る第 2の触覚情報のスケ —リングについて説明する。 図 1 6は、 本開示の実施形態に係る第 2の触覚 情報のスケーリング例を示す図である。 説明の便宜上、 第 2の触覚情報で示 されるところが、 第 2の触覚情報と対応付けられる触覚提示物 6 2により示 されている。
[0099] 第 2の触覚情報を触覚提示部 1 6 0にマッピングした際に、 第 2の触覚情 報が適切なサイズでマッピングされなかった場合、 データ処理部 1 4 4は、 第 2の触覚情報を拡大または縮小することで適切なサイズにスケーリングし た上でマツビングしてもよい。
[0100] 例えば、 図 1 6の上段の図に示すように、 実物大サイズの触覚提示物 6 2 （第 1の触覚情報） が触覚提示部 1 6 0 3からはみ出た状態でマッビングさ れたとする。 この場合、 データ処理部 1 4 4は、 触覚提示物 6 2 3のように 、 触覚提示部 1 6 0 3にちょうど入るように、 触覚提示物 6 2のサイズを縮 小する。 この時、 第 2の触覚情報は、 情報密度は一定のままサイズが縮小さ れ得る。 縮小後の第 2の触覚情報の情報密度は、 触覚提示部 1 6 0 3のサイ ズには高く適切でない。 当該第 2の触覚情報では、 ユーザに対して適切な触 覚刺激が提示されない恐れがある。
[0101 ] また、 図 1 6の下段の図に示すように、 実物大サイズの触覚提示物 6 2 （ 第 1の触覚情報） が触覚提示部 1 6 0〇に余裕をもった状態でマッピングさ れたとする。 この場合、 データ処理部 1 4 4は、 触覚提示物 6 2〇のように \¥02020/175199 24 卩（：171?2020/005905
、 触覚提示部 1 6〇〇にちょうど入るように、 触覚提示物 6 2のサイズを拡 大する。 この時、 第 2の触覚情報は、 情報密度が一定のままサイズが拡大さ れる。 拡大後の第 2の触覚情報の情報密度は、 触覚提示部 1 6 0〇のサイズ に対して低く適切でない。 そのため、 第 2の触覚情報では、 ユーザに対して 適切な触覚刺激が提示されない恐れがある。
[0102] そこで、 データ処理部 1 4 4は、 スケーリング時の拡縮率に応じた情報密 度となるように、 第 2の触覚情報を再生成してもよい。 かかる構成により、 データ処理部 1 4 4は、 触覚提示物 6 2のスケーリング時、 スケーリング後 の触覚提示物 6 2のサイズに適した情報密度の第 2の触覚情報を、 触覚提示 部 1 6 0にマッピングすることができる。
[0103] （3 - 3 . 触覚提示制御部 1 4 6）
触覚提示制御部 1 4 6は、 触覚提示部 1 6 0の動作を制御する機能を有す る。 例えば、 触覚提示制御部 1 4 6は、 ユーザが触覚提示部 1 6 0に触れた 位置にマッピングされた第 2の触覚情報に基づき、 触覚提示部 1 6 0が提示 するための提示信号を生成する。 具体的に、 触覚提示制御部 1 4 6は、 ユー ザが触覚提示部 1 6 0に触れた位置にマッビングされた第 2の触覚情報から 触覚刺激値を読み出し、 当該触覚刺激を変換することで提示信号を生成する 。 そして、 触覚提示制御部 1 4 6は、 生成した提示信号を触覚提示部 1 6 0 へ出力する。
[0104] （4） 記憶部 1 5 0
記憶部 1 5 0は、 触覚提示装置 1 0における処理に関する情報を記憶する 機能を有する。 当該機能を実現するために、 記憶部 1 5 0は、 図 3に示すよ うに、 触覚情報記憶部 1 5 2、 センシング情報記憶部 1 5 4、 及び触覚提示 部情報記憶部 1 5 6を有する。
[0105] （4 - 1 . 触覚情報記憶部 1 5 2）
触覚情報記憶部 1 5 2は、 触覚情報を記憶する記憶部である。 例えば、 触 覚情報記憶部 1 5 2は、 取得部 1 4 2が通信部 1 1 0及びネッ トワーク 5 0 を介してサーバ 2 0から取得した第 1の触覚情報を記憶する。 \¥02020/175199 25 卩（：171?2020/005905
[0106] （4 - 2 . センシング情報記憶部 1 5 4）
センシング情報記憶部 1 5 4は、 センシング情報を記憶する記憶部である 。 例えば、 センシング情報記憶部 1 5 4は、 取得部 1 4 2が通信部 1 1 0を 介してセンサ装置 3 0から取得したセンシング情報、 及び取得部 1 4 2がセ ンサ部 1 2 0から取得したセンシング情報を記憶する。
[0107] （4 - 3 . 触覚提示部情報記憶部 1 5 6）
触覚提示部情報記憶部 1 5 6は、 触覚提示部情報を記憶する記憶部である 。 例えば、 触覚提示部情報記憶部 1 5 6は、 予め用意された触覚提示部情報 を記憶する。 触覚提示部情報は、 例えば、 反発係数、 摩擦係数等の触覚提示 部 1 6 0に固有の情報である。
[0108] なお、 記憶部 1 5 0が記憶する情報は、 かかる例に限定されない。 例えば 、 記憶部 1 5 0は、 各種アプリケーション等のプログラムを記憶してもよい
[0109] （5） 触覚提示部 1 6 0
触覚提示部 1 6 0は、 ユーザに対して触覚刺激を提示する機能を有する。 例えば、 触覚提示部 1 6 0は、 ユーザに対して、 制御部 1 4 0から入力され る提示信号に応じた触覚刺激を提示する。
[01 10] 触覚提示部 1 6 0によるユーザに対する触覚刺激の提示は多様な手段によ り実現され得る。 一例として、 触覚提示部 1 6 0による触覚刺激の提示は、 電気刺激、 ペルチェ素子、 モータ、 空気圧、 振動子、 スピーカ、 及びディス プレイ等により実現され得る。
[01 1 1 ] 触覚提示部 1 6 0は、 例えば、 提示信号に応じた強度の電気刺激を、 触覚 刺激としてユーザに対して提示する。 かかる構成により、 ユーザは、 触覚提 示部 1 6 0を介して、 触覚提示物の表面の凹凸を触覚として感じることがで きる。
[01 12] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてペルチェ素子により調整 した熱を、 触覚刺激としてユーザに対して提示する。 かかる構成により、 ユ —ザは、 触覚提示部 1 6 0を介して、 触覚提示物の表面の温度を触覚として \¥02020/175199 26 卩（：171?2020/005905
感じることができる。
[01 13] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてモータにより触覚提示部
1 6 0を移動させることで生じる反力を、 触覚刺激としてユーザに対して提 示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触覚提 示物の表面のテクスチャ感を触覚として感じることができる。
[01 14] 触覚提示部 1 6 0は、 例えば、 提示信号に応じて空気圧により触覚提示部
1 6 0を任意の周波数で振動させることで生じる振動を、 触覚刺激としてユ —ザに対して提示する。 また、 触覚提示部 1 6 0は、 提示信号に応じて空気 圧により触覚提示部 1 6 0を移動させることで生じる反力を、 触覚刺激とし てユーザに対して提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触覚提示物の表面のテクスチャ感を触覚として感じることがで きる。
[01 15] 触覚提示部 1 6 0は、 例えば、 提示信号に応じて振動子により触覚提示部
1 6 0を任意の周波数で振動させることで生じる振動を、 触覚刺激としてユ —ザに対して提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を 介して、 触覚提示物の表面のテクスチャ感を触覚として感じることができる 。 また、 触覚提示部 1 6 0は、 提示信号に応じて振動子により質量の移動パ ターンを変化させることで運動方向の変化を、 触覚刺激としてユーザに対し て提示する。 かかる構成により、 ユーザは、 触覚提示部 1 6 0を介して、 触 覚提示物の重さの変化を触覚として感じることができる。
[01 16] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてスピーカにより特定の周 波数の音声を、 触覚刺激としてユーザに対して提示する。 かかる構成により 、 ユーザは、 触覚提示部 1 6 0を介して、 湿度の変化を触覚として感じるこ とができる。 例えば、 ユーザは、 2 0 0 0 1~1 å程度の高さの周波数の音声が 出力すされると、 湿度が低く、 乾燥していると感じることができる。 また、 ユーザは、 周波数の高さが抑えられた音声が出力されると、 湿度が高く、 湿 つていると感じることができる。
[01 17] 触覚提示部 1 6 0は、 例えば、 提示信号に応じてディスプレイによりビジ \¥02020/175199 27 卩（：171?2020/005905
ュアルフィードバックを、 触覚刺激としてユーザに対して提示する。 かかる 構成により、 ユーザは、 触覚提示部 1 60を介して、 疑似的な触覚 （ 36 リ〇1〇 1~13 1： I 〇 3） を感じることができる。
[0118] «3. 処理例》
以上、 本実施形態に係る構成例について説明した。 続いて、 本実施形態に 係る処理例について説明する。
[0119] <3- 1. 触覚情報を切り替えない場合の処理の流れ >
図 1 7は、 本開示の実施形態に係る触覚情報を切り替えずに加工する場合 の処理の流れを示すフローチヤートである。
[0120] まず、 触覚提示装置 1 0の制御部 1 40は、 触覚提示部 1 60の固有情報 を記憶部 1 50から取得する （31 02） 。 次いで、 制御部 1 40は、 ユー ザにより選択された触覚提示物を検出する （31 04） 。 次いで、 制御部 1 40は、 選択された触覚提示物に応じた第 1の触覚情報を、 通信部 1 1 0を 介してサーバ 20から取得し （31 06） 、 取得した第 1の触覚情報を記憶 部 1 50に記憶する （31 08） 。 次いで、 制御部 1 40は、 センサ部 1 2 0からセンシング情報を取得する （31 1 0） 。
[0121] センシング情報の取得後、 制御部 1 40は、 生成処理により、 第 2の触覚 情報を生成する （31 1 2） 。 生成処理後、 制御部 1 40は、 生成した第 2 の触覚情報に基づき、 提示信号を生成する （31 1 4） 。 そして、 制御部 1 40は、 提示信号に基づき、 触覚提示部 1 60に触覚刺激を提示させる （3 1 1 6） 。
[0122] 触覚刺激の提示後、 ユーザにより別の触覚提示物が選択された場合 （31
1 8/丫巳3） 、 制御部 1 40は、 31 06からの処理を繰り返す。 一方、 ユーザにより別の触覚提示物が選択されていない場合 （31 1 8/1\1〇） 、 制御部 1 40は、 31 1 0からの処理を繰り返す。
[0123] <3-2. 触覚情報を切り替える場合の処理の流れ >
図 1 8は、 本開示の実施形態に係る触覚情報を切り替えてから加工する場 合の処理の流れを示すフローチヤートである。 \¥02020/175199 28 卩（：171?2020/005905
[0124] まず、 触覚提示装置 1 0の制御部 1 40は、 触覚提示部 1 60の固有情報 を記憶部 1 50から取得する （3202） 。 次いで、 制御部 1 40は、 ユー ザにより選択された触覚提示物を検出する （3204） 。 次いで、 制御部 1 40は、 選択された触覚提示物に応じた第 1の触覚情報を、 通信部 1 1 0を 介してサーバ 20から取得し （3206） 、 取得した第 1の触覚情報を記憶 部 1 50に記憶する （3208） 。 次いで、 制御部 1 40は、 センサ部 1 2 0からセンシング情報を取得する （32 1 0） 。
[0125] センシング情報の取得後、 制御部 1 40は、 センシング情報に応じて、 第
1の触覚情報を切り替える （32 1 2） 。 第 1の触覚情報の切り替え後、 制 御部 1 40は、 生成処理により、 第 2の触覚情報を生成する （32 1 4） 。 生成処理後、 制御部 1 40は、 生成した第 2の触覚情報に基づき、 提示信号 を生成する （32 1 6） 。 そして、 制御部 1 40は、 提示信号に基づき、 触 覚提示部 1 60に触覚刺激を提示させる （32 1 8） 。
[0126] 触覚刺激の提示後、 ユーザにより別の触覚提示物が選択された場合 （32
20/丫巳3） 、 制御部 1 40は、 3206からの処理を繰り返す。 一方、 ユーザにより別の触覚提示物が選択されていない場合 （3220/1\1〇） 、 制御部 1 40は、 32 1 0からの処理を繰り返す。
[0127] «4. 具体例》
以上、 本実施形態に係る構成例について説明した。 続いて、 本実施形態に係 る処理例について説明する。
[0128] <4_ 1. 第 1の具体例 >
図 1 9は、 本開示の実施形態の第 1の具体例における触覚刺激の具体的な 提示例を示す図である。 図 1 9では、 本開示の実施形態に係る触覚提示シス テム 1 000がネッ トシヨッビングに適用された例が示されている。
[0129] 例えば、 図 1 9に示す例では、 表示装置 40にネッ トシヨッビング用の商 品画像が表示され、 当該商品画像と対応する触覚情報は触覚提示装置 1 〇に マッピングされているとする。 この時、 ユーザは、 触覚提示装置 1 0に触れ ることで、 表示装置 40に表示された商品に実際に触れた際の触覚と対応す \¥02020/175199 29 卩（：171?2020/005905
る触覚刺激を受けることがきる。
[0130] < 4 - 2 . 第 2の具体例 >
図 2 0は、 本開示の実施形態の第 2の具体例における触覚刺激の具体的な 提示例を示す図である。 図 2 0では、 実施形態に係る触覚提示システム 1 0 0 0が拡張現実 （八[¾ : 八リ 9〇1 6门 1 6〇1
Figure imgf000031_0001
I ソ） シヨッピン グに適用された例が示されている。
[0131 ] 例えば、 図 2 0に示す例では、 例えば、 触覚提示装置 1 0に対して、 画像 等の仮想的なコンテンツである仮想オブジェクトが重畳表示されたとする。 仮想オブジェクトの一例として、 商品画像が挙げられる。 当該商品画像と対 応する触覚情報は触覚提示装置 1 0にマッピングされているとする。 この時 、 ユーザは、 当該商品の画像が重畳表示された触覚提示装置 1 0に触れるこ とで、 重畳表示された商品に実際に触れた際の触覚と対応する触覚刺激を受 けることができる。
[0132] « 5 . 変形例》
以下では、 本開示の実施形態の変形例を説明する。 なお、 以下に説明する 変形例は、 単独で本開示の実施形態に適用されてもよいし、 組み合わせで本 開示の実施形態に適用されてもよい。 また、 変形例は、 本開示の実施形態で 説明した構成に代えて適用されてもよいし、 本開示の実施形態で説明した構 成に対して追加的に適用されてもよい。
[0133] < 5 _ 1 . 第 1の変形例 >
図 2 1は、 本開示の実施形態の第 1の変形例における触覚刺激の提示例を 示す図である。 上述の実施形態では、 ユーザが触覚提示装置 1 0に対して直 接触れることで触覚刺激を提示する例について説明した。 触覚提示装置 1 0 は、 例えば、 任意の物体の内部に搭載され、 ユーザが間接的に触れた際に、 ユーザに対して触覚刺激を提示してもよい。
[0134] 例えば、 図 2 1 に示すように、 ソファ 9 1の座部 9 2の内部に、 触覚提示 装置 1 〇が搭載されたとする。 当該触覚提示装置 1 〇は、 例えば、 ペルチェ 素子により熱に関する触覚刺激をユーザに対して提示可能であるとする。 こ \¥02020/175199 30 卩（：171?2020/005905
の時、 ユーザは、 ソファ 9 1の座部 9 2に腰掛けることで、 触覚提示装置 1 〇から熱を触覚刺激として提示される。
[0135] < 5 - 2 . 第 2の変形例 >
図 2 2は、 本開示の実施形態の第 2の変形例における触覚刺激の提示例を 示す図である。 データ処理部 1 4 4は、 センシング情報に含まれる、 ユーザ により保持される触覚提示装置の姿勢を示す情報にさらに基づいて、 第 2の 触覚情報を生成してもよい。 例えば、 データ処理部 1 4 4は、
Figure imgf000032_0001
ゲーム等 において、 触覚提示装置 1 0の姿勢に応じて、 触覚提示装置 1 0と対応づけ られて表示されている仮想オブジェクトに関する触覚刺激の大きさを変化さ せる。
[0136] 図 2 2の左図に示すように、 ユーザが触覚提示装置 1 0を傾けずに保持し ている際に、 仮想オブジェクトが表示されているとする。 この状態から、 ユ —ザが図 2 2の右図に示すように触覚提示装置 1 0を傾けると、 仮想オブジ ェクトも傾いて表示される。 この時、 触覚提示装置 1 0の姿勢が変化したこ とを示す姿勢情報がセンシング情報として取得された場合、 データ処理部 1 4 4は、 姿勢情報に基づき、 第 2の触覚情報を生成する。 例えば、 データ処 理部 1 4 4は、 姿勢の傾きに応じて、 質量変化振動子の質量移動パターンを 変化させることで、 傾きに応じて重さフイードバックを変化させてもよい。
[0137] < 5 - 3 . 第 3の変形例 >
図 2 3は、 本開示の実施形態の第 3の変形例における触覚刺激の提示例を 示す図である。 データ処理部 1 4 4は、 センシング情報に含まれる、 空間に 配置された仮想オブジェクトに対するユーザの位置及び姿勢を示す情報にさ らに基づいて、 第 2の触覚情報を生成してもよい。 例えば、 データ処理部 1 4 4は、 八 ゲーム等において、 エネルギーの放出方向に対する触覚提示装 置 1 0の姿勢に応じて、 触覚刺激の大きさを変動させる。
[0138] 図 2 3の左図に示すように、 触覚提示装置 1 0の法線方向と、 モンスター
9 5による攻撃 9 6の放射方向が平行であり、 ユーザがモンスター 9 5の攻 撃を真正面から受けたとする。 一方、 図 2 3の右図に示すように、 触覚提示 \¥02020/175199 31 卩（：171?2020/005905
装置 1 〇の法線方向と、 モンスター 95による攻撃 96の放射方向が平行で はなく、 ユーザがモンスター 95の攻撃を真正面以外から受けたとする。 こ の時、 データ処理部 1 44は、 図 23の左図に示すように真正面から攻撃を 受けた際にユーザに対して提示される触覚刺激を、 図 23の右図の場合にユ —ザに対して提示される触覚刺激よりも強く してもよい。
[0139] «6. ハードウェア構成例》
最後に、 図 24を参照しながら、 本実施形態に係る情報処理装置のハード ウェア構成例について説明する。 図 24は、 本実施形態に係る情報処理装置 のハードウェア構成例を示すブロック図である。 なお、 図 24に示す情報処 理装置 900は、 例えば、 図 2に示した触覚提示装置 1 0を実現し得る。 本 実施形態に係る触覚提示装置 1 〇による情報処理は、 ソフトウヱアと、 以下 に説明するハードウェアとの協働により実現される。
[0140] 図 24に示すように、 情報処理装置 900は、 C P U (Ce n t r a l
P r o c e s s i n g U n i t ) 901、 ROM (R e a d O n l y Me mo r y) 902、 及び RAM (R a n d om Ac c e s s Me m 〇 r y) 903を備える。 また、 情報処理装置 900は、 ホストバス 904 、 ブリッジ 905、 外部バス 906、 インタフエース 907、 入力装置 90 8、 出力装置 909、 ストレージ装置 9 1 0、 ドライブ 9 1 1、 接続ポート 9 1 2、 及び通信装置 9 1 3を備える。 なお、 ここで示すハードウェア構成 は一例であり、 構成要素の一部が省略されてもよい。 また、 ハードウェア構 成は、 ここで示される構成要素以外の構成要素をさらに含んでもよい。
[0141] C P U 901は、 例えば、 演算処理装置又は制御装置として機能し、 R〇 M902、 RAM903、 又はストレージ装置 9 1 0に記録された各種プロ グラムに基づいて各構成要素の動作全般又はその一部を制御する。 R0M9 02は、 C P U 901 に読み込まれるプログラムや演算に用いるデータ等を 格納する手段である。 RAM903には、 例えば、 C P U 901 に読み込ま れるプログラムや、 そのプログラムを実行する際に適宜変化する各種パラメ —夕等が一時的又は永続的に格納される。 これらは C P Uバスなどから構成 \¥02020/175199 32 卩（：171?2020/005905
されるホストバス 904により相互に接続されている。 〇 11901、 ［¾〇 1\/1902、 及び［¾八1\/1903は、 例えば、 ソフトウェアとの協働により、 図 3を参照して説明した制御部 1 40の機能を実現し得る。
［0142］ 〇 11901、 ［¾〇1\/1902、 及び［¾八1\/1903は、 例えば、 高速なデー 夕伝送が可能なホストバス 904を介して相互に接続される。 一方、 ホスト バス 904は、 例えば、 ブリッジ 905を介して比較的データ伝送速度が低 速な外部バス 906に接続される。 また、 外部バス 906は、 インタフェー ス 907を介して種々の構成要素と接続される。
［0143］ 入力装置 908は、 例えば、 マウス、 キーボード、 タッチパネル、 ボタン 、 マイクロフォン、 スイッチ及びレバー等、 ユーザによって情報が入力され る装置によって実現される。 また、 入力装置 908は、 例えば、 赤外線やそ の他の電波を利用したリモートコントロール装置であってもよいし、 情報処 理装置 900の操作に対応した携帯電話や？口 等の外部接続機器であって もよい。 さらに、 入力装置 908は、 例えば、 上記の入力手段を用いてユー ザにより入力された情報に基づいて入力信号を生成し、 〇 1） 901 に出力 する入力制御回路などを含んでいてもよい。 情報処理装置 900のユーザは 、 この入力装置 908を操作することにより、 情報処理装置 900に対して 各種のデータを入力したり処理動作を指示したりすることができる。
［0144］ 他にも、 入力装置 908は、 ユーザに関する情報を検知する装置により形 成され得る。 例えば、 入力装置 908は、 画像センサ （例えば、 カメラ） 、 深度センサ （例えば、 ステレオカメラ） 、 加速度センサ、 ジャイロセンサ、 地磁気センサ、 光センサ、 音センサ、 測距センサ （例えば、 丁〇 （7 \ ^ 6 〇 干 丨 丨 9 1：） センサ） 、 カセンサ等の各種のセンサを含み得る 。 また、 入力装置 908は、 情報処理装置 900の姿勢、 移動速度等、 情報 処理装置 900自身の状態に関する情報や、 情報処理装置 900の周辺の明 るさや騒音等、 情報処理装置 900の周辺環境に関する情報を取得してもよ い。 また、 入力装置 908は、 〇 33 （0 \ o b a \
Figure imgf000034_0001
I
011 331 6 1 I I I 6 3 V 3 I 6111） 衛星からの◦ 33信号 （例え \¥02020/175199 33 卩（：171?2020/005905
ば、 G PS （G l o b a l P o s i t i o n i n g S y s t e m） 衛星 からの G PS信号） を受信して装置の緯度、 経度及び高度を含む位置情報を 測定する G N S Sモジュールを含んでもよい。 また、 位置情報に関しては、 入力装置 908は、 W i -F i （登録商標） 、 携帯電話 P H S スマート フォン等との送受信、 または近距離通信等により位置を検知するものであっ てもよい。 入力装置 908は、 例えば、 図 3を参照して説明したセンサ部 1 20の機能を実現し得る。
[0145] 出力装置 909は、 取得した情報をユーザに対して視覚的又は聴覚的に通 知することが可能な装置で形成される。 このような装置として、 CRTディ スプレイ装置、 液晶ディスプレイ装置、 プラズマディスプレイ装置、 E Lデ ィスプレイ装置、 レーザープロジェクタ、 L E Dプロジェクタ及びランプ等 の表示装置や、 スピーカ及びヘッ ドフォン等の音声出力装置や、 プリンタ装 置等がある。 出力装置 909は、 例えば、 情報処理装置 900が行った各種 処理により得られた結果を出力する。 具体的には、 表示装置は、 情報処理装 置 900が行った各種処理により得られた結果を、 テキスト、 イメージ、 表 、 グラフ等、 様々な形式で視覚的に表示する。 他方、 音声出力装置は、 再生 された音声データや音響データ等からなるオーディオ信号をアナログ信号に 変換して聴覚的に出力する。 出力装置 909は、 例えば、 図 3を参照して説 明した触覚提示部 1 60の機能を実現し得る。
[0146] ストレージ装置 9 1 0は、 情報処理装置 900の記憶部の一例として形成 されたデータ格納用の装置である。 ストレージ装置 9 1 0は、 例えば、 H D D等の磁気記憶部デバイス、 半導体記憶デバイス、 光記憶デバイス又は光磁 気記憶デバイス等により実現される。 ストレージ装置 9 1 0は、 記憶媒体、 記憶媒体にデータを記録する記録装置、 記憶媒体からデータを読み出す読出 し装置および記憶媒体に記録されたデータを削除する削除装置などを含んで もよい。 このストレージ装置 9 1 0は、 C P U 901が実行するプログラム や各種データ及び外部から取得した各種のデータ等を格納する。 ストレージ 装置 9 1 0は、 例えば、 図 3を参照して説明した記憶部 1 50の機能を実現 \¥02020/175199 34 卩（：171?2020/005905
し得る。
[0147] ドライブ 9 1 1 は、 記憶媒体用リーダライタであり、 情報処理装置 900 に内蔵、 あるいは外付けされる。 ドライブ 9 1 1 は、 装着されている磁気デ ィスク、 光ディスク、 光磁気ディスク、 または半導体メモリ等のリムーバブ ル記憶媒体に記録されている情報を読み出して、 R AM903に出力する。 また、 ドライブ 9 1 1 は、 リムーバブル記憶媒体に情報を書き込むこともで きる。
[0148] 接続ポート 9 1 2は、 例えば、 U S B (U n i v e r s a l S e r i a
I B u s) ポート、 I E E E 1 394ポート、 SCS I (S m a l l C o m p u t e r S y s t e m I n t e r f a c e) 、 R S— 232 Cポ —卜、 又は光オーディオ端子等のような外部接続機器を接続するためのポー 卜である。
[0149] 通信装置 9 1 3は、 例えば、 ネッ トワーク 920に接続するための通信デ バイス等で形成された通信インタフェースである。 通信装置 9 1 3は、 例え ば、 有線若しくは無線 L A N (L o c a l A r e a N e t wo r k) 、 L T E (L o n g i. e r m E v o l u t i o n) 、 B l u e t o o t h (登録商標) 又は WU S B (W i r e l e s s U S B) 用の通信力ード等 である。 また、 通信装置 9 1 3は、 光通信用のルータ、 A D S L (A s y m m e t r i c D i g i t a l S u b s c r i b e r L i n e) 用のル —夕又は各種通信用のモデム等であってもよい。 この通信装置 9 1 3は、 例 えば、 インターネッ トや他の通信機器との間で、 例えば TC P/ I P等の所 定のプロ トコルに則して信号等を送受信することができる。 通信装置 9 1 3 は、 例えば、 図 3を参照して説明した通信部 1 1 0の機能を実現し得る。
[0150] なお、 ネッ トワーク 920は、 ネッ トワーク 920に接続されている装置 から送信される情報の有線、 または無線の伝送路である。 例えば、 ネッ トワ —ク 920は、 インターネッ ト、 電話回線網、 衛星通信網などの公衆回線網 や、 E t h e r n e t (登録商標) を含む各種の L A N (L o c a l A r e a N e t wo r k) 、 WA N (W i d e A r e a N e t wo r k) などを含んでもよい。 また、 ネッ トワーク 920は、 丨 P— V P N ( I n t e r n e t P r o t o c o l — V i r t u a l P r i v a t e N e t wo r k) などの専用回線網を含んでもよい。 ネッ トワーク 920は、 例え ば、 図 3を参照して説明したネッ トワーク 50の機能を実現し得る。
[0151] 以上、 本実施形態に係る情報処理装置 900の機能を実現可能なハードウ エア構成の一例を示した。 上記の各構成要素は、 汎用的な部材を用いて実現 されていてもよいし、 各構成要素の機能に特化したハードウエアにより実現 されていてもよい。 従って、 本実施形態を実施する時々の技術レベルに応じ て、 適宜、 利用するハードウエア構成を変更することが可能である。
[0152] «7. まとめ»
以上説明したように、 本開示の実施形態に係る情報処理装置は、 ユーザに 関するセンシング情報と触覚提示物に固有の第 1の触覚情報とを取得する。 情報処理装置は、 触覚提示装置がユーザに対して触覚刺激を提示する際に使 用する第 2の触覚情報を、 取得したセンシング情報に基づいて第 1の触覚情 報から生成する。
[0153] かかる構成により、 情報処理装置は、 触覚提示物に固有の触覚情報から、 ユーザに関するセンシング情報に応じた触覚情報を生成することができる。
[0154] よって、 より現実感のある触覚刺激を提示することが可能な、 新規かつ改 良された情報処理装置、 情報処理方法、 及びプログラムを提供することが可 能である。
[0155] 以上、 添付図面を参照しながら本開示の好適な実施形態について詳細に説 明したが、 本開示の技術的範囲はかかる例に限定されない。 本開示の技術分 野における通常の知識を有する者であれば、 請求の範囲に記載された技術的 思想の範疇内において、 各種の変更例または修正例に想到し得ることは明ら かであり、 これらについても、 当然に本開示の技術的範囲に属するものと了 解される。
[0156] 例えば、 本明細書において説明した各装置は、 単独の装置として実現され てもよく、 一部または全部が別々の装置として実現されても良い。 例えば、 \¥02020/175199 36 卩（：171?2020/005905
図 3に示した触覚提示装置 1 0が備える制御部 1 4 0が単独の装置として実 現されてもよい。 例えば、 制御部 1 4 0は、 サーバ装置等の独立した装置と して実現され、 ネッ トワーク等を介して触覚提示装置 1 〇と接続されてもよ い。
[0157] また、 本明細書において説明した各装置による一連の処理は、 ソフトウェ ア、 ハードウェア、 及びソフトウェアとハードウェアとの組合せのいずれを 用いて実現されてもよい。 ソフトウェアを構成するプログラムは、 例えば、 各装置の内部又は外部に設けられる記録媒体 (非一時的な媒体 〇
Figure imgf000038_0001
Figure imgf000038_0002
に予め格納される。 そして、 各プログラ ムは、 例えば、 コンピュータによる実行時に [¾八1\/1に読み込まれ、 〇 リな どのプロセッサにより実行される。
[0158] また、 本明細書においてフローチヤートを用いて説明した処理は、 必ずし も図示された順序で実行されなくてもよい。 いくつかの処理ステップは、 並 列的に実行されてもよい。 また、 追加的な処理ステップが採用されてもよく 、 一部の処理ステップが省略されてもよい。
[0159] また、 本明細書に記載された効果は、 あくまで説明的または例示的なもの であって限定的ではない。 つまり、 本開示に係る技術は、 上記の効果ととも に、 または上記の効果に代えて、 本明細書の記載から当業者には明らかな他 の効果を奏しうる。
[0160] なお、 以下のような構成も本開示の技術的範囲に属する。
( 1 )
ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情報とを 取得する取得部と、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 するデータ処理部と、
を備える、 情報処理装置。
(2) \¥02020/175199 37 卩(：171?2020/005905
前記センシング情報は、 前記ユーザと前記触覚提示装置との接触状態を示 す接触情報を含み、
前記データ処理部は、 前記接触情報にさらに基づいて前記第 2の触覚情報 を生成する、 前記 （1） に記載の情報処理装置。
（3）
前記データ処理部は、 前記触覚提示装置における前記ユーザとの接触位置 の変化速度に基づいて、 前記第 2の触覚情報を生成する、 前記 （2） に記載 の情報処理装置。
( 4 )
前記データ処理部は、 前記接触位置の変化速度に応じて前記第 1の触覚情 報を加工することで、 前記第 2の触覚情報を生成する、 前記 （3） に記載の 情報処理装置。
( 5 )
前記データ処理部は、 前記接触位置の変化速度が速いほど単位距離当たり の触覚刺激の変化量が小さい前記第 2の触覚情報を生成し、 前記接触位置の 変化速度が遅いほど単位距離当たりの触覚刺激の変化量が大きい前記第 2の 触覚情報を生成する、 前記 （4） に記載の情報処理装置。
(6)
前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触圧力に基づ いて、 前記第 2の触覚情報を生成する、 前記 （2） 〜 （5） のいずれか一項 に記載の情報処理装置。
( 7 )
前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触面積に基づ いて、 前記第 2の触覚情報を生成する、 前記 （2） 〜 （6） のいずれか一項 に記載の情報処理装置。
(8)
前記センシング情報は、 前記ユーザの周辺環境に関する環境情報を含み、 前記データ処理部は、 前記環境情報にさらに基づいて前記第 2の触覚情報 \¥02020/175199 38 卩（：171?2020/005905
を生成する、 前記 （1） 〜 （7） のいずれか一項に記載の情報処理装置。
（9）
前記データ処理部は、 前記センシング情報に含まれる、 前記ユーザにより 保持される前記触覚提示装置の姿勢を示す情報にさらに基づいて、 前記第 2 の触覚情報を生成する、 前記 （1） 〜 （8） のいずれか一項に記載の情報処 理装置。
（1 0）
前記データ処理部は、 前記センシング情報に含まれる、 空間に配置された 仮想オブジェクトに対する前記ユーザの位置及び姿勢を示す情報にさらに基 づいて、 前記第 2の触覚情報を生成する、 前記 （1） 〜 （9） のいずれか一 項に記載の情報処理装置。
（1 1）
前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記触覚提示装 置の大きさに応じた情報密度を有する前記第 1の触覚情報に基づいて、 前記 第 2の触覚情報を生成する、 前記 （1） 〜 （1 0） のいずれか一項に記載の 情報処理装置。
（1 2）
前記データ処理部は、 前記触覚提示装置にマッビングされる前記触覚提示 物の拡縮率に応じて前記第 2の触覚情報を生成する、 前記 （1） 〜 （1 1） のいずれか一項に記載の情報処理装置。
（1 3）
前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記拡縮率に応 じた情報密度を有する前記第 1の触覚情報に基づいて、 前記第 2の触覚情報 を生成する、 前記 （1 2） に記載の情報処理装置。
（1 4）
前記データ処理部は、 前記拡縮率に応じて前記第 1の触覚情報を加工する ことで、 前記第 2の触覚情報を生成する、 前記 （1 2） に記載の情報処理装 置。 \¥02020/175199 39 卩（：171?2020/005905
（1 5）
前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの触覚刺 激値を示す情報を含み、
前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合に、 前 記第 1の触覚情報における前記所定の領域ごとの触覚刺激値を所定の領域単 位で繰り返す、 前記 （1 4） に記載の情報処理装置。
（1 6）
前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの触覚刺 激値を示す情報を含み、
前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合に、 前 記第 1の触覚情報における複数の所定の領域に現れる触覚刺激値のパターン を複数の所定の領域単位で繰り返す、 前記 （1 4） に記載の情報処理装置。
（1 7）
センサ装置を有するセンサ部をさらに備え、
前記取得部は、 前記センサ部がセンシングした情報を前記センシング情報 として取得する、 前記 （1） 〜 （1 6） のいずれか一項に記載の情報処理装 置。
（1 8）
通信部をさらに備え、
前記取得部は、 前記通信部を介して、 外部のセンサ装置がセンシングした 情報を前記センシング情報として取得する、 前記 （1） 〜 （1 7） のいずれ か一項に記載の情報処理装置。
（1 9）
ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情報とを 取得することと、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 することと、 \¥02020/175199 40 卩（：171?2020/005905
を含む、 プロセッサにより実行される情報処理方法。
(20)
コンピュータを、
ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情報とを 取得する取得部と、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用する第 2 の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚情報から生成 するデータ処理部と、
として機能させるための、 プログラム。
符号の説明
[0161] 1 0 触覚提示装置
20 サーバ
30 センサ装置
40 表 装置
50 ネッ トワーク
1 1 0 通信部
1 20 センサ部
1 40 制御部
1 50 記憶部
1 60 触覚提示部

Claims

\¥02020/175199 41 卩（：171?2020/005905 請求の範囲
[請求項 1 ] ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得する取得部と、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成するデータ処理部と、
を備える、 情報処理装置。
[請求項 2] 前記センシング情報は、 前記ユーザと前記触覚提示装置との接触状 態を示す接触情報を含み、
前記データ処理部は、 前記接触情報にさらに基づいて前記第 2の触 覚情報を生成する、 請求項 1 に記載の情報処理装置。
[請求項 3] 前記データ処理部は、 前記触覚提示装置における前記ユーザとの接 触位置の変化速度に基づいて、 前記第 2の触覚情報を生成する、 請求 項 2に記載の情報処理装置。
[請求項 4] 前記データ処理部は、 前記接触位置の変化速度に応じて前記第 1の 触覚情報を加工することで、 前記第 2の触覚情報を生成する、 請求項 3に記載の情報処理装置。
[請求項 5] 前記データ処理部は、 前記接触位置の変化速度が速いほど単位距離 当たりの触覚刺激の変化量が小さい前記第 2の触覚情報を生成し、 前 記接触位置の変化速度が遅いほど単位距離当たりの触覚刺激の変化量 が大きい前記第 2の触覚情報を生成する、 請求項 4に記載の情報処理 装置。
[請求項 6] 前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触圧力 に基づいて、 前記第 2の触覚情報を生成する、 請求項 2に記載の情報 処理装置。
[請求項 7] 前記データ処理部は、 前記触覚提示装置と前記ユーザとの接触面積 に基づいて、 前記第 2の触覚情報を生成する、 請求項 2に記載の情報 処理装置。 \¥02020/175199 42 卩（：171?2020/005905
[請求項 8] 前記センシング情報は、 前記ユーザの周辺環境に関する環境情報を 含み、
前記データ処理部は、 前記環境情報にさらに基づいて前記第 2の触 覚情報を生成する、 請求項 1 に記載の情報処理装置。
[請求項 9] 前記データ処理部は、 前記センシング情報に含まれる、 前記ユーザ により保持される前記触覚提示装置の姿勢を示す情報にさらに基づい て、 前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理装置
[請求項 10] 前記データ処理部は、 前記センシング情報に含まれる、 空間に配置 された仮想オブジェクトに対する前記ユーザの位置及び姿勢を示す情 報にさらに基づいて、 前記第 2の触覚情報を生成する、 請求項 1 に記 載の情報処理装置。
[請求項 1 1 ] 前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記触覚 提示装置の大きさに応じた情報密度を有する前記第 1の触覚情報に基 づいて、 前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理 装置。
[請求項 12] 前記データ処理部は、 前記触覚提示装置にマッビングされる前記触 覚提示物の拡縮率に応じて前記第 2の触覚情報を生成する、 請求項 1 に記載の情報処理装置。
[請求項 13] 前記データ処理部は、 複数の前記第 1の触覚情報のうち、 前記拡縮 率に応じた情報密度を有する前記第 1の触覚情報に基づいて、 前記第 2の触覚情報を生成する、 請求項 1 2に記載の情報処理装置。
[請求項 14] 前記データ処理部は、 前記拡縮率に応じて前記第 1の触覚情報を加 エすることで、 前記第 2の触覚情報を生成する、 請求項 1 2に記載の 情報処理装置。
[請求項 15] 前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの 触覚刺激値を示す情報を含み、
前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 \¥02020/175199 43 卩（：171?2020/005905
に、 前記第 1の触覚情報における前記所定の領域ごとの触覚刺激値を 所定の領域単位で繰り返す、 請求項 1 4に記載の情報処理装置。
[請求項 16] 前記第 1の触覚情報及び前記第 2の触覚情報は、 所定の領域ごとの 触覚刺激値を示す情報を含み、
前記データ処理部は、 前記触覚提示物を示す画像が拡大される場合 に、 前記第 1の触覚情報における複数の所定の領域に現れる触覚刺激 値のパターンを複数の所定の領域単位で繰り返す、 請求項 1 4に記載 の情報処理装置。
[請求項 17] センサ装置を有するセンサ部をさらに備え、
前記取得部は、 前記センサ部がセンシングした情報を前記センシン グ情報として取得する、 請求項 1 に記載の情報処理装置。
[請求項 18] 通信部をさらに備え、
前記取得部は、 前記通信部を介して、 外部のセンサ装置がセンシン グした情報を前記センシング情報として取得する、 請求項 1 に記載の 情報処理装置。
[請求項 19] ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得することと、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成することと、
を含む、 プロセッサにより実行される情報処理方法。
[請求項 20] コンピュータを、
ユーザに関するセンシング情報と触覚提示物に固有の第 1の触覚情 報とを取得する取得部と、
触覚提示装置が前記ユーザに対して触覚刺激を提示する際に使用す る第 2の触覚情報を、 前記センシング情報に基づいて前記第 1の触覚 情報から生成するデータ処理部と、
として機能させるための、 プログラム。
PCT/JP2020/005905 2019-02-26 2020-02-14 情報処理装置、情報処理方法、及びプログラム WO2020175199A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/432,346 US20220171518A1 (en) 2019-02-26 2020-02-14 Information processing device, information processing method, and program
DE112020000958.0T DE112020000958T5 (de) 2019-02-26 2020-02-14 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
JP2021501958A JP7452525B2 (ja) 2019-02-26 2020-02-14 情報処理装置、情報処理方法、及びプログラム
US18/371,692 US20240012516A1 (en) 2019-02-26 2023-09-22 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032930 2019-02-26
JP2019-032930 2019-02-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/432,346 A-371-Of-International US20220171518A1 (en) 2019-02-26 2020-02-14 Information processing device, information processing method, and program
US18/371,692 Division US20240012516A1 (en) 2019-02-26 2023-09-22 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2020175199A1 true WO2020175199A1 (ja) 2020-09-03

Family

ID=72239823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005905 WO2020175199A1 (ja) 2019-02-26 2020-02-14 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (2) US20220171518A1 (ja)
JP (1) JP7452525B2 (ja)
DE (1) DE112020000958T5 (ja)
WO (1) WO2020175199A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
WO2011027535A1 (ja) * 2009-09-03 2011-03-10 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
JP2016110383A (ja) * 2014-12-05 2016-06-20 コニカミノルタ株式会社 触覚伝達装置
JP2016192229A (ja) * 2011-05-13 2016-11-10 クアルコム，インコーポレイテッド モバイルデバイスの触覚出力表面にユーザへの情報を提示するためのデバイスおよび方法
WO2018042799A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US10078384B2 (en) * 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
US9827904B2 (en) 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
JP2017182495A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
DK179657B1 (en) * 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10275083B2 (en) * 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
WO2011027535A1 (ja) * 2009-09-03 2011-03-10 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
JP2016192229A (ja) * 2011-05-13 2016-11-10 クアルコム，インコーポレイテッド モバイルデバイスの触覚出力表面にユーザへの情報を提示するためのデバイスおよび方法
JP2016110383A (ja) * 2014-12-05 2016-06-20 コニカミノルタ株式会社 触覚伝達装置
WO2018042799A1 (ja) * 2016-08-29 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASASHI KONYO: "A Display Method of Artificial Tactile Sensation Using Amplitude Modulation of Ultrasonic Vibration", THE 24TH ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN, 2006 *

Also Published As

Publication number Publication date
JPWO2020175199A1 (ja) 2020-09-03
US20240012516A1 (en) 2024-01-11
US20220171518A1 (en) 2022-06-02
JP7452525B2 (ja) 2024-03-19
DE112020000958T5 (de) 2021-12-09

Similar Documents

Publication Publication Date Title
US10720189B2 (en) Haptic effect generation for space-dependent content
CN109499061B (zh) 游戏场景画面的调整方法、装置、移动终端和存储介质
US9052794B2 (en) Device for displaying movement based on user input and rendering images accordingly
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021104321A1 (zh) 图像显示方法及电子设备
JP5971632B2 (ja) 電子機器および合成画像の編集方法
JPWO2015121969A1 (ja) 触感提供装置、及び、システム
KR20190028280A (ko) 비 오디오 데이터를 이용한 헤드폰 상에서의 햅틱 렌더링
KR102684302B1 (ko) 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치
US20180011538A1 (en) Multimodal haptic effects
US20210110596A1 (en) Information processing device, information processing method, and program
WO2019120059A1 (zh) 图像显示方法和移动终端
JP2015049536A (ja) 端末装置、表示方法、プログラム、および表示システム
WO2020175199A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024031282A1 (zh) 滑动验证方法、图像生成方法、装置、设备和存储介质
CN112717409B (zh) 虚拟车辆控制方法、装置、计算机设备及存储介质
JP6484914B2 (ja) 情報処理機器および操作システム
WO2019044100A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6868788B2 (ja) 出力制御装置、出力制御方法、およびプログラム
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2002140697A (ja) コミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法およびプログラム
JP6528695B2 (ja) 電子機器、およびプログラム
JP2018036974A (ja) 情報処理システム
JP3645847B2 (ja) 画像処理装置及びコンピュータプログラム
WO2020100543A1 (ja) 情報処理システム、触覚提示装置、触覚提示方法、および記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763525

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501958

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20763525

Country of ref document: EP

Kind code of ref document: A1