Nothing Special   »   [go: up one dir, main page]

WO2020158536A1 - 情報処理システム、情報処理方法および情報処理装置 - Google Patents

情報処理システム、情報処理方法および情報処理装置 Download PDF

Info

Publication number
WO2020158536A1
WO2020158536A1 PCT/JP2020/002101 JP2020002101W WO2020158536A1 WO 2020158536 A1 WO2020158536 A1 WO 2020158536A1 JP 2020002101 W JP2020002101 W JP 2020002101W WO 2020158536 A1 WO2020158536 A1 WO 2020158536A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
information processing
content
content data
Prior art date
Application number
PCT/JP2020/002101
Other languages
English (en)
French (fr)
Inventor
政晴 永田
美希 時武
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080010488.XA priority Critical patent/CN113348451A/zh
Priority to JP2020569544A priority patent/JP7512900B2/ja
Priority to US17/424,726 priority patent/US20210390140A1/en
Priority to EP20747831.4A priority patent/EP3920046A4/en
Publication of WO2020158536A1 publication Critical patent/WO2020158536A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present technology relates to an information processing device, an information processing method, and an information processing system that manage, search, and reproduce content data with a tag.
  • Patent Document 1 discloses a technique of improving the searchability by a keyword by recording a keyword of a user's utterance content as a tag for each photograph.
  • Patent Document 2 discloses a technique in which a question sentence is given to a user, and a keyword is extracted from a user's answer sentence to the question sentence and used as information for searching content.
  • an object of the present technology is to reduce the burden on the user from registration of content data with tags to searching and browsing, and to provide content data that is related to the user's memories but has unexpectedness.
  • An object of the present invention is to provide an information processing system, an information processing method, and an information processing apparatus capable of presenting a new form of slide shoes.
  • the information processing system generates one or more pieces of tag information for the content data of the user from the detected information about the user and the behavior of the user, and the one or more generated pieces of tag information.
  • a first information processing unit having a first arithmetic unit for registering tag information in the content database in association with the content data, and selecting the tag information based on information detected from a content viewing environment including a user.
  • A. Retrieving one or more contents data based on the selected tag information and sequentially reproducing the contents data, and updating tag information used for searching the contents data according to a change in detection information from the contents viewing environment.
  • a second information processing unit having the arithmetic unit of.
  • the first arithmetic unit of the first information processing unit creates the tag information associated with the content data from the detected information about the user and the behavior of the user
  • a second arithmetic unit of the information processing unit selects the tag information based on the information detected from the viewing environment of the content data including the user, and searches the one or more content data based on the selected tag information. And play sequentially.
  • the second arithmetic unit of the second information processing unit updates the tag information used for searching the content data according to the change of the detected information from the viewing environment.
  • the information on the detected user and user action and the information detected from the content data viewing environment are person information recognized from a captured image including the user and emotion information estimated from the facial expression of this person. You can
  • the information about the detected user and user behavior and the information detected from the content data viewing environment may be keywords extracted from the uttered content of the user.
  • the second arithmetic unit of the second information processing unit may sequentially reproduce the one or more content data when detecting the presence of a user in the content viewing environment. At this time, one or more content data may be randomly selected and sequentially reproduced.
  • the second arithmetic unit of the second information processing unit is configured to update the tag information used for searching the content data in response to a change in a user in the content viewing environment and a change in a combination of users. May be done.
  • the second arithmetic unit of the second information processing unit may be configured to update the tag information including the personal name of the user after the change of the content viewing environment.
  • the second arithmetic unit of the second information processing unit may be configured to update the tag information used for searching the content data according to a change in the facial expression of the user in the content viewing environment.
  • the second arithmetic unit of the second information processing unit may be configured to update to tag information including emotional information estimated from the changed facial expression of the user.
  • the second arithmetic unit of the second information processing unit may also update the tag information used for searching the content data according to a change in the magnitude and speed of the movement of the user in the content viewing environment. Can be configured.
  • the second arithmetic unit of the second information processing unit is configured to update tag information used for searching the content data according to a keyword extracted from an utterance of a user in the content viewing environment. obtain.
  • the second arithmetic unit of the second information processing unit adds a new keyword extracted from the utterance of the user in the content viewing environment to the content database as new tag information for the content data being presented.
  • the second arithmetic unit of the second information processing unit receives a voice command from a user in the content viewing environment, recognizes the user, and specifies schedule information of the user and the user.
  • One or more content data associated with the information may be sequentially reproduced, the voice of the impression from the user may be converted to text data, and the text data may be stored.
  • FIG. 3 is a block diagram showing a functional configuration of an information terminal 10 and a content database generation device 100 in a content database generation environment.
  • FIG. 3 is a block diagram showing a functional configuration of content reproduction device 200.
  • FIG. 7 is a flowchart of the operation of the content reproduction device 200. It is a figure which classifies the meta-information group for every content data accumulated in content DB20 by date and time and emotion. It is a figure which shows the example of encapsulation of the content data by the tag information of date and time. It is a figure which shows the example of encapsulation of content data by the tag information of emotion.
  • FIG. 1 is a block diagram showing the configuration of the information processing system 1 of this embodiment.
  • the information processing system 1 includes a user information terminal 10, a content database generating device 100 that is a first information processing unit, a content database (content DB) 20, and a content reproducing device 200 that is a second information processing unit. And a content presentation device 30.
  • the information terminal 10 of the user and the content database generation device 100 which is the first information processing unit are in the content database generation environment.
  • the content database generation environment is a place where the user's content data such as moving images and photographs are captured.
  • the content reproduction device 200 and the content presentation device 30 are places where the user can view the content data, for example, in the user's home or in the car.
  • the content database generation device 100 and the content reproduction device 200 may be independent information processing devices or may be one information processing device. It has a CPU that is an arithmetic processing unit of an information processing apparatus, a memory, a storage device, and various interfaces. A program executed by the CPU is stored in the memory or the storage device.
  • At least one of the content database generation device 100 and the content reproduction device 200 can be realized by cloud computing. Therefore, at least one of the first information processing device and the second information processing device may be a server device for providing a service on the Internet.
  • the content database generation device 100 detects a user and the behavior of the user, generates one or more tag information related to the content data of the user from the detection result, associates the one or more tag information with the content data, and outputs the content DB 20. Register with.
  • the content reproduction device 200 Based on the tag information registered in the content DB 20, the content reproduction device 200 collectively encapsulates one or more content data items that are related to each other, and sequentially reproduces these content data items.
  • the content data is data that can be visually or auditorily presented to the user, and mainly includes at least one of image data such as moving images and still images (photographs), audio data, text data, and HTML data. ..
  • ⁇ Tag information is information related to content data, and in the present technology, it is used as a condition for searching for one or more content data to be continuously reproduced among a plurality of content data.
  • FIG. 2 is a diagram showing the relationship between content data and tag information.
  • the tag information includes a content data file name, a schedule name, a date and time, a place, a person, an action, and the like. Further, the tag information of a person includes a person's name, emotions, keywords spoken by the person, and the like.
  • the schedule name is information extracted from the schedule information related to the content data.
  • the date and time is the creation date and time of the content data, and is the shooting date and time when the content data is a moving image or a photograph, and the date and time when the voice is acquired and filed when the content data is a voice.
  • the location indicates a specific location calculated based on the schedule information related to the content data and the location information of the user.
  • the appearing person is a person related to the content data, such as a person present as a subject in the image, a person estimated by a voice analysis of the speaker of the voice data, or a person appearing in the conversation.
  • Emotion is information that is identified from its facial expression by analyzing a face image, and is classified into types such as "fun”, “delicious”, and "sad”.
  • the keyword is a keyword extracted from the voice of the person's speech.
  • the behavior is the behavior of the user when the content data is obtained, and is classified into, for example, “walking”, “moving in a car”, “stopping”, and the like.
  • a capsule is information that defines a group of one or more content data items that have some common tag information. For example, there are three photographs F1, F2, and F3 as content data, the subjects of photograph F1 are person A and person B, the subject of photograph F2 is only person A, and the subject of photograph F3 is only person B. At some time, when the person A is used as the tag information, the photograph F1 and the photograph F2 are defined as one capsule. Since one or more pieces of content data to be encapsulated in this way are determined based on the tag information, one or more pieces of content data having some relation to each other are collected to form one capsule.
  • FIG. 3 is a block diagram showing the functional configurations of the information terminal 10 and the content database generation device 100 in the content database generation environment.
  • the content database generation device 100 has an information analysis unit 110 and a tag information generation unit 120.
  • the information analysis unit 110 communicates with the information terminal 10 of the user to acquire and analyze various kinds of information for detecting the user and the behavior of the user.
  • the tag information generation unit 120 generates tag information, which is information about content data, from the solution result obtained by the information analysis unit 110, and registers the tag information in the content DB 20 in association with the content data.
  • the information terminal 10 is a means for acquiring information necessary for detecting a user and a user's action, the schedule management unit 11, the first image input unit 12, the position information acquisition unit 13, the first voice input unit 14, and the SNS. It has a receiver 15 and a web information receiver 16.
  • the schedule management unit 11 manages user schedule information.
  • the schedule information of the user includes information such as date and time, schedule name, place, and accompanying person.
  • the first image input unit 12 converts an image such as a moving image or photograph captured by using a camera into data, and adds header information such as shooting date and time to create an image file.
  • the position information acquisition unit 13 acquires the position information of the user from detection information such as GNSS (Global Navigation Satellite System), geomagnetic sensor, and acceleration sensor.
  • detection information such as GNSS (Global Navigation Satellite System), geomagnetic sensor, and acceleration sensor.
  • the first voice input unit 14 converts voice input using a microphone into data, adds header information such as date and time, and generates a voice file.
  • the SNS receiving unit 15 receives the SNS posting contents (statement, image, etc.) by the user himself or his friend.
  • the web information receiving unit 16 accesses various information sites on the Internet and receives web information such as news information, weather information, traffic congestion information and the like.
  • the information acquired by the information terminal 10 is not limited to the above.
  • data of various applications such as electronic mail and memo may be acquired and given to the content database generation device 100.
  • the information analysis unit 110 in the content database generation device 100 includes a schedule information analysis unit 111, a first image analysis unit 112, a behavior analysis unit 113, a first voice analysis unit 114, an SNS analysis unit 115, and a web information analysis unit 116. Have.
  • the schedule information analysis unit 111 analyzes schedule information managed by the schedule management unit 11 and extracts information such as date and time, schedule name, place, and accompanying person.
  • the first image analysis unit 112 recognizes a person existing as a subject in the image data input by the first image input unit 12, an object other than the person, a landscape, and the like, and expresses emotions from the facial expressions of the person. presume.
  • the first image analysis unit 112 can also perform action recognition based on the recognition result of a person, the recognition result of an object, and the like. For example, when the person XX and the coffee cup are recognized, the behavior that the person XX is drinking coffee is recognized.
  • the behavior analysis unit 113 calculates the moving speed of the user based on the position information periodically acquired by the position information acquisition unit 13 at intervals of, for example, n seconds, and based on the result, the user's behavior, such as walking. , Classified as moving or stopped by car.
  • the n seconds may be a fixed value such as 10 seconds, or may be a variable value set by the user or the like.
  • the first voice analysis unit 114 analyzes the voice data input by the first voice input unit 14, estimates the person who is the speaker included in the voice, and determines the keywords included in the utterance content. Extract.
  • the SNS analysis unit 115 analyzes the SNS post content received by the SNS reception unit 15 and extracts images, keywords, etc. included in the SNS post content.
  • the web information analysis unit 116 uses the web information reception unit 16 to obtain web information such as the date and time and place of the schedule information, news related to the user's position information, weather information, traffic congestion information, and the like.
  • the content database generation device 100 operates all day on the current day (October 1) as a target period for detecting the behavior of the user.
  • this target period for example, image analysis, behavior analysis, voice analysis, web information analysis are performed at set times, at set time intervals, or at the timing when image data and voice data are acquired by the information terminal 10. Etc. are performed, and those results are provided to the tag information generation unit 120.
  • the tag information generation unit 120 extracts the person of the speaker analyzed by the first voice analysis unit 114, the keyword extracted from the voice, and the like as the tag information. Further, the tag information generation unit 120 extracts, as tag information, the HTML file name of the web information such as news, weather information, traffic congestion information, etc. obtained by the web information analysis unit 116.
  • the tag information generation unit 120 when a user takes a picture of a family in a car, the tag information generation unit 120 generates the following tag information from the information obtained from the information analysis unit 110, and associates these tag information with the photo data.
  • Register in the content DB 20. ⁇ Photo file name: DSC00001.JPG ⁇ Schedule name: Amusement park x ⁇ Photographing date and time: 8:15 am, October 1, 2018 ⁇ Place: Near XY interchange ⁇ Person: Mama (feelings: fun) -Behavior: Moving by car
  • the file name may include a path indicating the location of the file.
  • the voice input by the first voice input unit 14 is always performed during the scheduled period, and when a utterance by a specific person is detected or when a specific keyword is detected by the first voice analysis unit 114. Alternatively, or when both of them are satisfied, the voice data input at a predetermined time before and after that may be analyzed.
  • the tag information generation unit 120 of the content database generation device 100 acquires a series of posted contents of self and a friend by the SNS receiving unit 15 of the information terminal 10, analyzes the posted contents by the SNS analysis unit 115, and photographs data. Or keyword is extracted, and the following tag information is associated with the photo data and registered in the content DB 20.
  • ⁇ Person: Daughter's friend keyword: pork saute, delicious)
  • the content reproduction apparatus 200 detects information about the content viewing environment including the user, searches for one or more content data based on the detected information, and sequentially reproduces the content data.
  • FIG. 4 is a block diagram showing the functional configuration of the content reproduction device 200.
  • the content reproduction apparatus 200 includes a second image input unit 201, a second image analysis unit 202, a second audio input unit 203, and a second audio analysis as a unit for detecting information of a content viewing environment including a user. It has a section 204. Furthermore, the content reproduction device 200 selects, for example, tag information based on the detected information, searches for one or more content data based on the selected tag information, and performs control to sequentially reproduce the content data. Have.
  • the second image input unit 201 inputs an image of the content viewing environment captured by the camera, converts it into data, and outputs it to the second image analysis unit 202.
  • the second image input unit 201 is, for example, a fixed point observation camera installed in the room.
  • the second image analysis unit 202 recognizes the person of the subject from the image data input by the second image input unit 201, estimates the emotion from the facial expression of the person, and outputs these results to the content control unit 205. Output to.
  • the second voice input unit 203 captures the voice of the content viewing environment using a microphone, converts it into data, and outputs it to the second voice analysis unit 204.
  • the second voice analysis unit 204 analyzes the voice data input by the second voice input unit 203, estimates the person who is the speaker included in the voice, and determines the keyword included in the utterance content. It extracts and gives these results to the content control unit 205.
  • the content control unit 205 determines the tag information for encapsulation based on the analysis results obtained by the second image analysis unit 202 and the second audio analysis unit 204, and the content DB 20 based on the determined tag information. Is determined to determine one or more content data to be encapsulated, and these content data are sequentially reproduced and output to the content presentation device 30.
  • the content presentation device 30 displays the content data reproduced by the content reproduction device 200 and outputs a sound.
  • the content presentation device 30 may be a television, a monitor connected to a personal computer, a projector, or the like. Alternatively, it may be a smart phone, a tablet terminal, or a digital photo frame.
  • FIG. 5 is a flowchart of the operation of the content reproduction device 200.
  • the presence of a user in a content viewing environment such as at home is detected by image analysis by the second image analysis unit 202 or by voice analysis by the second voice analysis unit 204.
  • the content control unit 205 starts to sequentially read and reproduce one or more content data from the content DB 20 and present them to the content presentation device 30 like a slide shoe (step S102).
  • the content data is not always stored only in the content DB 20.
  • the content data stored in another database may be read and reproduced.
  • the presented content data may be one or more content data encapsulated by previously determined tag information, or may be content data randomly read from the content DB 20. ..
  • the user's schedule information and copy information thereof are stored in the content DB 20
  • one or more content data encapsulated with the recently completed schedule name as tag information is read out and reproduced based on the schedule information.
  • You may.
  • one or more pieces of content data encapsulated with the scheduled name completed a predetermined number of days before (for example, one month, half a year, one year ago) as tag information may be read and reproduced.
  • the user recognized by the image analysis by the second image analysis unit 202 may be used as the tag information, and the content data included in the character by the user may be encapsulated and reproduced.
  • the tag information of the content data that the user wants to view to the content reproduction device 200 by voice or the like.
  • the tag information of the content data reproduced based on the keywords extracted from the user's utterances such as "show me a picture of amusement park x”, “show me happy memories”, “show me delicious memories”, and so on. May be decided.
  • the content control unit 205 detects an event for switching the tag information of the content data to be reproduced from the image analysis result, the audio analysis result, and the like (step S104). For example, the content control unit 205 considers that an event has occurred when the following analysis result is obtained. 1. 1. Changes in users and changes in combinations of users within the content viewing environment. 2. Change to a specific facial expression (specific emotion) of the user Changes in user behavior 4. Keywords included in the user's utterance
  • the content control unit 205 includes, as the tag information, the user after the change or the newly added user when the user in the content viewing environment changes or the combination of the users changes 1
  • the presentation is switched to the presentation of the capsule in which the above content data and the like are collected (step S105). As a result, the presentation is switched to one or more content data related to the user or the user group in the content viewing environment, and it can be expected that the place of the content viewing environment will become lively.
  • event 2 when event 2 is detected, for example, when the user's emotion changes to, for example, "fun" (face expression is smiling), the content control unit 205 determines based on the tag information of (emotion: fun). Then, the presentation is switched to the presentation of one or more contents data that have been encapsulated again (step S105). As a result, it is possible to expect further excitement of the user's enjoyment.
  • event 3 when event 3 is detected, for example, when the content control unit 205 detects a change in user behavior such as a large movement of the user or a high speed, the content control unit 205 outputs a positive message such as "Congratulations" or "Done! It switches to the presentation of one or more content data encapsulated with the tag information of the meaning keyword (step S105).
  • the content control unit 205 switches to the presentation of one or more content data in which the keyword extracted from the utterance of the user who is viewing the content is encapsulated as tag information again (step S105).
  • the content control unit 205 also adds a new keyword extracted from the utterance of the user who is viewing the content to the content DB 20 as new tag information for the content data being presented. For example, it is assumed that photo data of dishes that are successively carried at restaurants are registered in the content data as tag data together with the tag information. If the user utters “This food was delicious.” while presenting the photograph data of this dish, the content control unit 205 causes the second voice analysis unit 204 to extract a keyword, for example, “from this utterance content”. The keyword "it was delicious” is added to the content DB 20 as new tag information of the photo data. In this way, by adding new tag information to the content DB 20, the degree of enrichment of tag information in the content DB 20 is increased, and various slide shoes can be presented.
  • the content control unit 205 receives a command from a user in the content viewing environment to directly specify tag information regarding content data to be viewed, and sequentially presents one or more content data encapsulated with the tag information. .. For example, suppose that while a plurality of users are watching a program related to amusement park x by television broadcasting, one of the users says "I want to go to this amusement park x". The second voice analysis unit 204 extracts the keyword “amusement park x” from the voice data of the utterance input through the second voice input unit 203 and gives it to the content control unit 205. Then, the content control unit 205 sequentially presents one or more content data related to the amusement park x.
  • the content control unit 205 based on the keyword “traffic information” obtained by the second voice analysis unit 204, is stored in the content DB 20 in association with the relevant content data.
  • the traffic congestion information is read and presented to the content presentation device 30. The user can use the traffic congestion information as reference information for determining a traffic route, a departure time, and the like when going to the amusement park x next time.
  • step S106 The above-described presentation of the content data by the content reproduction apparatus 200 is stopped by detecting that the user is no longer in the content viewing environment (YES in step S103) (step S106).
  • the user can input a command to the content reproduction device 200 by a method other than voice input.
  • a command may be a gesture input by image analysis, an input using a menu displayed on the content presentation device 30, or the like.
  • the content reproduction device 200 has a user's diary function.
  • the user When the user utters, for example, “write a diary” to the content reproduction apparatus 200, the user is identified by at least one of face recognition processing from the image by the second image analysis unit 202 and voice analysis by the second voice analysis unit 204. While specifying, the diary function of the user is activated.
  • the content control unit 205 reads the schedule information of the specified user on the day from the content DB 20 and displays it on the content presentation device 30.
  • the schedule information of the day includes, for example, a schedule such as "play at amusement park x.”
  • the content control unit 205 collects one or more content data as a capsule by using the date and time of the current day and the user name as tag information, and sequentially presents the content data to the content presentation device 30.
  • the second voice analysis unit 204 recognizes the voice data of the user captured by the second voice input unit 203. To generate text data of the utterance content.
  • the content control unit 205 stores the generated text data in the content DB 20 as a diary sentence of the current day in association with tag information such as a recording date, a recorder, a keyword in the utterance content.
  • FIG. 6 is a diagram showing the meta information group for each content data accumulated in the content DB 20, classified by date and time and emotion. There are a total of 13 pieces of meta information groups of content data C1 to C13.
  • the content data C1 and C7 are moving images
  • the content data C2 to C6, C8, C10, C12 and C13 are photographs
  • the content data C9 and C11 are diary data.
  • the content data C10 as tag information, (date and time: October 17, 2017), (reservation name: birthday), (keyword: present), (keyword: game), (person: daughter), (emotion: It's fun).
  • the content data C11 is associated with (date and time: October 17, 2017), (keyword: drama yy topic), (keyword: happy end), (person: ma), and (emotion: fun) as tag information.
  • the content data C12 is associated with (date and time: October 17, 2017), (reservation name: birthday), (keyword: cake), (person: daughter), (emotion: delicious) as tag information. ing.
  • tag information (date and time: October 17, 2017), (reservation name: birthday), (keyword: cannot eat cake), (keyword: business trip), (keyword: disappointed) , (Person: Daddy), (Emotion: Sad) are linked.
  • a capsule T1 in which content data C1 to C6 are collected is generated as shown in FIG.
  • the respective content data C1 to C6 are sequentially switched like a slide show and presented to the content presentation device 30.
  • the order of presentation may be the order of date and time of the content data, or may be random.
  • a capsule T2 in which the content data C7 to C9 are collected and a capsule T3 in which the content data C10 to C13 are collected are generated.
  • a capsule T4 including the content data C1, C2, C7, C10, C11 is generated, These content data C1, C2, C7, C10, C11 are sequentially presented. In this case, the presentation order may be date/time order or may be random.
  • the capsule data T5 including the content data C3, C4, C8, C12, the content data C5, C6, A capsule T6, which is a combination of C9 and C13, is generated.
  • a capsule of the moving image is created by combining the content data C1 and C7, and when “photograph” is selected, the content data C2 is generated.
  • C3, C4, C5, C6, C8, C10, C12, C13 are created as a photographic capsule, and when "diary” is selected, a diary capsule is created as a combination of content data C9, C11. To be done.
  • one or more tag information associated with each content data is registered in the content DB 20, and in the content reproduction device 200, selection is performed.
  • One or more pieces of content data are collected by the created tag information to generate a capsule, which is sequentially presented to the content presentation device 30.
  • an event for switching the tag information of the content data to be reproduced is detected during the presentation of the capsule, a capsule in which one or more pieces of content data are regrouped by another tag information corresponding to the event is generated.
  • the theme of the content data presented to the user in the content viewing environment changes from moment to moment due to changes in the user or intuitive utterances, providing an opportunity to experience unexpected memories that the user had forgotten. Can be given to the user.
  • the content data that is summarized by tag information and presented sequentially can include general information obtained from the outside such as news, weather information, traffic congestion information, etc.
  • memories can be viewed from another perspective.
  • the user is provided with new information that expands the memories of the user, such as "The day I went to the amusement park x was the day before the typhoon landed" and "The day was a heavy traffic jam due to an accident on the highway.” be able to.
  • ⁇ Modification 1> Although the embodiment of the information processing system 1 in which the content database generation device 100 and the content reproduction device 200 are separated has been described above, as shown in FIG. 11, a content database generation unit 100A having the functions of the content database generation device 100 is provided. It is also possible to configure the content reproduction unit 200A having the function of the content reproduction device 200 with one information processing unit 1A.
  • the information processing unit 1A includes the schedule management unit 11, the first image input unit 12, the position information acquisition unit 13, the first voice input unit 14, the SNS reception unit 15, and the web information reception unit 16 (of the information terminal 10). (See FIG. 1).
  • the information processing unit 1A may be equipped with the function of the content DB 20 and further the function of the content presentation device 30.
  • the hash tag may be registered in the content DB 20 as a schedule name and may be managed together with data such as impressions and photographs exchanged on the SNS.
  • the hash tag may be registered in the content DB 20 as a schedule name and may be managed together with data such as impressions and photographs exchanged on the SNS.
  • the location of the user may be specified from the location information registered in the content DB 20 in association with the content data, and the location of the user may be registered in the content DB 20 as the planned name for the surrounding content. For example, when a photograph of a friend playing in the park a is taken, the location of the user can be identified as the park a.
  • the park name may be registered as the schedule name in the content DB 20 in association with the photo data. As a result, it is possible to create and present a capsule in which one or more pieces of photo data are collected using the park name as tag information as an album of park a.
  • the content reproduction device 200 can change the tag information such as the keyword, emotion, schedule name, and person registered in the content DB 20 into arbitrary information by a command input from the user. Also, the content data to be encapsulated and the content data to be excluded from the capsule can be directly selected by the user by voice or menu operation.
  • the capsule generated by the content reproduction device 200 may be exchangeable with the content reproduction device 200 of another user. As a result, it is possible to associate with the content data included in the capsules of other users, and the types and contents of the capsules are enhanced.
  • the present technology may also have the following configurations.
  • (1) One or more tag information for the content data of the user is generated from the detected information about the user and the behavior of the user, and the generated one or more tag information is associated with the content data and registered in the content database.
  • a first information processing unit having a first arithmetic unit; The tag information is selected based on the information detected from the content viewing environment including the user, one or more of the content data are searched based on the selected tag information and sequentially reproduced, and the detection from the viewing environment is performed.
  • An information processing system comprising: a second information processing unit having a second arithmetic unit that updates tag information used for searching the content data according to a change in information.
  • the information on the detected user and user behavior and the information detected from the content data viewing environment are person information recognized from a captured image including the user and emotion information estimated from the facial expression of this person.
  • Information processing system
  • the information processing system according to any one of (1) to (12) above, The second arithmetic unit of the second information processing unit, Receiving a voice command from a user in the content viewing environment, recognizing the user, sequentially reproducing one or more content data linked to the schedule information of the user and personal information that identifies the user, An information processing system that converts the impression of the user into text data and saves it as diary data.
  • One or more tag information for the content data of the user is generated from the detected information about the user and the behavior of the user, and the generated one or more tag information is associated with the content data and registered in the content database.
  • the tag information is selected based on the information detected from the content viewing environment including the user, one or more of the content data are searched based on the selected tag information and sequentially reproduced, and the detection from the viewing environment is performed.
  • An information processing apparatus having an arithmetic unit for updating tag information used for searching the content data according to a change in information.
  • One or more tag information for the content data of the user is generated from the detected information about the user and the behavior of the user, and the generated one or more tag information is associated with the content data and registered in the content database.
  • the tag information is selected based on the information detected from the content viewing environment including the user, one or more of the content data are searched based on the selected tag information and sequentially reproduced, and the detection from the viewing environment is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

この情報処理システムは、検出されたユーザおよびユーザの行動に関する情報からユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報をコンテンツデータと紐付けてコンテンツデータベースに登録する第１の演算ユニットを有する第１の情報処理ユニットと、ユーザを含むコンテンツ視聴環境から検出される情報に基づいてタグ情報を選択し、選択されたタグ情報に基づいて１以上のコンテンツデータを検索して順次再生し、コンテンツ視聴環境からの検出情報の変化に応じてコンテンツデータの検索に用いるタグ情報を更新する第２の演算ユニットを有する第２の情報処理ユニットと、を具備する。

Description

情報処理システム、情報処理方法および情報処理装置
　本技術は、タグ付きのコンテンツデータを管理し、検索、再生する情報処理装置、情報処理方法および情報処理システムに関する。
　近年、動画、写真などの画像ファイルや音声ファイルなどのコンテンツデータをストレージに大量に保存し、ストレージから選択的にファイルを読み出してスライドショーのように連続再生するシステムが知られる。
　例えば、特許文献１には、写真毎にユーザの発話内容のキーワードをタグとして記録することで、キーワードによる検索性を高める技術が開示される。
　特許文献２には、ユーザに質問文を与え、この質問文に対するユーザの回答文からキーワードを抽出して、コンテンツを検索するための情報とする技術が開示される。
特開２０１０－２２４７１５号公報 特開２０１３－５４４１７号公報
　しかしながら、上記の公知文献に開示される技術を含めて現在までに知られるコンテンツデータの管理検索システムは、ユーザが求めるコンテンツデータの検索性に優れるものの、例えば、ユーザが忘れかけているような意外な思い出を想起させるには不十分であったり、検索のためにユーザからの意図的なアクションを要するなど、様々な改良の余地がある。
　以上のような事情を鑑み、本技術の目的は、タグ付きのコンテンツデータの登録から検索閲覧までのユーザの負担を低減でき、また、ユーザの思い出に関連があるものの意外性を有するコンテンツデータを交えた新しい形態のスライドシューを提示することのできる情報処理システム、情報処理方法および情報処理装置を提供することにある。
　上記の課題を解決するために、本技術に係る情報処理システムは、検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録する第１の演算ユニットを有する第１の情報処理ユニットと、ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記コンテンツ視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する第２の演算ユニットを有する第２の情報処理ユニットと、を具備する。
　本技術に係る情報処理システムによれば、第１の情報処理ユニットの第１の演算ユニットが、検出されたユーザおよびユーザの行動に関する情報からコンテンツデータと紐付けられるタグ情報を作成し、第２の情報処理ユニットの第２の演算ユニットが、ユーザを含むコンテンツデータの視聴環境から検出される情報に基づいてタグ情報を選択し、選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生する。これにより、ユーザが明示的にタグ情報を指定することなく、タグ付きのコンテンツデータの登録から検索再生までが行われ、ユーザの負担を低減される。さらに、第２の情報処理ユニットの第２の演算ユニットは視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する。これにより、ユーザが明示的にタグ情報を指定することなく、関連性を変えた一連のコンテンツデータの再生に切り替えることができる。これにより、ユーザにとって意外性のあるコンテンツデータが提示され、ユーザが忘れかけていたような意外な思い出に触れる機会をユーザに与えることができる。
　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報は、前記ユーザを含む撮影画像から認識される人物情報およびこの人物の顔表情からの推定される感情情報であってよい。
　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザの発話内容から抽出されるキーワードであってよい。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境にユーザが存在することを検出したとき、前記１以上のコンテンツデータを順次再生するようにしてよい。その際、１以上のコンテンツデータをランダムに選択して順次再生するようにしてよい。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新するように構成されてもよい。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境の変化後のユーザの人物名を含むタグ情報に更新するように構成されてもよい。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザの顔表情の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新するように構成し得る。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記変化後のユーザの顔表情から推定される感情情報を含むタグ情報に更新するように構成し得る。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザの動きの大きさと速度の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新するようにも構成し得る。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザの発話から抽出されたキーワードに応じて、前記コンテンツデータの検索に用いるタグ情報を更新するように構成し得る。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツデータベースに追加するように構成し得る。
　前記第２の情報処理ユニットの前記第２の演算ユニットは、前記コンテンツ視聴環境内のユーザからの音声による指令を受けて、当該ユーザを認識し、当該ユーザの予定情報と当該ユーザを特定する人物情報に紐付けられた１以上のコンテンツデータを順次再生し、当該ユーザからの感想の音声をテキストデータに変換し、日記データとして保存するように構成し得る。
本技術に係る第１の実施形態の情報処理システム１の構成を示すブロック図である。 コンテンツデータとタグ情報との関係を示す図である。 コンテンツデータベース生成環境における情報端末１０とコンテンツデータベース生成装置１００の機能的な構成を示すブロック図である。 コンテンツ再生装置２００の機能的な構成を示すブロック図である。 コンテンツ再生装置２００の動作のフローチャートである。 コンテンツＤＢ２０に蓄積されたコンテンツデータ毎のメタ情報群を日時と感情とで分類して示す図である。 日時のタグ情報によるコンテンツデータのカプセル化の例を示す図である。 感情のタグ情報によるコンテンツデータのカプセル化の例を示す図である。 ママのタグ情報によるコンテンツデータのカプセル化の例を示す図である。 感情（楽しい）のタグ情報によるコンテンツデータのカプセル化の例を示す図である。 本技術に係る情報処理装置１Ａの構成を示すブロック図である。
　以下、本技術の実施の形態を図面をもとに説明する。
　＜第１の実施形態＞
　［情報処理システム］
　図１は、本実施形態の情報処理システム１の構成を示すブロック図である。
　この情報処理システム１は、ユーザの情報端末１０と、第１の情報処理ユニットであるコンテンツデータベース生成装置１００と、コンテンツデータベース（コンテンツＤＢ）２０と、第２の情報処理ユニットであるコンテンツ再生装置２００と、コンテンツ提示装置３０とを含む。ユーザの情報端末１０と第１の情報処理ユニットであるコンテンツデータベース生成装置１００はコンテンツデータベース生成環境にある。コンテンツデータベース生成環境とは、動画、写真などのユーザのコンテンツデータの撮影が行われる場所である。コンテンツ再生装置２００とコンテンツ提示装置３０はユーザがコンテンツデータを視聴できる場所、例えばユーザの自宅内、車内などである。
　コンテンツデータベース生成装置１００とコンテンツ再生装置２００はそれぞれ独立した情報処理装置であってもよいし、一つの情報処理装置であってもよい。情報処理装置の演算処理ユニットであるＣＰＵと、メモリと、ストレージデバイスと、各種のインタフェースを有する。メモリまたはストレージデバイスには、ＣＰＵによって実行されるプログラムが格納される。
　なお、コンテンツデータベース生成装置１００またはコンテンツ再生装置２００のうち少なくとも一方はクラウドコンピューティングによって実現され得る。したがって第１の情報処理装置または第２の情報処理装置のうち少なくとも一方はインターネット上でサービスを提供するためのサーバ装置であってよい。
　コンテンツデータベース生成装置１００は、ユーザおよび当該ユーザの行動を検出し、検出結果からユーザのコンテンツデータに関する１以上のタグ情報を生成し、この１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツＤＢ２０に登録する。
　コンテンツ再生装置２００は、コンテンツＤＢ２０に登録されたタグ情報に基づき、互いに関連する１以上のコンテンツデータをひとつにまとめてカプセル化し、これらのコンテンツデータを順次再生する。
　ここで、コンテンツデータは、ユーザに視覚的あるいは聴覚的に提示し得るデータであり、主に動画や静止画（写真）などの画像データ、音声データ、テキストデータまたはＨＴＭＬデータの少なくともいずれかを含む。
　タグ情報とは、コンテンツデータに関する情報であり、本技術では、複数のコンテンツデータのなかで連続再生する１以上のコンテンツデータを検索するための条件として用いられる。
　図２は、コンテンツデータとタグ情報との関係を示す図である。タグ情報には、コンテンツデータのファイル名、予定名、日時、場所、人物、行動などがある。また、人物のタグ情報には、人物名、感情、その人物から発話されたキーワードなどがある。予定名は、コンテンツデータに関連する予定情報から抽出された情報である。日時は、コンテンツデータの作成日時であり、コンテンツデータが動画や写真である場合にはその撮影日時、音声である場合にはその音声を取得してファイル化した日時などである。場所はコンテンツデータに関連する予定情報やユーザの位置情報に基づいて算出された具体的な場所を示す。登場人物は、コンテンツデータに関連する人物であり、画像に被写体として存在する人物や、音声データの話者を音声解析などによって推定した人物、あるいは会話に登場する人物等である。感情は、顔画像を解析するなどしてその表情から同定される情報であり、例えば、「楽しい」、「おいしい」、「悲しい」などの種類に分類される。キーワードは、その人物の発話の音声などから抽出されるキーワードである。行動は、コンテンツデータを得た際のユーザの行動であり、例えば、「歩行中」、「車で移動中」、「停止中」などに分類される。
　カプセルとは、何らかの共通のタグ情報をもつ１以上のコンテンツデータのまとまりを定義する情報である。例えば、コンテンツデータとして３つの写真Ｆ１、Ｆ２、Ｆ３が存在し、写真Ｆ１の被写体が人物Ａと人物Ｂであり、写真Ｆ２の被写体が人物Ａだけであり、写真Ｆ３の被写体が人物Ｂだけであるとき、人物Ａをタグ情報とした場合には写真Ｆ１と写真Ｆ２が１つのカプセルとして定義される。このようにカプセル化される１以上のコンテンツデータがタグ情報に基づいて決定されるので、互いに何らかの関連性をもつ１以上のコンテンツデータがまとめられて１つのカプセルが作成される。
　次に、本実施形態の情報処理システム１におけるコンテンツデータベース生成装置１００の構成について説明する。
　図３は、コンテンツデータベース生成環境における情報端末１０とコンテンツデータベース生成装置１００の機能的な構成を示すブロック図である。
　コンテンツデータベース生成装置１００は、情報解析部１１０とタグ情報生成部１２０とを有する。情報解析部１１０は、ユーザの情報端末１０と通信して、ユーザおよびユーザの行動を検出するための各種情報を取得し、解析する。
　タグ情報生成部１２０は、情報解析部１１０によって得られた解決結果からコンテンツデータに関する情報であるタグ情報を生成し、コンテンツＤＢ２０にコンテンツデータと紐付けて登録する。
　情報端末１０は、ユーザおよびユーザの行動の検出に必要な情報を取得する手段として、予定管理部１１、第１の画像入力部１２、位置情報取得部１３、第１の音声入力部１４、ＳＮＳ受信部１５およびウェブ情報受信部１６を有する。
　予定管理部１１は、ユーザの予定情報を管理する。ユーザの予定情報は、日時、予定名、場所、同行者などの情報が含まれる。
　第１の画像入力部１２は、カメラを使って取り込んだ動画、写真などの画像をデータ化し、撮影日時などのヘッダ情報を付与して画像ファイルを作成する。
　位置情報取得部１３は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：全球測位衛星システム）、地磁気センサー、加速度センサーなどの検出情報よりユーザの位置情報を取得する。
　第１の音声入力部１４は、マイクを使って入力した音声をデータ化し、日時などのヘッダ情報を付加して音声ファイルを生成する。
　ＳＮＳ受信部１５は、ユーザ自身や友人によるＳＮＳ投稿内容（発言、画像など）を受信する。
　ウェブ情報受信部１６は、インターネット上の各種情報サイトにアクセスしてニュース情報、気象情報、交通渋滞情報などのウェブ情報を受信する。
　なお、情報端末１０によって取得される情報は上記のものに限定されない。例えば、電子メール、メモなど、その他、様々なアプリケーションのデータを取得してコンテンツデータベース生成装置１００に与えてもよい。
　（情報解析部１１０の構成）
　コンテンツデータベース生成装置１００における情報解析部１１０は、予定情報解析部１１１、第１の画像解析部１１２、行動解析部１１３、第１の音声解析部１１４、ＳＮＳ解析部１１５およびウェブ情報解析部１１６を有する。
　予定情報解析部１１１は、予定管理部１１にて管理される予定情報を解析して、例えば日時、予定名、場所、同行者などの情報を抽出する。
　第１の画像解析部１１２は、第１の画像入力部１２によって入力された画像データに被写体として存在する人物や、人物以外の物体、景色などを認識したり、人物の顔の表情から感情を推定する。また、第１の画像解析部１１２は、人物の認識結果と物体の認識結果などから行動認識を行うことも可能である。例えば、人物ＸＸさんとコーヒーカップを認識した場合、人物ＸＸさんがコーヒーを飲んでいるという行動が認識される。
　行動解析部１１３は、位置情報取得部１３により例えばｎ秒間隔毎など、周期的に取得される位置情報に基づいてユーザの移動速度を算出し、その結果に基づいてユーザの行動、例えば歩行中、車で移動中、停止中などに分類する。ｎ秒は例えば１０秒等の固定値であってよいし、ユーザなどにより設定された可変値であってもよい。
　第１の音声解析部１１４は、第１の音声入力部１４によって入力された音声データを解析して、その音声に含まれる発話者である人物を推定したり、その発話内容に含まれるキーワードを抽出する。
　ＳＮＳ解析部１１５は、ＳＮＳ受信部１５にて受信したＳＮＳ投稿内容を解析し、そのＳＮＳ投稿内容に含まれる画像、キーワードなどを抽出する。
　ウェブ情報解析部１１６は、予定情報の日時や場所、ユーザの位置情報などに関連するニュース、気象情報、交通渋滞情報などのウェブ情報をウェブ情報受信部１６を使って取得する。
　（コンテンツデータベース生成装置１００の動作例）
　コンテンツデータベース生成装置１００において予定情報解析部１１１は、予定管理部１１より当日の予定情報を取得し、取得した予定情報の予定名、行動期間、同行者などを抽出する。例えば、当日（１０月１日）の予定情報として、"家族で終日遊園地ｘで遊ぶ。"が登録されている場合、予定情報解析部１１１は、予定名＝遊園地ｘ、行動期間＝１０月１日終日、同行者＝家族を抽出する。
　この結果を受けて、コンテンツデータベース生成装置１００は、当日（１０月１日）は終日、ユーザの行動を検出する対象期間として動作する。この対象期間においては、例えば、設定時刻毎に、設定時間間隔毎に、あるいは、情報端末１０にて画像データや音声データが取得されたタイミングで、画像解析、行動解析、音声解析、ウェブ情報解析などが行われ、それらの結果がタグ情報生成部１２０に与えられる。
　タグ情報生成部１２０は、情報解析部１１０の各解析結果からタグ情報を生成する。
例えば、タグ情報生成部１２０は、予定情報解析部１１１によって得られた予定名、場所、同行者などの情報をタグ情報として抽出する。また、タグ情報生成部１２０は、第１の画像解析部１１２によって得られた人物、その人物の感情の推定結果となどをタグ情報として抽出する。さらに、タグ情報生成部１２０は、行動解析部１１３によってユーザが道路上で長い時間停止している場合には渋滞が発生していると見なしてキーワード＝渋滞をタグ情報として生成する。さらに、タグ情報生成部１２０は、第１の音声解析部１１４によって解析された話者の人物、音声から抽出されたキーワードなどをタグ情報として抽出する。さらに、タグ情報生成部１２０は、ウェブ情報解析部１１６によって得られたニュース、気象情報、交通渋滞情報などのウェブ情報のＨＴＭＬファイル名などをタグ情報として抽出する。
　例えば、ユーザによって車内で家族の写真が撮られたとき、タグ情報生成部１２０は情報解析部１１０から得られた情報から以下のタグ情報を生成し、これらのタグ情報を写真データと紐付けてコンテンツＤＢ２０に登録する。
　・写真のファイル名：ＤＳＣ００００１.ＪＰＧ
　・予定名：遊園地ｘ
　・撮影日時：２０１８年１０月１日ＡＭ８：１５
　・場所：ＸＹインターチェンジ付近
　・人物：ママ（感情：楽しい）
　・行動：車で移動中
　なお、ファイル名は、ファイルの置き場所を示すパスを含んでもよい。
　また、撮影と同時に「すごい渋滞です」などの発話が検出された場合、その音声データが第１の音声解析部１１４によって解析されて発話人物と「渋滞」などのキーワードが抽出される。この結果、タグ情報生成部１２０によって、発話人物＝ママと、キーワード＝渋滞がタグ情報に追加される。
　なお、第１の音声入力部１４による音声入力は予定期間において常時行うようにし、特定の人物による発話が検出された場合、あるいは特定のキーワードが第１の音声解析部１１４にて検出された場合、あるいはその両方が成立した場合に、その前後所定の時間に入力された音声データについて解析が行われるようにしてもよい。
　（ＳＮＳ投稿内容からのコンテンツＤＢ２０へのデータ登録）
　次に、ＳＮＳ投稿内容からコンテンツデータおよびタグ情報を生成してコンテンツＤＢ２０に登録する動作の具体例を説明する。
　ユーザは、遊園地ｘのレストランｙｙで自分が注文した料理の写真を撮り、ＳＮＳにその写真データとコメント「ハンバーグ美味しい」を投稿し、この投稿に対して友達から「ポークソテーも美味しいよ」という新たな投稿が発生したこととする。
　コンテンツデータベース生成装置１００のタグ情報生成部１２０は、情報端末１０のＳＮＳ受信部１５で自分と友達との一連の投稿内容を取得し、ＳＮＳ解析部１１５でこれらの投稿内容を解析して写真データやキーワードを抽出し、写真データに以下のタグ情報を紐付けてコンテンツＤＢ２０に登録する。
　・写真のファイル名：ＤＳＣ０００５０.ＪＰＧ
　・予定名：遊園地ｘ
　・撮影日時：１０月１日ＡＭ１２：３０
　・場所：レストランｙｙ
　・人物：娘（キーワード：ハンバーグ、美味しい）
　・人物：娘の友人（キーワード：ポークソテー、美味しい）
　（コンテンツ再生装置２００の構成）
　次に、コンテンツ視聴環境におけるコンテンツ再生装置２００の構成について説明する。
　コンテンツ再生装置２００は、ユーザを含むコンテンツ視聴環境の情報を検出し、検出した情報に基づいて１以上のコンテンツデータを検索して順次再生する。
　図４はコンテンツ再生装置２００の機能的な構成を示すブロック図である。
　コンテンツ再生装置２００は、ユーザを含むコンテンツ視聴環境の情報を検出するための手段として第２の画像入力部２０１、第２の画像解析部２０２、第２の音声入力部２０３および第２の音声解析部２０４を有する。さらに、コンテンツ再生装置２００は、例えば、検出された情報に基づいてタグ情報を選択し、選択されたタグ情報に基づいて１以上のコンテンツデータを検索して順次再生する制御を行うコンテンツ制御部２０５を有する。
　第２の画像入力部２０１は、カメラを使って撮像したコンテンツ視聴環境の画像を入力し、データ化して第２の画像解析部２０２に出力する。第２の画像入力部２０１は例えば室内に設置された定点観測カメラなどである。
　第２の画像解析部２０２は、第２の画像入力部２０１によって入力された画像データから被写体の人物を認識するとともに、その人物の顔表情から感情を推定し、これらの結果をコンテンツ制御部２０５に出力する。
　第２の音声入力部２０３は、マイクを使ってコンテンツ視聴環境の音声を捉え、データ化して第２の音声解析部２０４に出力する。
　第２の音声解析部２０４は、第２の音声入力部２０３によって入力された音声データを解析して、その音声に含まれる発話者である人物を推定したり、その発話内容に含まれるキーワードを抽出し、これらの結果をコンテンツ制御部２０５に与える。
　コンテンツ制御部２０５は、第２の画像解析部２０２および第２の音声解析部２０４によって得られた解析結果に基づいてカプセル化のためのタグ情報を判定し、判定したタグ情報に基づいてコンテンツＤＢ２０を検索してカプセル化する１以上のコンテンツデータを判定し、これらのコンテンツデータを順次再生してコンテンツ提示装置３０に出力する。
　コンテンツ提示装置３０は、コンテンツ再生装置２００によって再生されたコンテンツデータの表示や音声出力を行う。コンテンツ提示装置３０は、テレビジョン、パーソナルコンピュータに接続されるモニター、プロジェクターなどであってよい。あるいは、スマートホン、タブレット端末、デジタルフォトフレームでもよい。
　（コンテンツ再生装置２００の動作）
　次に、コンテンツ再生装置２００の動作を説明する。
　図５は、コンテンツ再生装置２００の動作のフローチャートである。
　例えば、自宅内などのコンテンツ視聴環境にユーザが存在することが、第２の画像解析部２０２による画像解析によって検出されたり、第２の音声解析部２０４による音声解析などによって検出されたりすることによって（ステップＳ１０１）、コンテンツ制御部２０５は、コンテンツＤＢ２０から１以上のコンテンツデータを連続的に読み出し再生してコンテンツ提示装置３０にスライドシューのように提示することを開始する（ステップＳ１０２）。なお、コンテンツデータは必ずしもコンテンツＤＢ２０だけに保存されているとは限らない。他のデータベースに保存されたコンテンツデータを読み出して再生してもよい。
　この際、提示されるコンテンツデータは予め任意に決められたタグ情報によりカプセル化された１以上のコンテンツデータであってもよいし、コンテンツＤＢ２０からランダムに読み出されたコンテンツデータであってもよい。あるいは、コンテンツＤＢ２０にユーザの予定情報やその複写情報が保存されている場合には、その予定情報に基づき、最近完了した予定名をタグ情報としてカプセル化された１以上のコンテンツデータを読み出して再生してもよい。あるいは、所定日数前（例えば一か月、半年、一年前など）に完了した予定名をタグ情報としてカプセル化された１以上のコンテンツデータを読み出して再生してもよい。あるいは、第２の画像解析部２０２による画像解析によって認識されたユーザをタグ情報として、このユーザが登場人物に含まれるコンテンツデータをカプセル化して再生してもよい。
　また、コンテンツ再生装置２００に対してユーザから視聴したいコンテンツデータのタグ情報を音声などにより直接指定することも可能である。
　例えば、ユーザからの「遊園地ｘの写真を見せて」、「楽しい想い出を見せて」、「美味しい想い出を見せて」といった発話から抽出されたキーワードに基づいて再生されるコンテンツデータのタグ情報が決められてもよい。
　コンテンツデータの提示中、コンテンツ制御部２０５は画像解析結果および音声解析結果などから、再生対象のコンテンツデータのタグ情報を切り替えるイベントの検出を行う（ステップＳ１０４）。例えば、コンテンツ制御部２０５は、次のような解析結果が得られた場合にイベントの発生とみなす。
　１．コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化
　２．ユーザの特定の顔表情（特定の感情）への変化
　３．ユーザの行動の変化
　４．ユーザの発話に含まれるキーワード
　イベント１の検出時
　コンテンツ制御部２０５は、コンテンツ視聴環境内のユーザが変化したとき、あるいはユーザの組み合わせが変化したとき、例えば、変化後のユーザあるいは新たに加わったユーザがタグ情報として含まれる１以上のコンテンツデータなどをまとめたカプセルの提示に切り替える（ステップＳ１０５）。これにより、コンテンツ視聴環境内のユーザまたはユーザグループに関連する１以上のコンテンツデータに提示が切り替わり、コンテンツ視聴環境の場の盛り上げりを期待できる。
　イベント２の検出時
　コンテンツ制御部２０５は、例えば、ユーザの感情が例えば"楽しい"（顔表情が笑顔）などに変化した場合に、コンテンツ制御部２０５は、（感情：楽しい）のタグ情報に基づいて改めてカプセル化した１以上のコンテンツデータの提示に切り替える（ステップＳ１０５）。これにより、ユーザの楽しい気持ちのより一層の盛り上がりを期待できる。
　イベント３の検出時
　コンテンツ制御部２０５は、例えば、ユーザの動きが大きくなる、あるいは高速になるなどのユーザ行動の変化を検出した場合、例えば、"おめでとう"、"やったね！"などのポジティブな意味のキーワードのタグ情報でカプセル化した１以上のコンテンツデータの提示に切り替える（ステップＳ１０５）。
　イベント４の検出時
　コンテンツ制御部２０５は、コンテンツ視聴中のユーザの発話から抽出されたキーワードをタグ情報として改めてカプセル化した１以上のコンテンツデータの提示に切り替える（ステップＳ１０５）。
　また、コンテンツ制御部２０５は、コンテンツ視聴中のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツＤＢ２０に追加する。例えば、レストランで次々に運ばれてくる料理の写真データが、コンテンツデータとしてタグ情報とともにコンテンツデータに登録されているものとする。この料理の写真データを提示中にユーザが「この料理は美味しかったね。」と発話したとすると、コンテンツ制御部２０５は、この発話内容から第２の音声解析部２０４によって抽出されたキーワード、例えば"美味しかった"のキーワードを写真データの新たなタグ情報としてコンテンツＤＢ２０に追加する。このように、コンテンツＤＢ２０に新たなタグ情報が追加されることによって、コンテンツＤＢ２０のタグ情報の充実度が増し、多彩なスライドシューを提示することができる。
　また、コンテンツ制御部２０５は、コンテンツ視聴環境内のユーザからの、視聴したいコンテンツデータに関するタグ情報を直接指定する指令を受け付けて、そのタグ情報でカプセル化された１以上のコンテンツデータを順次提示する。例えば、複数のユーザがテレビ放送による遊園地ｘに関する番組を視聴しているとき、いずれかのユーザが「この遊園地ｘに行きたい」と発言したとする。第２の音声解析部２０４は第２の音声入力部２０３を通じて入力された発話の音声データから「遊園地ｘ」というキーワードを抽出し、コンテンツ制御部２０５に与える。するとコンテンツ制御部２０５は、遊園地ｘに関連する１以上のコンテンツデータを順次提示する。
　また、遊園地ｘに関連する１以上のコンテンツデータの提示中に、遊園地ｘに移動中に撮影した渋滞の写真が含まれていたため、いずれかのユーザが「この時の道路交通情報を見せて」と発話すると、コンテンツ制御部２０５は、第２の音声解析部２０４で得られた「交通情報」というキーワードに基づいて、当該コンテンツデータに紐付けられてコンテンツＤＢ２０に保存された、当時の交通渋滞情報を読み出してコンテンツ提示装置３０に提示する。ユーザは、この交通渋滞情報を、次回遊園地ｘに行く際の交通ルート、出発時刻などを決めるための参考情報とすることができる。
　以上のコンテンツ再生装置２００によるコンテンツデータの提示は、コンテンツ視聴環境にユーザがいなくなったことが検出（ステップＳ１０３のＹＥＳ）されることによって停止される（ステップＳ１０６）。
　なお、ユーザからコンテンツ再生装置２００に対する指令の入力は、音声入力以外の方法を可能とする。例えば、画像解析によるジェスチャ入力、コンテンツ提示装置３０に表示させたメニューを使った入力などでもよい。
　（日記機能について）
　コンテンツ再生装置２００は、ユーザの日記機能を有する。
　コンテンツ再生装置２００に対してユーザが例えば"日記を書く"と発話すると、第２の画像解析部２０２による画像からの顔認識処理または第２の音声解析部２０４による音声解析の少なくとも一方によりユーザを特定するとともに、当該ユーザの日記機能を発動させる。
　コンテンツ制御部２０５は、特定されたユーザについての当日の予定情報をコンテンツＤＢ２０から読み込み、コンテンツ提示装置３０に表示する。ここで、当日の予定情報として、例えば"遊園地ｘで遊ぶ。"などの予定が入っている場合を想定する。するとコンテンツ制御部２０５は、当日の日時と当該ユーザ名をタグ情報として１以上のコンテンツデータをカプセルとしてまとめ、コンテンツ提示装置３０に順次提示する。
　コンテンツデータの視聴中、ユーザは提示されたコンテンツデータに対して何からの感想を発話すると、第２の音声解析部２０４は第２の音声入力部２０３によって取り込まれたユーザの音声データを認識して発話内容のテキストデータを生成する。コンテンツ制御部２０５は、生成されたテキストデータを当日の日記文として、記録日、記録者、発話内容中のキーワードなどのタグ情報と紐付けてコンテンツＤＢ２０に保存する。
　（コンテンツデータのカプセル化の具体例）
　次に、コンテンツデータのカプセル化の具体例を説明する。
　図６は、コンテンツＤＢ２０に蓄積されたコンテンツデータ毎のメタ情報群を日時と感情とで分類して示す図である。
　ここには計１３個のコンテンツデータＣ１～Ｃ１３のメタ情報群が存在する。コンテンツデータＣ１、Ｃ７は動画、コンテンツデータＣ２～Ｃ６、Ｃ８、Ｃ１０、Ｃ１２、Ｃ１３は写真、コンテンツデータＣ９、Ｃ１１は日記データである。
　コンテンツデータＣ１には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（人物：パパ）、（人物：ママ）、（人物：娘）、そしてそれぞれの人物について（感情：楽しい）が紐付けられている。
　コンテンツデータＣ２には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（人物：ママ）、（感情：楽しい）が紐付けられている。
　コンテンツデータＣ３には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（場所：レストランｙ）、（人物：娘）、（キーワード：ピザ）、（感情：美味しい）が紐付けられている。ここで、（感情：美味しい）は人物の顔表情の解析と（場所：レストランｙ）に基づいて判定された結果である。コンテンツデータＣ４、Ｃ８、Ｃ１２の感情タグについても同様である。
　コンテンツデータＣ４には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（場所：レストランｙ）、（人物：パパ）、（キーワード：ハンバーグ）、（感情：美味しい）が紐付けられている。
　コンテンツデータＣ５には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（人物：パパ）、（キーワード：交通渋滞）、（キーワード：事故）、（キーワード：疲れた）、（感情：悲しい）が紐付けられている。
　コンテンツデータＣ６には、タグ情報として、（日時：２０１７年１０月１日）、（予約名：遊園地ｘ）、（場所：レストランｙ）、（人物：ママ）、（キーワード：カレー）、（キーワード：辛すぎ）、（感情：悲しい）が紐付けられている。
　コンテンツデータＣ７には、タグ情報として、（日時：２０１７年１０月１０日）、（予約名：運動会）、（人物：娘）、（キーワード：リレー）、（キーワード：１等賞）、（感情：楽しい）が紐付けられている。
　コンテンツデータＣ８には、タグ情報として、（日時：２０１７年１０月１０日）、（予約名：運動会）、（人物：娘）、（キーワード：お弁当）、（キーワード：卵焼き）、（感情：美味しい）が紐付けられている。
　コンテンツデータＣ９には、タグ情報として、（日時：２０１７年１０月１０日）、（キーワード：ドラマ名ｚｚ話題）、（キーワード：涙）、（人物：ママ）、（感情：悲しい）が紐付けられている。
　コンテンツデータＣ１０には、タグ情報として、（日時：２０１７年１０月１７日）、（予約名：誕生日）、（キーワード：プレゼント）、（キーワード：ゲーム）、（人物：娘）、（感情：楽しい）が紐付けられている。
　コンテンツデータＣ１１には、タグ情報として、（日時：２０１７年１０月１７日）、（キーワード：ドラマｙｙ話題）、（キーワード：ハッピーエンド）、（人物：ママ）、（感情：楽しい）が紐付けられている。
　コンテンツデータＣ１２には、タグ情報として、（日時：２０１７年１０月１７日）、（予約名：誕生日）、（キーワード：ケーキ）、（人物：娘）、（感情：美味しい）が紐付けられている。
　コンテンツデータＣ１３には、タグ情報として、（日時：２０１７年１０月１７日）、（予約名：誕生日）、（キーワード：ケーキを食べられない）、（キーワード：出張）、（キーワード：がっかり）、（人物：パパ）、（感情：悲しい）が紐付けられている。
　ここで、カプセル化のためのタグ情報として（日時：２０１７年１０月１日）が選択された場合には、図７に示すように、コンテンツデータＣ１～Ｃ６をまとめたカプセルＴ１が生成され、それぞれのコンテンツデータＣ１～Ｃ６が順次スライドショーのように切り替えてコンテンツ提示装置３０に提示される。提示の順番は、コンテンツデータの日時順であってもよいし、ランダムでもよい。
　その他の日時についても同様に、カプセル化のためのタグ情報として選択された場合にはコンテンツデータＣ７～Ｃ９をまとめたカプセルＴ２や、コンテンツデータＣ１０～Ｃ１３をまとめたカプセルＴ３が生成される。
　また、カプセル化のためのタグ情報として（感情：楽しい）が選択された場合には、図８に示すように、コンテンツデータＣ１、Ｃ２、Ｃ７、Ｃ１０、Ｃ１１をまとめたカプセルＴ４が生成され、これらのコンテンツデータＣ１、Ｃ２、Ｃ７、Ｃ１０、Ｃ１１が順次提示される。この場合の、提示順についても日時順であってもよいし、ランダムでもよい。
　その他の感情（美味しい、悲しい）についても同様に、カプセル化のためのタグ情報として選択された場合には、コンテンツデータＣ３、Ｃ４、Ｃ８、Ｃ１２をまとめたカプセルＴ５や、コンテンツデータＣ５、Ｃ６、Ｃ９、Ｃ１３をまとめたカプセルＴ６が生成される。
　さらに、カプセル化のためのタグ情報として（人物：ママ）が選択された場合には、図９に示すように、コンテンツデータＣ１、Ｃ２、Ｃ６、Ｃ９、Ｃ１１、Ｃ１２をまとめたカプセルが生成される。その他の人物（パパ、娘）についても同様に、カプセル化のためのタグ情報として選択された場合には、コンテンツデータＣ４、Ｃ５、Ｃ１３をまとめたカプセルや、コンテンツデータＣ１、Ｃ３、Ｃ７、Ｃ８、Ｃ１０、Ｃ１２をまとめたカプセルが生成される。
　さらに、カプセル化のためのタグ情報として"動画"が選択された場合には、コンテンツデータＣ１、Ｃ７をまとめた動画のカプセルが生成され、"写真"が選択された場合には、コンテンツデータＣ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ８、Ｃ１０、Ｃ１２、Ｃ１３をまとめた写真のカプセルが生成され、"日記"が選択された場合には、コンテンツデータＣ９、Ｃ１１をまとめた日記のカプセルが生成される。
　複数のタグ情報によりカプセル化を行うことも可能である。
　例えば、カプセル化のためのタグ情報として（人物：ママ）と（感情：楽しい）が選択された場合には、図１０に示すように、コンテンツデータＣ１、Ｃ２、Ｃ１１をまとめたカプセルが生成され、カプセル化のためのタグ情報として（人物：娘）と（感情：美味しい）が選択された場合には、コンテンツデータＣ３、Ｃ８、Ｃ１２をまとめたカプセルが生成される。
　以上のように、本実施形態によれば、コンテンツデータベース生成装置１００にて、個々のコンテンツデータに対して紐付けられた１以上のタグ情報がコンテンツＤＢ２０に登録され、コンテンツ再生装置２００では、選択されたタグ情報により１以上のコンテンツデータがまとめられてカプセルが生成され、順次コンテンツ提示装置３０に提示される。そしてカプセルの提示中に、再生対象のコンテンツデータのタグ情報を切り替えるイベントが検出されたならば、そのイベントに対応する別のタグ情報により改めて１以上のコンテンツデータをまとめなおしたカプセルが生成されて提示される。これにより、コンテンツ視聴環境においてユーザに対して提示されるコンテンツデータのテーマが、ユーザの変化や直感的な発話などによって時々刻々と変化し、ユーザが忘れかけていたような意外な思い出に触れる機会をユーザに与えることができる。
　また、タグ情報によりまとめられて順次提示されるコンテンツデータには、ニュース、気象情報、交通渋滞情報などの外部から入手した一般情報も含み得るため、思い出を別の観点から眺めることができる。例えば、「遊園地ｘに行った日は台風が上陸する前日だった」、「その日は高速道路上での事故により大渋滞だった」といったユーザの思い出を膨らますような新たな情報をユーザに与えることができる。
　＜変形例１＞
　以上、コンテンツデータベース生成装置１００とコンテンツ再生装置２００とが分離した情報処理システム１の実施形態を説明したが、図１１に示すように、コンテンツデータベース生成装置１００の機能を有するコンテンツデータベース生成部１００Ａとコンテンツ再生装置２００の機能を有するコンテンツ再生部２００Ａを１つの情報処理ユニット１Ａで構成することも可能である。
　また、情報処理ユニット１Ａは、情報端末１０の予定管理部１１、第１の画像入力部１２、位置情報取得部１３、第１の音声入力部１４、ＳＮＳ受信部１５およびウェブ情報受信部１６（図１参照）の機能を搭載して構成されてもよい。
　あるいは、情報処理ユニット１Ａは、コンテンツＤＢ２０の機能、さらにはコンテンツ提示装置３０の機能を搭載したものであってもよい。
　（同行者の予約登録）
　予定管理部１１の予約情報に同行者を登録することによって、第１の画像解析部１１２が画像から人物を認識したり、第１の音声解析部１１４が発話の音声から人物を推定する精度を向上させることができる。
　また、予定完了後に、同行者の情報端末１０にＳＮＳなどを通じて当日得られた動画や写真などのコンテンツデータを投稿したり、感想などの情報交換を行うことができるようになり、その感想などの情報から抽出したキーワードをコンテンツＤＢ２０上の当該コンテンツデータに対する新たなタグ情報として追加したりすることができる。
　（日記の自動生成）
　日記のユーザの人物名が紐付けられたコンテンツデータを特定し、このコンテンツデータと、これに紐付けられた他のタグ情報やウェブ情報などをコンテンツＤＢ２０から抽出し、時系列にこれらの情報を並べることで、簡易的な日記を自動生成することができる。ユーザは、この簡易日記に、音声などにより入力された新たな感想文などの情報を付加して充実度に富む日記を作成することができる。
　（ＳＮＳ投稿内容からの日記作成）
　例えば、友人同士でＳＮＳにハッシュタグを付けて情報交換した場合、ハッシュタグを予定名としてコンテンツＤＢ２０に登録し、ＳＮＳ上で交換された感想や写真等のデータと併せて管理してもよい。これにより、ＳＮＳ上で交換された感想や写真等のデータをまとめたカプセルを簡易的な日記として作成して提示することができる。
　＜ＧＮＳＳの活用＞
　コンテンツＤＢ２０にコンテンツデータに紐付けて登録された位置情報からユーザの居場所を特定し、その周辺のコンテンツに対し、居場所を予定名としてコンテンツＤＢ２０に登録してもよい。
　例えば、公園ａで友人と遊んでいる様子を撮影した場合、位置情報からユーザの場所が公園ａであることが特定できる。この公園名を予定名として写真データと紐付けてコンテンツＤＢ２０に登録してもよい。これにより、公園名をタグ情報として１以上の写真データをまとめたカプセルを公園ａのアルバムとして作成し、提示することができる。
　（コンテンツＤＢ２０のデータ修正）
　コンテンツ再生装置２００は、コンテンツＤＢ２０に登録されたキーワード、感情、予定名、人物などのタグ情報をユーザからの指令入力により任意の情報に変更することが可能である。
　また、カプセル化するコンテンツデータや、カプセルから排除するコンテンツデータはユーザが直接音声やメニュー操作によって選択することも可能である。
　コンテンツ再生装置２００で生成されたカプセルは、他のユーザのコンテンツ再生装置２００との間で交換できるようにしてもよい。これにより、他のユーザのカプセルに含まれるコンテンツデータとの紐付けも可能となり、カプセルの種類や内容が充実する。
　［本技術の別の構成］
　本技術は以下のような構成も採ることができる。
（１）検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録する第１の演算ユニットを有する第１の情報処理ユニットと、
　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する第２の演算ユニットを有する第２の情報処理ユニットとを具備する
　情報処理システム。
（２）上記（１）に記載の情報処理システムであって、
　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザを含む撮影画像から認識される人物情報およびこの人物の顔表情からの推定される感情情報である
　情報処理システム。
（３）上記（１）または（２）に記載の情報処理システムであって、
　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザの発話内容から抽出されるキーワードである
　情報処理システム。
（４）上記（１）から（３）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境にユーザが存在することを検出したとき、前記１以上のコンテンツデータを順次再生する
　情報処理システム。
（５）上記（４）に記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　１以上のコンテンツデータをランダムに選択して順次再生する
　情報処理システム。
（６）上記（１）から（５）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
　情報処理システム。
（７）上記（６）に記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境の変化後のユーザの人物名を含むタグ情報に更新する
　情報処理システム。
（８）上記（１）から（５）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザの顔表情の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
　情報処理システム。
（９）上記（８）に記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記変化後のユーザの顔表情から推定される感情情報を含むタグ情報に更新する
　情報処理システム。
（１０）上記（１）から（５）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザの動きの大きさと速度の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
　情報処理システム。
（１１）上記（１）から（５）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザの発話から抽出されたキーワードに応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
　情報処理システム。
（１２）上記（１）から（１１）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツデータベースに追加する
　情報処理システム。
（１３）上記（１）から（１２）のいずれかに記載の情報処理システムであって、
　前記第２の情報処理ユニットの前記第２の演算ユニットは、
　前記コンテンツ視聴環境内のユーザからの音声による指令を受けて、当該ユーザを認識し、当該ユーザの予定情報と当該ユーザを特定する人物情報に紐付けられた１以上のコンテンツデータを順次再生し、当該ユーザからの感想の音声をテキストデータに変換し、日記データとして保存する
　情報処理システム。
（１４）検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する演算ユニットを有する
　情報処理装置。
（１５）検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する
　情報処理方法。
　その他、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　Ｃ１～Ｃ１３…コンテンツデータ
　Ｔ１～Ｔ６…カプセル
　１…情報処理システム
　１Ａ…情報処理ユニット
　１０…情報端末
　２０…コンテンツデータベース
　３０…コンテンツ提示装置
　１００…コンテンツデータベース生成装置
　１１０…情報解析部
　１１１…予定情報解析部
　１１２…第１の画像解析部
　１１３…行動解析部
　１１４…第１の音声解析部
　１１５…ＳＮＳ解析部
　１１６…ウェブ情報解析部
　１２０…タグ情報生成部
　２００…コンテンツ再生装置
　２０１…第２の画像入力部
　２０２…第２の画像解析部
　２０３…第２の音声入力部
　２０４…第２の音声解析部
　２０５…コンテンツ制御部

Claims (15)

  1. 　検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録する第１の演算ユニットを有する第１の情報処理ユニットと、
    　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する第２の演算ユニットを有する第２の情報処理ユニットと、
    　を具備する情報処理システム。
  2. 　請求項１に記載の情報処理システムであって、
    　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザを含む撮影画像から認識される人物情報およびこの人物の顔表情からの推定される感情情報である
    　情報処理システム。
  3. 　請求項１に記載の情報処理システムであって、
    　前記検出されたユーザおよびユーザ行動に関する情報および前記コンテンツデータ視聴環境から検出される情報が、前記ユーザの発話内容から抽出されるキーワードである
    　情報処理システム。
  4. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境にユーザが存在することを検出したとき、前記１以上のコンテンツデータを順次再生する
    　情報処理システム。
  5. 　請求項４に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　１以上のコンテンツデータをランダムに選択して順次再生する
    　情報処理システム。
  6. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザの変化、ユーザの組み合わせの変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
    　情報処理システム。
  7. 　請求項６に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境の変化後のユーザの人物名を含むタグ情報に更新する
    　情報処理システム。
  8. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザの顔表情の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
    　情報処理システム。
  9. 　請求項８に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記変化後のユーザの顔表情から推定される感情情報を含むタグ情報に更新する
    　情報処理システム。
  10. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザの動きの大きさと速度の変化に応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
    　情報処理システム。
  11. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザの発話から抽出されたキーワードに応じて、前記コンテンツデータの検索に用いるタグ情報を更新する
    　情報処理システム。
  12. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザの発話から抽出された新たなキーワードを、提示中のコンテンツデータに対する新たなタグ情報としてコンテンツデータベースに追加する
    　情報処理システム。
  13. 　請求項１に記載の情報処理システムであって、
    　前記第２の情報処理ユニットの前記第２の演算ユニットは、
    　前記コンテンツ視聴環境内のユーザからの音声による指令を受けて、当該ユーザを認識し、当該ユーザの予定情報と当該ユーザを特定する人物情報に紐付けられた１以上のコンテンツデータを順次再生し、当該ユーザからの感想の音声をテキストデータに変換し、日記データとして保存する
    　情報処理システム。
  14. 　検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
    　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する演算ユニットを有する
    　情報処理装置。
  15. 　検出されたユーザおよびユーザの行動に関する情報から前記ユーザのコンテンツデータに対する１以上のタグ情報を生成し、生成された１以上のタグ情報を前記コンテンツデータと紐付けてコンテンツデータベースに登録し、
    　ユーザを含むコンテンツ視聴環境から検出される情報に基づいて前記タグ情報を選択し、前記選択されたタグ情報に基づいて１以上の前記コンテンツデータを検索して順次再生し、前記視聴環境からの検出情報の変化に応じて前記コンテンツデータの検索に用いるタグ情報を更新する
    　情報処理方法。
PCT/JP2020/002101 2019-01-30 2020-01-22 情報処理システム、情報処理方法および情報処理装置 WO2020158536A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080010488.XA CN113348451A (zh) 2019-01-30 2020-01-22 信息处理系统、信息处理方法和信息处理设备
JP2020569544A JP7512900B2 (ja) 2019-01-30 2020-01-22 情報処理システム、情報処理方法および情報処理装置
US17/424,726 US20210390140A1 (en) 2019-01-30 2020-01-22 Information processing system, information processing method, and information processing apparatus
EP20747831.4A EP3920046A4 (en) 2019-01-30 2020-01-22 INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-014436 2019-01-30
JP2019014436 2019-01-30

Publications (1)

Publication Number Publication Date
WO2020158536A1 true WO2020158536A1 (ja) 2020-08-06

Family

ID=71840944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002101 WO2020158536A1 (ja) 2019-01-30 2020-01-22 情報処理システム、情報処理方法および情報処理装置

Country Status (5)

Country Link
US (1) US20210390140A1 (ja)
EP (1) EP3920046A4 (ja)
JP (1) JP7512900B2 (ja)
CN (1) CN113348451A (ja)
WO (1) WO2020158536A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071799A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理方法及び情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224715A (ja) 2009-03-23 2010-10-07 Olympus Corp 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP2011512696A (ja) * 2007-12-21 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マッチされた通信装置
JP2013054417A (ja) 2011-09-01 2013-03-21 Kddi Corp コンテンツに対するタグ付けプログラム、サーバ及び端末

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020078070A1 (en) * 2000-12-18 2002-06-20 Philips Electronics North America Corp. Calendar software application with personal and historical data
WO2008126347A1 (ja) * 2007-03-16 2008-10-23 Panasonic Corporation 音声分析装置、音声分析方法、音声分析プログラム、及びシステム集積回路
KR20090030733A (ko) * 2007-09-21 2009-03-25 고훈 카메라가 내장된 휴대기기의 일기 관리시스템 및 일기관리방법
JP5941903B2 (ja) * 2010-04-07 2016-06-29 ライブパーソン， インコーポレイテッド カスタマイズされたウェブコンテンツおよびアプリケーションを動的にイネーブルにするためのシステムおよび方法
WO2015031671A1 (en) * 2013-08-30 2015-03-05 Biscotti Inc. Physical presence and advertising
US10430986B2 (en) * 2013-10-10 2019-10-01 Pushd, Inc. Clustering photographs for display on a digital picture frame
US9804820B2 (en) * 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US20150317353A1 (en) * 2014-05-02 2015-11-05 At&T Intellectual Property I, L.P. Context and activity-driven playlist modification
US11170037B2 (en) * 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US9781392B2 (en) * 2015-09-16 2017-10-03 Intel Corporation Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
US10235367B2 (en) * 2016-01-11 2019-03-19 Microsoft Technology Licensing, Llc Organization, retrieval, annotation and presentation of media data files using signals captured from a viewing environment
CN107015998A (zh) * 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 一种图片处理方法、装置和智能终端
US10120882B2 (en) * 2016-02-17 2018-11-06 Google Llc Methods, systems, and media for storing information associated with content presented on a media presentation device
US10324973B2 (en) * 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
KR101754093B1 (ko) * 2016-09-01 2017-07-05 성기봉 기록이 자동으로 분류되어 저장되는 개인기록 관리 시스템
US11070501B2 (en) * 2017-01-31 2021-07-20 Verizon Media Inc. Computerized system and method for automatically determining and providing digital content within an electronic communication system
US10740383B2 (en) * 2017-06-04 2020-08-11 Apple Inc. Mood determination of a collection of media content items
KR101871779B1 (ko) * 2017-07-07 2018-06-27 김태수 사진 촬영 및 관리 어플리케이션을 구비한 단말기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011512696A (ja) * 2007-12-21 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マッチされた通信装置
JP2010224715A (ja) 2009-03-23 2010-10-07 Olympus Corp 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP2013054417A (ja) 2011-09-01 2013-03-21 Kddi Corp コンテンツに対するタグ付けプログラム、サーバ及び端末

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3920046A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071799A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理方法及び情報処理システム
JP7170076B2 (ja) 2020-10-28 2022-11-11 株式会社日本総合研究所 情報処理方法及び情報処理システム

Also Published As

Publication number Publication date
JP7512900B2 (ja) 2024-07-09
CN113348451A (zh) 2021-09-03
US20210390140A1 (en) 2021-12-16
EP3920046A4 (en) 2022-03-09
JPWO2020158536A1 (ja) 2021-12-02
EP3920046A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
JP5790509B2 (ja) 画像再生装置、画像再生プログラム、及び画像再生方法
US10659499B2 (en) Providing selectable content items in communications
JP5520585B2 (ja) 情報処理装置
Verser et al. Managing voter impressions: The use of images on presidential candidate web sites during the 2000 campaign
CN110140138A (zh) 本地设备的内容数据的确定、传输和存储
US20080028294A1 (en) Method and system for managing and maintaining multimedia content
US20160041981A1 (en) Enhanced cascaded object-related content provision system and method
CN108235765A (zh) 一种故事相册的显示方法及装置
JP2014110006A (ja) サーバシステム、端末装置及びプログラム
KR20120097396A (ko) 이미지 처리 방법, 장치 또는 시스템
JP2005527158A (ja) プレゼンテーションシンセサイザ
CN103516712A (zh) 装置、信息处理方法和程序
JP5779938B2 (ja) プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム
JP2008139948A (ja) 投稿画像評価装置、投稿画像評価方法および画像表示装置
WO2020158536A1 (ja) 情報処理システム、情報処理方法および情報処理装置
JP5532661B2 (ja) 画像抽出プログラムおよび画像抽出装置
KR20140083637A (ko) 사용자의 감성에 기반한 맞춤형 콘텐츠를 제공하는 서버 및 방법
WO2019082606A1 (ja) コンテンツ管理機器、コンテンツ管理システム、および、制御方法
JP6169382B2 (ja) 共有情報提供システム
JP5444409B2 (ja) 画像表示システム
JP2020177373A (ja) 情報伝達システムおよびプログラム
JP4961760B2 (ja) コンテンツ出力装置、及びコンテンツ出力方法
JP5430039B2 (ja) サーバ装置、情報処理方法、およびプログラム
WO2023058101A1 (ja) 動画再生支援システム、動画再生支援方法及びプログラム
JP5078723B2 (ja) 画像群再生装置、画像群再生方法、および画像群再生用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20747831

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569544

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020747831

Country of ref document: EP

Effective date: 20210830