Nothing Special   »   [go: up one dir, main page]

WO2017060994A1 - コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法 - Google Patents

コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法 Download PDF

Info

Publication number
WO2017060994A1
WO2017060994A1 PCT/JP2015/078535 JP2015078535W WO2017060994A1 WO 2017060994 A1 WO2017060994 A1 WO 2017060994A1 JP 2015078535 W JP2015078535 W JP 2015078535W WO 2017060994 A1 WO2017060994 A1 WO 2017060994A1
Authority
WO
WIPO (PCT)
Prior art keywords
understanding
information
content
user
difficulty
Prior art date
Application number
PCT/JP2015/078535
Other languages
English (en)
French (fr)
Inventor
ミャオメイ レイ
利昇 三好
芳樹 丹羽
佐藤　大樹
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2017544121A priority Critical patent/JP6469242B2/ja
Priority to PCT/JP2015/078535 priority patent/WO2017060994A1/ja
Priority to US15/766,633 priority patent/US10699057B2/en
Publication of WO2017060994A1 publication Critical patent/WO2017060994A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue

Definitions

  • the present invention relates to a system and method for controlling information to be presented to a user who refers to content.
  • Methods for non-invasive measurement of brain activity include electroencephalogram measurement, functional nuclear magnetic resonance imaging (fMRI), magnetoencephalography, near infrared light measurement.
  • fMRI functional nuclear magnetic resonance imaging
  • NIRS Near-InfraRed Spectroscopy
  • Patent Document 1 JP-A-2011-150408
  • the internal state (visual attention, working memory, skill proficiency, etc.) from the biological measurement signal of the operator is estimated by applying a machine learning algorithm.
  • Patent Literature 1 describes a method for estimating an internal state from a user's biological measurement signal, but it is necessary to identify the cause of the internal state and to improve the internal state. It cannot be controlled.
  • Patent Literature 1 can estimate the user's degree of understanding of the information from the biological measurement signal of the user who refers to the presented information.
  • the user Cannot identify the cause of the inability to understand the information.
  • the technique described in Patent Document 1 cannot present information according to a cause that is not understood.
  • an objective understanding level of a user for presented information and a cause when the information cannot be understood are specified, and information corresponding to the understanding level and the cause is presented.
  • a system for controlling information to be presented to a user who refers to content composed of a plurality of elements including a processor, a storage device, and an output device, wherein the storage device includes the content and the plurality Holding difficulty level information indicating the difficulty level of each of the elements, and presentation information corresponding to each understanding type indicating a reason why the user cannot understand the content, and the processor outputs the content to the output device.
  • the user's biological information at the time when each element included in the content is output to the output device is acquired, and the user's understanding of each element included in the content is acquired based on each of the acquired biological information
  • the user does not understand the content based on the calculated understanding level.
  • determining the understanding type based on the calculated understanding level and the level of difficulty indicated by the difficulty level information of the element whose understanding level is equal to or less than the first threshold, and presenting corresponding to the determined understanding type
  • a system for outputting information to the output device including a processor, a storage device, and an output device, wherein the storage device
  • the user's objective understanding of the presented information and the cause when the information cannot be understood are specified, and the information corresponding to the understanding and the cause is presented. can do.
  • FIG. 1 is a block diagram illustrating a configuration example of an interactive device in Embodiment 1.
  • FIG. 4 is an example of text included in text data in the first embodiment.
  • 6 is a flowchart illustrating an example of information presentation processing according to the first exemplary embodiment.
  • 3 is an example of a content selection screen according to the first embodiment.
  • 10 is a flowchart illustrating an example of a difficulty level analysis process for presentation information according to the first exemplary embodiment. 4 is an example of a difficulty level analysis result in Example 1.
  • FIG. 3 is an example of hemoglobin concentration data in Example 1. It is a block diagram which shows the structural example of the measurement system in Example 1.
  • FIG. is a block diagram which shows the structural example of the dictionary generation apparatus for comprehension degree discrimination
  • FIG. 10 is a flowchart illustrating an example of a collation process between a content difficulty level and a user understanding level determination result according to the first exemplary embodiment. It is an example of the collation result in Example 1. It is an example of the time synchronization result in Example 1.
  • 6 is a flowchart illustrating an example of an understanding type determination process according to the first embodiment. It is an example of the understanding type result in Example 1.
  • 6 is a flowchart illustrating an example of a presentation information control process according to the first embodiment.
  • Example 3 is an example of control content in the first embodiment. It is an example of the warning message output on the touch panel in Example 1.
  • Example 1 it is an example of a user interface in case a user does not understand a word is an understanding type.
  • FIG. 10 is an example of a user interface in the first embodiment when the user does not understand the syntax is an understanding type.
  • FIG. 10 is an example of a user interface when the understanding type is that the user does not understand the topic in the first embodiment.
  • FIG. 10 is an example of a user interface when the voice speed is the understanding type in the first embodiment.
  • FIG. FIG. 10 is an example of a user interface in the case where the understanding type indicates that there is a voice in the first embodiment.
  • This embodiment describes an interactive system.
  • the interactive system presents information to the user, and calculates the user's degree of understanding of the information from the user's biological information referring to the information.
  • the dialogue system compares the calculated degree of understanding with the degree of difficulty of the presented information to identify an understanding type that indicates the cause that the user cannot understand the information, and then presents it according to the degree of understanding and the understanding type. To control what information.
  • Fig. 1 shows a configuration example of a dialogue system.
  • the dialogue system 101 includes, for example, a dialogue device 102, a touch panel 103, and a biological information measuring instrument 104.
  • the interactive device 102 is configured by a computer including a processor (CPU) 121, an auxiliary storage device 105, a memory 106, an input / output interface 122, and a communication interface 123, for example.
  • the processor 121 executes a program stored in the memory 106.
  • the memory 106 includes a ROM that is a nonvolatile storage element and a RAM that is a volatile storage element.
  • the ROM stores an immutable program (for example, BIOS).
  • BIOS basic input/output
  • the RAM is a high-speed and volatile storage element such as a DRAM (Dynamic Random Access Memory), and temporarily stores a program executed by the processor 121 and data used when the program is executed.
  • the auxiliary storage device 105 is a large-capacity non-volatile storage device such as a magnetic storage device (HDD) or a flash memory (SSD), and stores a program executed by the processor 121 and data used when the program is executed. To do.
  • HDD magnetic storage device
  • SSD flash memory
  • the input / output interface 122 is an interface to which the touch panel 103 or the like is connected, receives an input from an operator or the like, and outputs the execution result of the program in a format that can be visually recognized by the operator or the like.
  • the touch panel 103 receives character input and voice input from the user, and outputs character information and voice information.
  • the input / output interface 122 may be connected to input devices such as a keyboard, a mouse, and a microphone, and output devices such as a display device, a printer, and a speaker.
  • the communication interface 123 is a network interface device that controls communication with other devices according to a predetermined protocol.
  • the communication interface 123 includes a serial interface such as USB.
  • the communication interface 123 is connected to the biological information measuring instrument 104 that measures the biological information of the user.
  • the biological information measuring device 104 may acquire brain function information by another measurement method such as magnetic field measurement.
  • the program executed by the processor 121 is provided to the interactive device 102 via a removable medium (CD-ROM, flash memory, etc.) or a network, and is stored in the nonvolatile auxiliary storage device 105 that is a non-temporary storage medium. Good. For this reason, the dialogue apparatus 102 may have an interface for reading data from a removable medium.
  • the interactive device 102 is a computer system configured on a single computer or a plurality of computers configured logically or physically, and operates in a separate thread on the same computer. Alternatively, it may operate on a virtual machine constructed on a plurality of physical computer resources.
  • the auxiliary storage device 105 stores, for example, text data 107, audio data 108, and understanding level determination dictionary data 109.
  • the text data 107 includes a plurality of texts. For example, a news article, a book that the user is interested in, a textbook or a reference book for each subject of elementary school, junior high school, and high school are examples of each text included in the text data 107. Further, the contents of advertisements in marketing and the contents that the administrator wants to advertise are examples of each text included in the text data 107. Details of each text included in the text data 107 will be described later.
  • the voice data 108 includes a voice associated with each of a plurality of texts included in the text data 107.
  • Each voice included in the voice data includes content equivalent to the corresponding text.
  • Each of the sounds included in the sound data is, for example, a synthesized sound that can adjust speed and beat.
  • the dialogue apparatus 102 may have a function of newly adding, deleting, and editing the text data 107 and the voice data 108 as necessary.
  • the understanding level discrimination dictionary data 109 stores in advance the understanding level discrimination dictionary generated by the understanding level discrimination dictionary generation process described later. Details of the comprehension determination dictionary will be described later.
  • the memory 106 includes an information presentation unit 110, a difficulty level analysis unit 111, a biological information acquisition unit 112, an understanding level determination unit 113, a matching unit 114, an understanding type determination unit 115, and an information control unit 116, which are programs.
  • the program is executed by the processor 121 to perform a predetermined process using a storage device and a communication port (communication device). Therefore, the description with the program as the subject in the present embodiment may be an explanation with the processor 121 as the subject.
  • the process executed by the program is a process performed by a computer and a computer system on which the program operates.
  • the processor 121 operates as a functional unit (means) that realizes a predetermined function by operating according to a program.
  • the processor 121 functions as an information presentation unit (information presentation unit) by operating according to the information presentation unit 110, and functions as a difficulty level analysis unit (difficulty level analysis unit) by operating according to the difficulty level analysis unit 111. .
  • the processor 121 also operates as a functional unit (means) that realizes each of a plurality of processes executed by each program.
  • a computer and a computer system are an apparatus and a system including these functional units (means).
  • the information presentation unit 110 outputs the content of the text data 107 and / or the audio data 108 selected according to the instruction from the user, for example, to the touch panel 103 as presentation information.
  • the content consists of a plurality of elements. For example, when the content is text data, each word included in the text data is an example of a content element.
  • the biometric information acquisition unit 112 acquires a time series of the user's biometric information measured by the biometric information measuring device 104 when the user understands the presentation information output by the information presentation unit 110.
  • User understanding activity refers to an activity in which the user understands the presentation information with one of the five senses. For example, reading the presentation information in the text format by the user and listening to the presentation information in the voice format are examples of the user's understanding activities.
  • the time series of biological information in the present embodiment indicates biological information at two or more time points.
  • each time series of biological information includes signals of one or more channels.
  • the brain activity signal is an example of biological information.
  • the difficulty analysis unit 111 analyzes the difficulty of the text content included in the text data and the audio content included in the audio data at the presentation time.
  • the understanding level determination unit 113 refers to the understanding level determination dictionary included in the understanding level determination dictionary data 109, and from the time series of the biological information at the time of the user's understanding activity on the presentation information acquired by the biological information acquisition unit 112, The user's degree of understanding of the presentation information at each time is calculated.
  • the collation unit 114 collates the user's understanding level calculated by the understanding level determination unit 113 with the difficulty level of the presentation information analyzed by the difficulty level analysis unit 111, and synchronizes the time.
  • the understanding type determination unit 115 determines the understanding type of the user based on the time synchronization result of the matching unit 114.
  • the user understanding type indicates a reason why the user cannot understand the content when the user does not understand the content.
  • the information control unit 116 controls information to be next presented to the user based on the user's understanding type determined by the understanding type determination unit 115.
  • FIG. 2 is an example of text included in the text data 107.
  • a text 200 is an example of a text of a news article in English learning for a Japanese user.
  • the text 200 includes, for example, a content type 201, a background 202, content 203, and a word interpretation 204.
  • the content type 201 includes a keyword indicating the type of content of the text 200.
  • the content of the text 200 is written in English about brain science news.
  • the background 202 includes background knowledge of the content of the text 200.
  • the background 202 may include background knowledge of multiple types of languages. In the example of FIG. 2, the background 202 includes background knowledge of the English version and the Japanese version. Further, the background 202 may include image data such as a photograph related to the background knowledge of the content.
  • the content 203 includes a plurality of versions of content.
  • the content 203 includes a plurality of versions of content corresponding to the word level and syntax level used in the content.
  • the content 203 holds information indicating a time (for example, a time based on the output start time) at which a word included in the content is output via the touch panel 103.
  • “Version 1: Easy Level” in FIG. 2 is a word having 1000 or less vocabulary
  • “Version 2: Intermediate Level” is a word having 1000 to 5000 vocabulary
  • “Version 3: Advanced Level” is a word having 5000 or more vocabulary.
  • a level is assigned in advance to each version of content.
  • the word interpretation 204 includes, for example, the meaning of a word having a high difficulty level included in the corresponding version of the content.
  • the difficulty level analysis unit 111 may assign a level to each version of content included in the content 203.
  • the difficulty level analysis unit 111 assigns a level with reference to a corpus, for example.
  • the corpus is, for example, a text database in a text format that includes texts in English textbooks from elementary schools to universities, English news articles, and the like.
  • the corpus may be stored in the auxiliary storage device 105, for example, or may be stored in another computer connected to the interactive device 102.
  • the difficulty level analysis unit 111 acquires, for example, a predetermined number or more of sentences from the corpus, sorts words included in the acquired sentences in descending order of appearance frequency, and sets a plurality of sorted word sets for each predetermined number of words. Divide into hierarchies. Hereinafter, a hierarchy having a low appearance frequency is defined as a hierarchy corresponding to a high level.
  • the difficulty level analysis unit 111 determines that the content corresponding to the Nth hierarchy is included in the Nth hierarchy when words of a predetermined ratio or more included in the content are included in the Nth hierarchy and not included in the (N ⁇ 1) th hierarchy. Is granted. For example, when the lower limit of the Nth hierarchy is 1000 words and the upper limit is 2000 words, the level corresponding to the Nth hierarchy indicates a level of 1000 to 2000 words.
  • FIG. 3 shows an example of information presentation processing performed by the information presentation unit 110.
  • the information presentation unit 110 selects the text format content stored in the text data 107 and / or the audio format content corresponding to the content stored in the audio data 108 in accordance with an input from the user via the touch panel 103. (S301).
  • the information presentation unit 110 accepts input of content type and version.
  • the information presentation unit 110 selects the text having the input content type 201 from the text data 107 and selects the input version of the content from the text content 203.
  • the information presentation unit 110 may select one text from the plurality of texts at random, or present the plurality of texts to the user.
  • the text may be selected in accordance with an input from the user.
  • the information presentation unit 110 acquires content in an audio format corresponding to the selected content from the audio data 108.
  • the information presentation unit 110 selects the presentation format of the content selected in step S301 in accordance with an input from the user via the touch panel 103 (S302). Specifically, for example, the information presenting unit 110 receives and inputs information indicating whether the content is presented in either text format or audio format, or both text format and audio format. Select the presentation format according to the information.
  • the information presentation unit 110 selects both the text format and the audio format.
  • the processing when either the text format or the audio format is selected is also described below. It is the same.
  • the information presentation unit 110 outputs the content selected in step S301 to the touch panel 103 according to the time information included in the content 203 corresponding to the selected content in the presentation format selected in step S302. (S303).
  • the information presentation unit 110 may select the content and the presentation format from the content included in the text data 107 and / or the content included in the audio data 108, for example, at random.
  • FIG. 4 shows an example of a content selection screen which is a user interface for the user to select content.
  • the content selection screen 400 includes, for example, a content type selection section 401, a version selection section 402, and a presentation format selection section 403.
  • the content type selection section 401 receives an input of content type.
  • the user can select a content type from subject-specific, foreign language, format, and topic selection in the content type selection section 401.
  • the content type selection section 401 may accept an input of content type by accepting an input of a keyword.
  • the version selection section 402 accepts version input.
  • the user can select a version from beginner, intermediate, and advanced.
  • the presentation format selection section 403 receives an input for selecting a presentation format.
  • FIG. 4 shows an example in which a middle-level text content including foreign language, English, news article, and brain science in the content type 201 is selected, and a text and audio presentation format is selected.
  • the information presentation unit 110 may display the content type of the content that the user may be interested in “recommended” in the content type selection section 401 based on the content selection history by the user.
  • FIG. 5 shows an example of the difficulty level analysis process of the presentation information performed by the difficulty level analysis unit 111.
  • the difficulty level analysis unit 111 scores the difficulty level of text data and voice data presented by the information presentation unit 110.
  • the difficulty level analysis unit 111 acquires the content presented by the information presentation unit 110 and the output time of each word included in the content from the information presentation unit 110 (S501). Here, it is assumed that the difficulty level analysis unit 111 receives both text content input and audio content input. The difficulty level analysis unit 111 determines the difficulty level of the input text format content and audio format content (S502).
  • the difficulty level analysis unit 111 determines the difficulty level of text content based on, for example, criteria such as words and syntax used in the content. Further, the difficulty level analysis unit 111 determines the difficulty level of the content in the audio format based on, for example, a reference such as a speed and a hit of the content to be reproduced. A specific example of the difficulty level determination method will be described later.
  • the difficulty level analysis unit outputs the difficulty level analysis result generated in step S502 and stores it in the memory 106, for example (S503).
  • FIG. 6 is an example of the difficulty analysis result generated by the difficulty analysis unit 111.
  • FIG. 6 is an example of the difficulty level analysis result of English content used for English education.
  • the difficulty analysis result 600 includes, for example, a time 601, a word 602, a word difficulty 603, a syntax difficulty 604, a speed difficulty 605, and a hit difficulty 606.
  • the time 601 indicates the time when the corresponding word 602 is displayed on the touch panel 103 as text and output from the touch panel 103 as sound, for example.
  • the word 602 indicates a word included in the content.
  • the words included in the word 602 are extracted from the sentences included in the content by the difficulty level analysis unit 111 using, for example, morphological analysis. Further, the content included in the text data 107 and the audio data 108 may be divided in units of words in advance.
  • the word difficulty level 603 indicates the difficulty level of each corresponding word 602.
  • the difficulty level analysis unit 111 calculates, for example, the appearance rate of each word in the corpus (number of appearances of the word in the corpus / total number of words including duplication in the corpus).
  • a difficulty level analysis unit determines a value obtained by substituting the calculated appearance rate into a predetermined decreasing function having a range of 0.0 to 1.0 as the word difficulty level 603 of the word.
  • a word having a low appearance rate in the corpus is regarded as a word having a high word difficulty, that is, a difficult word, and a word having a high appearance rate is regarded as having a low word difficulty, that is, a simple word.
  • the syntax difficulty level 604 indicates the difficulty level of each corresponding word 602.
  • the difficulty level analysis unit 111 searches for a syntax to which each word belongs using means such as syntax analysis.
  • a noun phrase, a verb phrase, a verb phrase with an auxiliary verb, a continuous modification phrase, a combination modification phrase, a proper expression, etc. are examples of syntax.
  • a word may belong to more than one syntax or may not belong to any syntax.
  • the difficulty analysis unit 111 calculates the appearance rate in the corpus of each syntax to which each word belongs (number of appearances in the corpus of the syntax / total number of syntaxes including duplication in the corpus). For each word, the difficulty level analysis unit 111 selects, for example, the lowest appearance rate from the appearance rate of the syntax to which the word belongs. A value obtained by assigning the selected appearance rate to a predetermined decreasing function having a range of 0.0 to 1.0 is determined as the syntax difficulty 604 of the word. Further, the difficulty level analysis unit 111 determines the syntax difficulty level 604 of a word that does not belong to any syntax, for example, 0.0. Thereby, a word belonging to a syntax having a low appearance rate in the corpus is regarded as a word having a high syntax difficulty level, and a word having a high appearance rate is regarded as a word having a low syntax difficulty level.
  • the difficulty level analysis unit 111 may, for example, select an appearance rate at random instead of selecting the lowest appearance rate from the appearance rate of the syntax to which the word belongs, or the appearance rate of the syntax to which the word belongs. An average value or the like may be calculated.
  • the speed difficulty 605 indicates the difficulty according to the speed when the corresponding word 602 is read out as audio content.
  • the speed difficulty level 605 is given by, for example, a deviation from the speed of the standard word speech.
  • the difficulty level analysis unit 111 calculates the speed difficulty level 605 of each word.
  • the difficulty level analysis unit 111 acquires the same word as each word from, for example, a speech corpus.
  • the speech corpus is a text database in a speech format that includes, for example, a voice that is read out in English as a standard language from an elementary school to a university, or a voice that is read out in English as a news article in English.
  • the voice corpus may be stored, for example, in the auxiliary storage device 105 or may be stored in another computer connected to the interactive device 102.
  • the difficulty level analysis unit 111 calculates, for example, the average speed of the same word as the word acquired from the speech corpus for each word, and determines the deviation from the average speed as the speed of the word. For example, a speed slower than the average speed is given as a negative value, and a speed faster than the average speed is given as a positive value.
  • the difficulty level analysis unit 111 determines the value obtained by substituting the determined speed into a predetermined increase function having a value range of 0.0 to 1.0, for example, as the speed difficulty level 605. Thereby, a word with high speed is regarded as a word with high speed difficulty, and a word with low speed is regarded as a word with low speed difficulty.
  • the difficulty level 606 indicates the difficulty level due to the speech when the corresponding word 602 is read out as audio content.
  • the difficulty level analysis unit 111 generates a parameter indicating the accent of each word, for example.
  • the difficulty level analysis unit 111 calculates the average parameter of the accent of the same word acquired from within the speech corpus, and uses the absolute value of the deviation from the average parameter as the beat of the word. decide.
  • the difficulty analysis unit 111 determines a value obtained by substituting the determined beat for a predetermined increase function having a range of 0.0 to 1.0, for example, as the beat difficulty 606.
  • a word having a large deviation from the accent of the standard word is regarded as a word having a high difficulty level
  • a word having a small difference is regarded as a word having a low difficulty level.
  • the difficulty level analysis unit 111 determines the difficulty level of each type of each word through the above processing.
  • the difficulty level of each kind in a present Example shows that the parameter
  • FIG. 7 is an example of hemoglobin concentration data that is an example of biological information acquired by the biological information acquisition unit 112.
  • the example of the hemoglobin concentration data in FIG. 7 shows a time series of the oxygenated hemoglobin concentration and the reduced hemoglobin concentration of the user who performs the understanding activity.
  • the near-infrared light measurement device which is an example of the biological information measuring instrument 104, uses near-infrared spectroscopy, and oxyhemoglobin concentration and / or reduced hemoglobin concentration in blood at a plurality of measurement sites on the surface of the user's brain. Measure the time series of.
  • the biological information measuring device 104 may measure, for example, the hemoglobin concentration in the whole brain, or may measure the hemoglobin concentration in only the frontal lobe where the language field that understands the language and the cognitive activity.
  • the biological information measuring device 104 irradiates the living body with near infrared light, for example. The irradiated light enters the living body, is scattered and absorbed in the living body, and the living body information measuring device 104 detects the light that has propagated out.
  • the biological information measuring instrument 104 performs measurement using, for example, a method described in Patent Document 1 for obtaining a blood flow change in the brain from an internal state when the user performs an understanding activity.
  • the biological information acquisition unit 112 acquires the hemoglobin concentration measured by the biological information measuring device 104 and the hemoglobin concentration when the user performs an understanding activity.
  • FIG. 8 shows a configuration example of a measurement system that measures brain measurement data used to generate an understanding level discrimination dictionary stored in the understanding level discrimination dictionary data 109.
  • the measurement system 801 includes a measurement management device 802, a touch panel 803, and a biological information measuring instrument 804.
  • the measurement management device 802 includes, for example, a computer including a processor (CPU) 821, an auxiliary storage device 805, a memory 806, an input / output interface 822, and a communication interface 823.
  • the touch panel 803, the biological information measuring instrument 804, the processor (CPU) 821, the auxiliary storage device 805, the memory 806, the input / output interface 822, and the communication interface 823 are each described in the touch panel 103, the biological information measuring instrument 104, and the processor (CPU).
  • the auxiliary storage device 105, the memory 106, the input / output interface 122, and the communication interface 123 are the same as those described above, and will not be described.
  • the memory 806 includes an information presentation unit 811 and a biological information acquisition unit 812, each of which is a program.
  • the auxiliary storage device 805 stores, for example, text data 807, voice data 808, and biometric data 810.
  • the description of the text data 807 and the sound data 808 is the same as the description of the text data 107 and the sound data 108, and will not be repeated.
  • the content included in the text data 807 and the audio data 808 may be the same as or different from the content included in the text data 107 and the audio data 108.
  • the biological data 810 stores the biological information acquired by the biological information acquisition unit 812.
  • the information presentation unit 811 selects content from the text data 807 and / or audio data 808 in accordance with an instruction from the user, for example, and presents the selected content to the user via the touch panel 803.
  • the information presentation unit 811 selects content that is well understood by the user and content that is difficult to understand in accordance with an instruction from the user.
  • both the biological information in a state in which the user understands the information presented by the biological information acquisition unit 812 and the biological information in a state in which the user does not understand can be acquired.
  • the user is Japanese
  • the text written in Japanese words at the elementary school level is an example of the content understood by the user, and written in a foreign language that the user has never studied.
  • a sentence is an example of content that is difficult for the user to understand.
  • the biometric information acquisition unit 812 acquires biometric information of a user who performs an understanding activity on the presentation information presented by the information presentation unit 811 from the biometric information measuring device 804, and uses the acquired biometric information as time-series data. Biometric information for content that is understood and biometric information for content that is difficult for the user to understand may be stored separately in biometric data 810. The biometric information acquisition unit 812 may add a user identifier to each acquired biometric information and store the biometric information in the biometric data 810.
  • FIG. 9 shows an example of the configuration of an understanding level discrimination dictionary generating apparatus that generates an understanding level discrimination dictionary stored in the understanding level discrimination dictionary data 109.
  • the comprehension level determination dictionary generation device 902 is configured by a computer including a processor (CPU) 921, an auxiliary storage device 905, a memory 906, an input / output interface 922, and a communication interface 923, for example.
  • the processor (CPU) 921, auxiliary storage device 905, memory 906, input / output interface 922, and communication interface 923 are each described with respect to the processor (CPU) 121, auxiliary storage device 105, memory 106, input / output interface 122, and communication interface.
  • the description of each of 123 is omitted because it is the same as that described above.
  • the memory 906 includes an understanding level discrimination dictionary generation unit 911 which is a program.
  • the understanding level discrimination dictionary generation unit 911 uses the information stored in the biometric data 910 to generate an understanding level discrimination dictionary, and stores the generated understanding level discrimination dictionary in the understanding level discrimination dictionary data 909.
  • the auxiliary storage device 905 stores the understanding level discrimination dictionary data 909 and the biometric data 910.
  • the understanding level determination dictionary data 909 generates the understanding level determination dictionary created by the understanding level determination dictionary generation unit 911.
  • the biometric data 910 stores biometric information equivalent to the biometric information stored in the biometric data 810 in advance.
  • the dialogue system 101, the measurement system 801, and the understanding level determination dictionary generation device 902 are described as separate systems, but may be a single system.
  • FIG. 10 shows an example of a dictionary generation process for understanding degree discrimination.
  • the understanding level discriminating dictionary generation unit 911 includes a plurality of time series of biometric information for content that is well understood by the user and a plurality of time series of biometric information for content that is difficult for the user to understand.
  • the understanding level determination dictionary generation unit 911 generates an understanding level determination dictionary from the training data generated from the acquired data.
  • the understanding level determination dictionary generation unit 911 performs preprocessing on the signals of the respective channels included in the time series of the biological information acquired in step S1001 (S1002).
  • a near-infrared light measurement device which is an example of the biological information measuring instrument 804, performs measurement using a non-invasive cerebral hemodynamic measurement method using light. Signals related to brain activity and information related to systemic hemodynamics such as heart rate variability are included.
  • the understanding level determination dictionary generation unit 911 performs preprocessing for removing noise, which is information not related to the level of understanding of content, on the acquired biometric information, thereby improving the accuracy of the understanding level determination dictionary. Can be increased.
  • the understanding level discrimination dictionary generation unit 911 performs preprocessing in step S1002 using an algorithm such as a frequency bandpass filter, polynomial baseline correction, principal component analysis, or independent component analysis.
  • the understanding level discrimination dictionary generation unit 911 extracts only essential features necessary for understanding level understanding from each time series of the preprocessed biological information (S1003). Specifically, for each time series that has undergone the preprocessing in step S1002, the understanding level determination dictionary generation unit 911 obtains a feature vector at one or more sample times from the signal of the channel included in the time series. calculate. Each sample time is, for example, a predetermined time interval.
  • the understanding level determination dictionary generation unit 1011 calculates a feature vector at a sample time t from a time series having biological information.
  • the time at the start of understanding activities is set to zero.
  • the understanding level discrimination dictionary generation unit 911 sets a time window including the sample time t.
  • the understanding level discrimination dictionary generation unit 911 sets a time window from t ⁇ to t + ⁇ for a predetermined positive number ⁇ .
  • the comprehension determination dictionary generation unit 911 cuts out a signal from time t ⁇ to time t + ⁇ from the signal of each channel included in the time series subjected to the preprocessing in step S1002.
  • the understanding level discrimination dictionary generation unit 911 calculates a predetermined basic statistic (for example, peak amplitude value, average value, variance, gradient, skewness, kurtosis, etc.) from the extracted signal of each channel.
  • the comprehension determination dictionary generation unit 911 selects a channel signal with the highest sensitivity based on the calculated basic statistics.
  • a highly sensitive channel refers to a channel that strongly reflects the characteristics of the signal in the time window.
  • the f value of dispersion, the peak amplitude value, and the slope are examples of sensitivity.
  • the understanding level determination dictionary generation unit 911 generates a feature vector having one or more types of basic statistics as elements.
  • the understanding level discrimination dictionary generation unit 911 generates a discrimination function by optimizing the parameters of the classification algorithm using the generated feature vector (S1004).
  • the identification function is a function that receives a feature vector at a certain time generated from a time series of biological information at the time of the user's understanding activity and outputs the degree of understanding of the user at the understanding activity at the time.
  • the degree of understanding is given by a numerical value of 0 or more and 1.0 or less, that is, the value range of the discrimination function is 0 or more and 1.0 or less. The higher the value of the understanding level, the more the user understands the content that is the object of the understanding activity at the time.
  • step S1004 The optimization of the parameters of the classification algorithm in step S1004 is performed by the user so that the degree of understanding becomes as high as possible when, for example, a feature vector corresponding to a time series of biological information with respect to content that the user understands well is input. This indicates that the parameters of the classification algorithm are determined so that the understanding level is as low as possible when a feature vector corresponding to a time series of biological information for difficult content is input.
  • the support vector machine based on the margin maximization principle, linear discriminant analysis, sparse logistic regression, logistic regression, nonlinear classification algorithm hidden Markov model, neural network, etc. are examples of classification algorithms.
  • the understanding level discrimination dictionary generation unit 911 includes the generated discriminant function in the understanding level discrimination dictionary, and stores the understanding level discrimination dictionary in the understanding level discrimination dictionary data 909 (S1005). Further, the understanding level discrimination dictionary generation unit 911 calculates a class (understood / not understood) to which each feature vector belongs by collating the generated feature vector with the generated identification function, The correspondence between each feature vector and the class to which it belongs may be included in the understanding level determination dictionary.
  • the feature vector belongs to the “understanding” class, and if the degree of understanding corresponding to the feature vector is less than the predetermined value, the feature vector is Assume that you belong to a class that you do not understand.
  • understanding level determination dictionary is a general-purpose understanding level determination dictionary that can be applied to any user, but biological information such as brain measurement results has a characteristic pattern for each user. Therefore, for example, when the user identifier is given to the time series of the biological information stored in the biological data 910, the understanding level determination dictionary generation unit 911 creates an understanding level determination dictionary for each user. May be. In the understanding level determination process to be described later, the understanding level determination unit 113 calculates an understanding level using the understanding level determination dictionary for each user, so that a higher level of understanding can be obtained.
  • FIG. 11 shows an example of understanding level determination processing in the dialogue system 101.
  • the understanding level determination unit 113 acquires, from the biological information acquisition unit 112, a time series of the user's biological information when performing an understanding activity on the presented information (S1101).
  • the understanding level determination unit 113 performs preprocessing on the signal of each channel included in the acquired time series of biological information, for example, in the same manner as in step S1002 (S1102).
  • the understanding level determination unit 113 extracts only essential features necessary for understanding level identification from the time series of the preprocessed biological information (S1103). Specifically, the understanding level determination unit 113 generates a feature vector at each time point in time series of biological information that has been preprocessed, for example, in the same manner as in step S1003.
  • the understanding level determination unit 113 assigns the feature vector at each time to the identification function included in the understanding level determination dictionary stored in the understanding level determination dictionary data 109, and calculates the understanding level of the user at each time ( S1104). Note that, when the understanding level determination dictionary stores an identification function for each user, it is preferable that the understanding level determination unit 113 uses an identification function corresponding to the user in step S1104. Subsequently, the understanding level determination unit 113 outputs, for example, the calculated understanding level at each time and stores it in the memory 106 (S1105).
  • FIG. 12 is an example of the understanding level determination result.
  • the understanding level determination result in FIG. 12 indicates the understanding level at each time calculated by the understanding level determination unit 113.
  • FIG. 13 shows an example of a collation process between the difficulty level of the content and the user's understanding level determination result by the collation unit 114.
  • the collation unit 114 collates the difficulty level of the voice data analyzed by the difficulty level analysis unit 111 with the understanding level analyzed by the understanding level determination unit 113 on a time axis, and synchronizes the time (S1301). Subsequently, the collation unit 114 collates the difficulty level of the text analyzed by the difficulty level analysis unit 111 with the understanding level analyzed by the understanding level determination unit 113 on a time axis, and synchronizes the time (S1302).
  • step S1301 and step S1302 the collation unit 114 synchronizes the difficulty level and the understanding level with time, for example, in increments within a certain period of time. Subsequently, the collation unit 114 outputs the difficulty level of the time-synchronized voice data, the difficulty level of the text data, and the understanding level, and stores them in, for example, the memory 106 (S1303).
  • FIG. 14 is an example of a collation result by the collation unit 114.
  • the collation result shows the correspondence between the degree of understanding at each time, the word difficulty and the syntax difficulty of the text data presented by the user at each time, and the speed and utterance of the speech data presented by the user at each time. Show.
  • FIG. 15 shows an example of the time synchronization result of the text difficulty level, the voice difficulty level, and the understanding level.
  • the collation unit 114 collates the understanding level determination result, the text difficulty level, and the voice difficulty level in each section of a predetermined cycle such as 1000 ms at each time, for example.
  • FIG. 16 shows an example of an understanding type determination process by the understanding type determination unit 115.
  • the understanding type determination unit 115 acquires the time synchronization result generated by the collation unit 114 (S1601). For example, when the time when the comprehension level is equal to or less than the first threshold exceeds the first percentage of the comprehension activity time, the comprehension type determination unit 115 determines the text difficulty level information and the voice at each time when the comprehension level is equal to or less than the first threshold value. With reference to the difficulty level information, the understanding type at the time of the user's understanding activity is determined (S1602). When the time during which the degree of understanding is equal to or less than the first threshold is equal to or less than the first ratio of the understanding activity time, the understanding type determination unit 115 determines that the user understands the content.
  • the comprehension type discriminating unit 115 causes the text difficulty level information and the voice at each time of the time group whose comprehension level is 50% or less. And the difficulty level information.
  • the understanding type determination unit 115 determines that the understanding type includes that the user does not understand the word. For example, when there is a time in the time group whose syntax difficulty level is equal to or greater than the third threshold, the understanding type determination unit 115 determines that the understanding type is included because the user does not understand the syntax.
  • the understanding type determination unit 115 determines that the understanding type includes that the speed of the voice is high. For example, when there is a time in the time group in which the difficulty level of speaking is greater than or equal to the fifth threshold, the understanding type determination unit 115 determines that the understanding type includes that the sound is speaking.
  • the understanding type determination unit 115 causes the topic of the content to be the user. Is determined to be included in the understanding type.
  • the understanding type determination unit 115 may narrow down the understanding type, that is, the cause that the user cannot understand the content. For example, the priority is determined in advance for each understanding type, and the understanding type determination unit 115 narrows the plurality of understanding types to a predetermined number of understanding types according to the priority.
  • the understanding type determination unit 115 may determine the priority of each of the plurality of understanding types.
  • the understanding type determination unit 115 indicates that the user does not understand the topic, for example, a value obtained by multiplying the average value of the understanding level by the first weight. The priority corresponding to is determined.
  • the understanding type determination unit 115 sets, for example, the average value of the word difficulty level that is equal to or higher than the second threshold value of the word whose understanding level is equal to or lower than the first threshold value. The value multiplied by the second weight is determined as the priority corresponding to the fact that the user does not understand the word.
  • the understanding type determination unit 115 sets, for example, an average value of the syntax difficulty level that is equal to or higher than the third threshold value of a word whose understanding level is equal to or lower than the first threshold value. The value multiplied by the third weight is determined as the priority corresponding to the fact that the user does not understand the syntax.
  • the understanding type determination unit 115 uses, for example, the fourth weight to the average value of the speed difficulty level that is equal to or higher than the fourth threshold value of the word whose understanding level is equal to or lower than the first threshold value.
  • the value obtained by multiplying is determined as the priority corresponding to the high speed of the voice.
  • the understanding type determination unit 115 sets the fifth weight to the average value of the difficulty of speaking that is equal to or higher than the fifth threshold of words whose understanding is equal to or lower than the first threshold.
  • a value obtained by multiplying by is determined as a priority corresponding to the voice being uttered.
  • FIG. 17 shows an example of the understanding type result.
  • the current user's understanding type is that the word cannot be understood, and it is highly possible that the user cannot understand the entire presented information because the word cannot be understood. That is, the information control unit 116 can improve the degree of understanding of the user by controlling the information to be presented based on the understanding type.
  • FIG. 18 shows an example of presentation information control processing by the information control unit 116.
  • the information control unit 116 acquires the understanding type result determined by the understanding type determination unit 115 (S1801). That is, the understanding type determination unit 115 acquires information indicating whether or not the user understands the content, and further understands the understanding type when the user does not understand the content.
  • the information control unit 116 determines whether the user understands the content according to the acquired understanding type result (S1802). When it is determined that the user does not understand the content (S1802: NO), the information control unit 116 controls the information to be presented according to the understanding type indicated by the understanding type result (S1803), and presents the next information. (S1804). A specific example of the next information in step S1804 in the case of going through step S1803 will be described later. When it is determined that the user understands the content (S1802: YES), the information control unit 116 presents the next information, for example, another content (S1804).
  • FIG. 19 shows an example of control contents in step S1603.
  • the information control unit 116 performs a control process in accordance with a predetermined control content corresponding to the understanding type.
  • the control when the understanding type is a word, the control is “rephrase with a simple word having a vocabulary number of 1000 or less”, and when the understanding type is a syntax, the control is “rephrase with a simple syntax”.
  • FIG. 20 is an example of a warning message output from the information control unit 116 to the touch panel 103. For example, if the information control unit 116 determines in step S1802 that the user does not understand the content, the information control unit 116 outputs the warning message in FIG.
  • the information control unit 116 presents the same information as in step S1804 when the user understands the content in step S1802.
  • step S1803 the information control unit 116 controls information to be presented next according to the understanding type.
  • step S1803 and the step S1804 performed by the user display screen and the information control unit 116 when the user selects the check box corresponding to “information control” will be described.
  • FIG. 21A is an example of a user interface that the information control unit 116 outputs to the touch panel in step S1803 when the user does not understand the word is an understanding type.
  • the user interface displays, for example, a message indicating that the user does not understand the word and a countermeasure, and text-format content in which a word having a word difficulty level equal to or greater than the second threshold is surrounded by a thick frame. Note that words whose degree of understanding is not more than the first threshold and whose word difficulty is not less than the second threshold may be surrounded by a thick frame.
  • the information control unit 116 acquires the meaning of the word surrounded by a thick frame from the word interpretation 204 and outputs it to the touch panel 103. Thereby, the user can understand the meaning of the word with a low understanding level.
  • the information control unit 116 selects a simpler version of the content from the content 203 and outputs it to the touch panel 103.
  • FIG. 21B is an example of a user interface that the information control unit 116 outputs to the touch panel in step S1803 when the user does not understand the syntax is an understanding type.
  • the user interface displays, for example, a message indicating that the user does not understand the syntax and a countermeasure, and text-format content in which words having a syntax difficulty level equal to or greater than the third threshold value are surrounded by a thick frame. Note that words whose degree of understanding is not more than the first threshold and whose syntax difficulty is not less than the third threshold may be surrounded by a thick frame.
  • the information control unit 116 When the user selects the check box corresponding to “as is”, the information control unit 116 performs the same processing as when the understanding type does not include syntax in the next information presentation. When the user selects a check box corresponding to “easy version”, the information control unit 116 selects a simpler version of the content from the content 203 and outputs it to the touch panel 103.
  • FIG. 22A is an example of a user interface that the information control unit 116 outputs to the touch panel in step S1803 when the user does not understand the topic is an understanding type.
  • the user interface displays, for example, a message indicating that the user does not understand the topic and a countermeasure, and text content.
  • the information control unit 116 selects the background knowledge of the Japanese version of the content from the background 202 and outputs it to the touch panel 103.
  • the information control unit 116 selects the background knowledge of the English version of the content from the background 202 and outputs it to the touch panel 103.
  • the information control unit 116 selects a photo from the background 202 of the content and outputs it to the touch panel 103.
  • FIG. 22B is an example of a user interface that the information control unit 116 outputs to the touch panel in step S1803 in the case where the understanding type is that the voice speed is high.
  • the user interface displays, for example, a message indicating that the user does not understand the voice due to the high speed of the voice and a countermeasure and a text format content.
  • the information control unit 116 When the user selects the check box corresponding to “as is”, the information control unit 116 performs the same processing as when the understanding type does not include speed in the next information presentation. When the user selects the check box corresponding to “slow”, the information control unit 116 decreases the speed of, for example, all the words in the presented content or the words whose speed difficulty is the fourth threshold value or more by a predetermined value. Alternatively, the voice data lowered to a predetermined value is created and output.
  • FIG. 22C is an example of a user interface that is output from the information control unit 116 to the touch panel in step S1803 in the case where the understanding type is that there is a voice.
  • the user interface displays, for example, a message indicating that the user does not understand the voice due to speech and a countermeasure indicating the countermeasure, and text content.
  • the information control unit 116 When the user selects the check box corresponding to “as is”, the information control unit 116 performs the same processing as when the understanding type does not include speed in the next information presentation.
  • the information control unit 116 For example, accents the standard word of all the words in the presented content or the word whose difficulty of speaking is the fifth threshold value or more. Create and output audio data with a deviation from a predetermined value lowered or reduced to a predetermined value.
  • step S1803 the information control unit 116 outputs the screens as shown in FIGS. 20 to 22C, the user selects the information in the screen, and determines the next presentation information according to the selected information. explained.
  • step S1803 the information control unit 116 does not output the screens shown in FIGS. 20 to 22C, and automatically determines any of the information corresponding to the check boxes in FIGS. 20 to 22C as the next presentation information. May be.
  • the ratio of the words whose word difficulty in the presented content is greater than or equal to the second threshold is predetermined. If the value is greater than or equal to the value, the meaning of a word having a word difficulty level equal to or greater than the second threshold may be output, or a simpler version of the content may be output.
  • the interactive system 101 compares the biological information at the time of the user's understanding activity on the presentation information with the difficulty level of the presentation information. Can be accurately identified.
  • the dialogue system 101 determines the information to be presented next based on the degree of understanding and the understanding type, thereby having the same contents as the presentation information and in accordance with the degree of understanding of the user. Information can be presented. Specifically, for example, the dialogue system 101 can increase the user's understanding level by presenting information in which elements having a low degree of understanding and a high degree of difficulty are replaced with elements having a low level of difficulty. .
  • the dialogue system 101 can determine the degree of understanding of the user with respect to the presentation information. Therefore, the dialogue system 101 is applied not only to the content related to education as described above but also to content in fields such as advertising, marketing, and medical care. You can also. The contents of these fields may be stored in the text data 107 and the audio data 108 in advance.
  • the memory 106 may include a voice recognition unit that performs speech language recognition.
  • the voice recognition unit receives a voice language received from the user. Is received and transmitted to the information presentation unit 110 and the information control unit 116.
  • the dialogue system 101 can communicate with humans in natural language.
  • the information presentation unit 110 has described an example in which one or both of text and voice are selected in the presentation format selection in step S302.
  • data in other presentation formats such as music, images, and videos is supplemented.
  • the other presentation format may be selected.
  • the difficulty level analysis unit 111 of the present embodiment analyzes the difficulty level, but may accept a direct input of the difficulty level from the user. For example, in the case of conducting a market survey on the degree of understanding of the moving image of an advertisement using the interactive system 101, the researcher sets the difficulty level at a predetermined time of the moving image, for example, so that the interactive system 101 performs an investigation at the predetermined time.
  • the subject's understanding type can be output.
  • the biological information measuring instrument 104 and the biological information measuring instrument 804 use near-infrared spectroscopy as a brain function measuring method.
  • the biological information measuring instrument 104 and the biological information measuring instrument 804 have an electroencephalogram.
  • techniques such as functional magnetic resonance imaging may be used.
  • the biological information measuring instrument 104 and the biological information measuring instrument 804 may further include an eye tracking device, a camera, and the like, and may observe a line of sight and a facial expression.
  • the biological information acquisition unit 112 and the biological information acquisition unit 812 further acquire the line-of-sight information and facial expression information recognized by the biological information measuring instrument 104 and the biological information measuring instrument 804.
  • the understanding level determination unit 113 and the understanding level determination dictionary generation unit 911 perform feature extraction from biological information including line-of-sight information and face information. As described above, the interactive system 101 of this embodiment can obtain a higher degree of understanding.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Neurosurgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御するシステムは、コンテンツを出力装置に出力し、コンテンツに含まれる要素それぞれが出力装置に出力された時刻におけるユーザの生体情報を取得し、取得した生体情報それぞれに基づいて、コンテンツに含まれる要素それぞれに対するユーザの理解度を算出し、算出した理解度に基づいて、ユーザがコンテンツを理解していないと判定した場合、算出した理解度、及び理解度が第１閾値以下である要素の難易度情報が示す難易度に基づいて、理解タイプを決定し、決定した理解タイプに対応する提示情報を出力装置に出力する。

Description

コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
　本発明は、コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法に関する。
　近年、脳を可視化する技術の発展につれて、脳に対する生理学的な知見が充実しただけでなく、脳計測信号から人間の状態を推測することが行われている。
　脳活動を非侵襲的に計測する手法としては、脳波（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）の計測や、機能的核磁気共鳴画像法（ｆＭＲＩ：ｆｕｎｃｔｉｏｎａｌ　Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）や、脳磁図法（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、近赤外光計測法（ＮＩＲＳ：Ｎｅａｒ－ＩｎｆｒａＲｅｄ　Ｓｐｅｃｔｒｏｓｃｏｐｙ）等がある。
　本技術分野の背景技術として、特開２０１１－１５０４０８号公報（特許文献１）がある。この公報には、「機械を用いた作業場において、操作者の生体計測信号からの内部状態（視覚的注意・作業記憶・スキル習熟度など）を機械学習のアルゴリズムを適用して推定する。そして、ヒューマンエラーの起こりやすい状態を予測・検出し、過失の危険度が高い状態にあると推定される場合に、視覚・聴覚・触覚のいずれか若しくはそれらを組み合わせで操作者にフィードバックすることにより過失を事前に防ぐ。」と記載されている（要約参照）。
特開２０１１－１５０４０８号公報
　特許文献１に記載の技術には、ユーザの生体計測信号から内部状態を推定する方法が記載されているが、当該内部状態に至った原因を特定することや、当該内部状態を改善するための制御を行うことはできない。
　つまり、特許文献１に記載の技術は、提示された情報を参照するユーザの生体計測信号から当該ユーザの当該情報に対する理解度を推定することができるが、当該理解度が低い状態において、当該ユーザが当該情報を理解できない原因を特定することができない。ひいては、特許文献１に記載の技術は、理解していない原因に応じた情報を提示することはできない。
　また、例えば、提示された情報のうちユーザが理解できなかった内容、及び当該ユーザの理解度が低い場合における理解できない原因を、当該ユーザ自身が特定することは難しい場合が多い。そこで、本発明の一態様は、提示された情報に対するユーザの客観的な理解度、及び当該情報を理解できない場合の原因を特定し、当該理解度と当該原因とに応じた情報を提示する。
　本発明の一態様は以下の構成を採用する。複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、システムであって、プロセッサと、記憶装置と、出力装置と、を含み、前記記憶装置は、前記コンテンツと、前記複数の要素それぞれの難易度を示す難易度情報と、前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、前記プロセッサは、前記コンテンツを前記出力装置に出力し、前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、システム。
　本発明の一態様によれば、提示された情報に対するユーザの客観的な理解度、及び当該情報を理解できなかった場合における原因を特定し、当該理解度と当該原因とに応じた情報を提示することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における対話装置の構成例を示すブロック図である。 実施例１におけるテキストデータに含まれるテキストの一例である。 実施例１における情報提示処理の一例を示すフローチャートである。 実施例１におけるコンテンツ選択画面の一例である。 実施例１における提示情報の難易度分析処理の一例を示すフローチャートである。 実施例１における難易度分析結果の一例である。 実施例１におけるヘモグロビン濃度データの一例である。 実施例１における計測システムの構成例を示すブロック図である。 実施例１における理解度判別用辞書生成装置の構成例を示すブロック図である。 実施例１における理解度判別用辞書生成処理の一例を示すフローチャートである。 実施例１における理解度判別処理の一例を示すフローチャートである。 実施例１における理解度判別結果の一例である。 実施例１におけるコンテンツの難易度とユーザの理解度判別結果との照合処理の一例を示すフローチャートである。 実施例１における照合結果の一例である。 実施例１における時刻同期結果の一例である。 実施例１における理解タイプ判別処理の一例を示すフローチャートである。 実施例１における理解タイプ結果の一例である。 実施例１における提示情報制御処理の一例を示すフローチャートである。 実施例１における制御内容の一例である。 実施例１におけるタッチパネルに出力される警告メッセージの一例である。 実施例１における、ユーザが単語を理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、ユーザが構文を理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、ユーザがトピックを理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、音声の速度が速いことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、音声に訛りがあることが理解タイプである場合のユーザインタフェースの一例である。
　本実施形態は、対話システムを説明する。対話システムは、ユーザに情報を提示し、当該情報を参照したユーザの生体情報から当該ユーザの当該情報に対する理解度を算出する。対話システムは、算出した理解度と提示した情報の難易度とを照合することにより、当該ユーザが当該情報を理解できない原因を示す理解タイプを特定し、理解度及び理解タイプに応じて次に提示する情報を制御する。
　図１は、対話システムの構成例を示す。対話システム１０１は、例えば、対話装置１０２、タッチパネル１０３、及び生体情報計測器１０４を含む。対話装置１０２は、例えば、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３を含む計算機によって構成される。
　プロセッサ１２１は、メモリ１０６に格納されたプログラムを実行する。メモリ１０６は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　補助記憶装置１０５は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。
　入出力インタフェース１２２は、タッチパネル１０３などが接続され、オペレータ等からの入力を受け、プログラムの実行結果をオペレータ等が視認可能な形式で出力するインタフェースである。タッチパネル１０３は、ユーザからの文字入力及び音声入力を受け付け、文字情報及び音声情報を出力する。入出力インタフェース１２２には、キーボード、マウス、及びマイク等の入力装置、並びにディスプレイ装置、プリンタ、及びスピーカ等の出力装置が接続されてもよい。
　通信インタフェース１２３は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインタフェース装置である。また、通信インタフェース１２３は、例えば、ＵＳＢ等のシリアルインタフェースを含む。通信インタフェース１２３には、例えば、ユーザの生体情報を計測する生体情報計測器１０４が接続される。近赤外分光法により脳機能の一例である脳血液量変化を計測する機器、は生体情報計測器１０４の一例である。また、生体情報計測器１０４は、例えば、磁場計測等の別の計測法により脳機能情報を取得してもよい。
　プロセッサ１２１が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介して対話装置１０２に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０５に格納されてもよい。このため、対話装置１０２は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
　対話装置１０２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
　補助記憶装置１０５は、例えば、テキストデータ１０７、音声データ１０８、及び理解度判別用辞書データ１０９を格納する。テキストデータ１０７は、複数のテキストを含む。例えば、ニュース記事、ユーザが興味のある本、小学校、中学校、高校の各科目の教科書又は参考書等は、テキストデータ１０７に含まれる各テキストの一例である。また、マーケティングにおける広告内容や管理者等が宣伝したい内容もテキストデータ１０７に含まれる各テキストの一例である。テキストデータ１０７に含まれる各テキストの詳細については後述する。
　音声データ１０８は、テキストデータ１０７に含まれる複数のテキストそれぞれに対応づけられた音声を含む。音声データに含まれる音声それぞれは、対応するテキストと同等の内容を含む。音声データに含まれる音声それぞれは、例えば、速度及び訛りを調整可能な合成音声である。また、対話装置１０２は、テキストデータ１０７と音声データ１０８を、必要に応じて新規追加、削除、及び編集する機能を備えていてもよい。理解度判別用辞書データ１０９は、後述する理解度判別用辞書生成処理で生成された理解度判別用辞書を予め格納する。理解度判別用辞書の詳細については後述する。
　メモリ１０６は、それぞれプログラムである、情報提示部１１０、難易度分析部１１１、生体情報取得部１１２、理解度判別部１１３、照合部１１４、理解タイプ判別部１１５、及び情報制御部１１６を含む。
　プログラムはプロセッサ１２１によって実行されることで、定められた処理を記憶装置及び通信ポート（通信デバイス）を用いながら行う。従って、本実施形態においてプログラムを主語とする説明は、プロセッサ１２１を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。
　プロセッサ１２１は、プログラムに従って動作することによって、所定の機能を実現する機能部（手段）として動作する。例えば、プロセッサ１２１は、情報提示部１１０に従って動作することで情報提示部（情報提示手段）として機能し、難易度分析部１１１に従って動作することで難易度分析部（難易度分析手段）として機能する。他のプログラムについても同様である。さらに、プロセッサ１２１は、各プログラムが実行する複数の処理のそれぞれを実現する機能部（手段）としても動作する。計算機及び計算機システムは、これらの機能部（手段）を含む装置及びシステムである。
　情報提示部１１０は、例えば、ユーザからの指示に従って選択したテキストデータ１０７及び／又は音声データ１０８のコンテンツを、提示情報としてタッチパネル１０３に出力する。当該コンテンツは複数の要素からなる。例えば、コンテンツが文章データである場合、文章データに含まれる単語それぞれはコンテンツの要素の一例である。生体情報取得部１１２は、情報提示部１１０が出力した提示情報に対するユーザの理解活動時において、生体情報計測器１０４が計測したユーザの生体情報の時系列を取得する。
　ユーザの理解活動とは、当該ユーザが提示情報を五感のいずれかで理解する活動を示す。例えば、当該ユーザがテキスト形式の提示情報を読むこと、及び当該ユーザが音声形式の提示情報を聞くことは当該ユーザの理解活動の一例である。なお、本実施例における生体情報の時系列は、２時点以上における生体情報を示す。また、生体情報の時系列それぞれは、１以上のチャネルの信号からなる。脳活動信号は生体情報の一例である。
　難易度分析部１１１は、テキストデータに含まれるテキストのコンテンツ、及び音声データに含まれる音声のコンテンツの、提示時刻における難易度を分析する。理解度判別部１１３は、理解度判別用辞書データ１０９に含まれる理解度判別用辞書を参照し、生体情報取得部１１２が取得した提示情報に対するユーザの理解活動時の生体情報の時系列から、提示情報に対するユーザの各時刻における理解度を算出する。
　照合部１１４は、理解度判別部１１３が算出したユーザの理解度と、難易度分析部１１１が分析した提示情報の難易度を照合し、時刻同期する。理解タイプ判別部１１５は、照合部１１４の時刻同期結果に基づいて、ユーザの理解タイプを判別する。ユーザの理解タイプとは、ユーザがコンテンツを理解していない場合における、当該ユーザが当該コンテンツを理解できない原因を示す。情報制御部１１６は、理解タイプ判別部１１５が判別したユーザの理解タイプに基づいて、次にユーザに提示する情報の制御を行う。
　図２は、テキストデータ１０７に含まれるテキストの一例である。テキスト２００は、日本人のユーザを対象とした英語学習におけるニュース記事のテキストの例である。テキスト２００は、例えば、コンテンツ種別２０１、背景２０２、コンテンツ２０３、及び単語解釈２０４を含む。コンテンツ種別２０１は、テキスト２００のコンテンツの種別を示すキーワードを含む。図２の例において、テキスト２００のコンテンツは、脳科学のニュースについて英語で記載されたものである。
　背景２０２は、テキスト２００のコンテンツの背景知識を含む。背景２０２は、複数種類の言語の背景知識を含んでもよい。図２の例では、背景２０２は、英語版及び日本語版の背景知識を含む。また、背景２０２は、コンテンツの背景知識に関する写真等の画像データを含んでもよい。
　コンテンツ２０３は、複数のバージョンのコンテンツを含む。図２の例では、コンテンツ２０３は、コンテンツ内に使用される単語レベルや構文レベルに応じた複数のバージョンのコンテンツを含む。また特に図示していないが、コンテンツ２０３は、コンテンツに含まれる単語を、タッチパネル１０３を介して出力する時刻（例えば、出力開始時刻を基準とする時刻）を示す情報を保持する。
　例えば、図２における「Ｖｅｒｓｉｏｎ１：簡単レベル」は語彙数１０００以下の単語、「Ｖｅｒｓｉｏｎ２：中級レベル」は語彙数１０００以上５０００以下の単語、「Ｖｅｒｓｉｏｎ３：上級レベル」は語彙数５０００以上の単語、のように各バージョンのコンテンツに対してレベルが予め付与されている。単語解釈２０４は、例えば、対応するバージョンのコンテンツに含まれる例えば難易度の高い単語の意味を含む。
　なお、難易度分析部１１１が、コンテンツ２０３に含まれる各バージョンのコンテンツにレベルを付与してもよい。難易度分析部１１１は、例えば、コーパスを参照してレベルを付与する。コーパスとは、例えば、小学校から大学までの英語の教科書の文章や、英文のニュース記事等が含まれるテキスト形式の文章データベースである。コーパスは、例えば補助記憶装置１０５に格納されていてもよいし、対話装置１０２に接続された他の計算機に格納されていてもよい。
　難易度分析部１１１は、例えば、コーパスから所定数以上の文章を取得し、取得した文章に含まれる単語を出現頻度が高い順にソートし、ソートされた単語の集合を所定の単語数ごとに複数の階層に分割する。以下、出現頻度が低い階層を高レベルに対応する階層とする。
　難易度分析部１１１は、コンテンツに含まれる所定割合以上の単語が、Ｎ番目の階層に含まれ、かつＮ－１番目の階層に含まれない場合、当該コンテンツをＮ番目の階層に対応するレベルを付与する。例えば、Ｎ番目の階層の下限が１０００語、上限が２０００語である場合、Ｎ番目の階層に対応するレベルは、語彙数１０００語以上２０００語以下のレベルを示す。
　図３は、情報提示部１１０が行う情報提示処理の一例を示す。情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、テキストデータ１０７に格納されたテキスト形式のコンテンツ及び／又は音声データ１０８に格納された当該コンテンツに対応する音声形式のコンテンツを選択する（Ｓ３０１）。
　具体的には、情報提示部１１０は、コンテンツ種別及びバージョンの入力を受け付ける。情報提示部１１０は、入力されたコンテンツ種別２０１を有するテキストをテキストデータ１０７から選択し、入力されたバージョンのコンテンツを当該テキストのコンテンツ２０３から選択する。
　なお、入力されたコンテンツ種別２０１を有する複数のテキストが存在する場合、情報提示部１１０は、当該複数のテキストからランダムに１つのテキストを選択してもよいし、当該複数のテキストをユーザに提示し、ユーザからの入力に従ってテキストを選択してもよい。情報提示部１１０は、選択したコンテンツに対応する音声形式のコンテンツを音声データ１０８から取得する。
　情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、ステップＳ３０１で選択したコンテンツの提示形式を選択する（Ｓ３０２）。具体的には、例えば、情報提示部１１０は、当該コンテンツを、テキスト形式又は音声形式のいずれか一方、若しくはテキスト形式及び音声形式の双方で提示するか、を示す情報の入力を受け付け、入力された情報に従って、提示形式を選択する。
　以下、本実施例においては、情報提示部１１０がテキスト形式と音声形式の双方を選択する例を説明するが、テキスト形式又は音声形式のいずれか一方を選択した場合における処理も、後述する処理と同様である。続いて、情報提示部１１０は、ステップＳ３０１で選択したコンテンツを、ステップＳ３０２で選択した提示形式により、選択したコンテンツに対応するコンテンツ２０３に含まれる時刻情報に従って、タッチパネル１０３に出力することにより、ユーザに提示する（Ｓ３０３）。
　なお、ステップＳ３０１、ステップＳ３０２において、情報提示部１１０がコンテンツ及び提示形式を、テキストデータ１０７に含まれるコンテンツ及び／又は音声データ１０８に含まれるコンテンツから、例えばランダムに、選択してもよい。
　図４は、ユーザがコンテンツ選択するためのユーザインタフェースであるコンテンツ選択画面の一例を示す。コンテンツ選択画面４００は、例えば、コンテンツ種別選択セクション４０１、バージョン選択セクション４０２、及び提示形式選択セクション４０３を含む。
　コンテンツ種別選択セクション４０１は、コンテンツ種別の入力を受け付ける。図４の例では、ユーザは、コンテンツ種別選択セクション４０１中の、科目別、外国語、形式、及び話題選択からコンテンツ種別を選択することができる。また、コンテンツ種別選択セクション４０１は、キーワードの入力を受け付けることによりコンテンツ種別の入力を受け付けてもよい。
　バージョン選択セクション４０２はバージョンの入力を受け付ける。図４の例では、ユーザは初級、中級、及び上級からバージョンを選択することができる。提示形式選択セクション４０３は、提示形式の選択の入力を受け付ける。
　図４は、外国語、英語、ニュース記事、脳科学をコンテンツ種別２０１に含むテキストの中級バージョンのコンテンツが選択され、テキストと音声による提示形式が選択された例を示している。なお、情報提示部１１０は、ユーザによるコンテンツ選択履歴に基づいて、ユーザが興味を持つと思われる内容のコンテンツ種別をコンテンツ種別選択セクション４０１内の「おすすめ」に表示してもよい。
　図５は、難易度分析部１１１が行う提示情報の難易度分析処理の一例を示す。難易度分析部１１１は情報提示部１１０が提示するテキストデータ及び音声データの難易度をスコアリングする。
　まず、難易度分析部１１１は、情報提示部１１０から、情報提示部１１０が提示したコンテンツ、及び当該コンテンツに含まれる各単語の出力時刻を取得する（Ｓ５０１）。ここでは、難易度分析部１１１は、テキスト形式のコンテンツ入力と音声形式のコンテンツの両方が入力されたものとする。難易度分析部１１１は、入力されたテキスト形式のコンテンツと音声形式のコンテンツの難易度を決定する（Ｓ５０２）。
　難易度分析部１１１は、テキスト形式のコンテンツの難易度を、例えば、コンテンツ内に使用されている単語や構文等の基準で決定する。また、難易度分析部１１１は、音声形式のコンテンツの難易度を、例えば、再生されるコンテンツの速度や訛り等の基準で決定する。難易度決定方法の具体例については、後述する。難易度分析部は、ステップＳ５０２で生成した難易度分析結果を出力し、例えばメモリ１０６に保存する（Ｓ５０３）。
　図６は、難易度分析部１１１が生成した難易度分析結果の一例である。図６は、英語教育に用いられる英語のコンテンツの難易度分析結果の例である。難易度分析結果６００は、例えば、時刻６０１、単語６０２、単語難易度６０３、構文難易度６０４、速度難易度６０５、及び訛り難易度６０６を含む。時刻６０１は、対応する単語６０２が、例えば、テキストとしてタッチパネル１０３に表示される、かつ音声としてタッチパネル１０３から出力される時刻を示す。
　単語６０２は、コンテンツに含まれる単語を示す。単語６０２に含まれる単語は、難易度分析部１１１によって、例えば、形態素解析等の手段を用いて、コンテンツに含まれる文章から抽出される。また、テキストデータ１０７及び音声データ１０８に含まれるコンテンツが予め単語単位で分割されていてもよい。
　単語難易度６０３は、対応する単語６０２それぞれの難易度を示す。以下、難易度分析部１１１が各単語の単語難易度６０３を算出する処理の一例を説明する。難易度分析部１１１は、例えば、コーパス内の各単語の出現率（当該単語のコーパス内の出現回数／コーパス内の重複を含む単語総数）を算出する。難易度分析部、例えば、算出した出現率を値域が０．０～１．０である所定の減少関数に代入した値を、当該単語の単語難易度６０３に決定する。これにより、コーパスにおける出現率が低い単語は、単語難易度の高い、即ち難しい単語とみなされ、出現率が高い単語は、単語難易度の低い、即ち簡単な単語とみなされる。
　構文難易度６０４は、対応する単語６０２それぞれの構文の難易度を示す。以下、難易度分析部１１１が、各単語の構文の難易度を算出する処理の一例を説明する。難易度分析部１１１は、構文解析等の手段を用いて各単語が属する構文を検索する。名詞句、動詞句、助動詞付動詞句、連用修飾句、連体修飾句、固有表現等は構文の一例である。１つの単語は１以上の構文に属することもあるし、どの構文にも属さないこともある。
　難易度分析部１１１は、各単語が属する構文それぞれのコーパス内の出現率（当該構文のコーパス内の出現回数／コーパス内の重複を含む構文総数）を算出する。難易度分析部１１１は、各単語に対して、例えば、当該単語が属する構文の出現率から最低の出現率を選択する。選択した出現率を値域が０．０～１．０の所定の減少関数に代入した値を、当該単語の構文難易度６０４に決定する。また、難易度分析部１１１は、どの構文にも属さない単語の構文難易度６０４を、例えば０．０に決定する。これにより、コーパスにおける出現率が低い構文に属する単語は構文難易度の高い単語とみなされ、出現率が高い単語は構文難易度の低い単語とみなされる。
　なお、難易度分析部１１１は、当該単語が属する構文の出現率から最低の出現率を選択する代わりに、例えば、ランダムに出現率を選択してもよいし、当該単語が属する構文の出現率の平均値等を算出してもよい。
　速度難易度６０５は、対応する単語６０２が音声形式のコンテンツとして読み上げられる際の速度による難易度を示す。速度難易度６０５は、例えば、標準語音声の速度との乖離によって与えられる。以下、難易度分析部１１１が各単語の速度難易度６０５を算出する処理の一例を示す。
　難易度分析部１１１は、各単語と同じ単語を、例えば、音声コーパスから取得する。音声コーパスとは、例えば、小学校から大学までの英語の教科書を標準語で読み上げた音声や、英文のニュース記事等を標準語で読み上げた音声が含まれる音声形式の文章データベースである。音声コーパスは、例えば補助記憶装置１０５に格納されていてもよいし、対話装置１０２に接続された他の計算機に格納されていてもよい。
　難易度分析部１１１は、例えば、各単語に対して、音声コーパス内から取得した当該単語と同じ単語の平均速度を算出し、平均速度からの乖離を、当該単語の速度に決定する。例えば、平均速度より遅い速度は負の値、平均速度より早い速度は正の値で与えられるものとする。難易度分析部１１１は、決定した速度を、例えば、値域が０．０～１．０の所定の増加関数に代入した値を、速度難易度６０５に決定する。これにより、速度が高い単語は速度難易度の高い単語とみなされ、速度が低い単語は速度難易度の低い単語とみなされる。
　訛り難易度６０６は、対応する単語６０２が音声形式のコンテンツとして読み上げられる際の訛りによる難易度を示す。以下、難易度分析部１１１が各単語の訛り難易度６０６を算出する処理の一例を示す。難易度分析部１１１は、例えば、各単語のアクセントを示すパラメータを生成する。難易度分析部１１１は、例えば、各単語に対して、音声コーパス内から取得した当該単語と同じ単語のアクセントの平均パラメータを算出し、平均パラメータからの乖離の絶対値を、当該単語の訛りに決定する。難易度分析部１１１は、決定した訛りを、例えば、値域が０．０～１．０の所定の増加関数に代入した値を、訛り難易度６０６に決定する。これにより、標準語のアクセントと乖離が大きい単語は訛り難易度の高い単語とみなされ、当該乖離が小さい単語は訛り難易度の低い単語とみなされる。
　難易度分析部１１１は、以上の処理により、各単語の各種類の難易度を決定する。なお、本実施例における各種類の難易度は、値が大きいほど当該種類の難易度が示す指標が難しいことを示し、値が小さいほど当該種類の難易度が示す指標が易しいことを示す。
　図７は、生体情報取得部１１２が取得する生体情報の一例であるヘモグロビン濃度データ、の一例である。図７のヘモグロビン濃度データの例は、理解活動を行うユーザの酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の時系列を示す。例えば、生体情報計測器１０４の一例である近赤外光計測装置は、近赤外分光法利用して、ユーザの脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び／又は還元ヘモグロビン濃度の時系列的を測定する。
　生体情報計測器１０４は、例えば、全脳におけるヘモグロビン濃度を計測してもよいし、言語を理解する言語野や認知活動を行う前頭葉のみおけるヘモグロビン濃度を計測してもよい。生体情報計測器１０４は、例えば、近赤外光を生体に照射する。照射した光が生体内に入射し、生体内を散乱及び吸収され、生体情報計測器１０４は伝播して出てきた光を検出する。
　なお、生体情報計測器１０４は、例えば、特許文献１に記載されているユーザが理解活動を行う時の内部状態から脳内血流変化を得る方法、を用いて計測を行う。生体情報取得部１１２は、生体情報計測器１０４が計測したヘモグロビン濃度であって、ユーザが理解活動を行うときのヘモグロビン濃度、を取得する。
　図８は、理解度判別用辞書データ１０９に格納される理解度判別用辞書の生成に用いられる脳計測データを計測する、計測システムの構成例を示す。計測システム８０１は、計測管理装置８０２、タッチパネル８０３、生体情報計測器８０４を含む。計測管理装置８０２は、例えば、プロセッサ（ＣＰＵ）８２１、補助記憶装置８０５、メモリ８０６、入出力インタフェース８２２、及び通信インタフェース８２３を含む計算機によって構成される。
　タッチパネル８０３、生体情報計測器８０４、プロセッサ（ＣＰＵ）８２１、補助記憶装置８０５、メモリ８０６、入出力インタフェース８２２、及び通信インタフェース８２３それぞれの説明は、タッチパネル１０３、生体情報計測器１０４、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３それぞれの説明と同様であるため省略する。
　メモリ８０６は、それぞれプログラムである情報提示部８１１及び生体情報取得部８１２を含む。補助記憶装置８０５は、例えば、テキストデータ８０７、音声データ８０８、及び生体データ８１０を格納する。テキストデータ８０７及び音声データ８０８それぞれの説明は、テキストデータ１０７及び音声データ１０８の説明と同様であるため省略する。テキストデータ８０７及び音声データ８０８に含まれるコンテンツは、テキストデータ１０７及び音声データ１０８に含まれるコンテンツと同じであってもよいし、異なっていてもよい。生体データ８１０は、生体情報取得部８１２が取得した生体情報を格納する。
　情報提示部８１１は、例えば、ユーザからの指示に従って、テキストデータ８０７及び／又は音声データ８０８からコンテンツを選択し、タッチパネル８０３を介して選択したコンテンツをユーザに提示する。
　具体的には、例えば、情報提示部８１１は、ユーザからの指示に従って、ユーザがよく理解しているコンテンツと理解し難いコンテンツとを選択する。これにより、生体情報取得部８１２が提示された情報をユーザが理解している状態における生体情報と、理解していない状態における生体情報の双方を取得できる。例えば、ユーザが日本人である場合、小学生レベルの日本語の単語で書かれた文章は当該ユーザが理解しているコンテンツの一例であり、当該ユーザが勉強したことのない外国語で書かれ場文章は当該ユーザが理解し難いコンテンツの一例である。
　生体情報取得部８１２は、情報提示部８１１が提示した提示情報に対する理解活動を行うユーザの生体情報を生体情報計測器８０４から取得し、取得した生体情報を時系列データとして、例えば、ユーザがよく理解しているコンテンツに対する生体情報と、ユーザが理解し難いコンテンツに対する生体情報と、に分けて生体データ８１０に格納してもよい。また、生体情報取得部８１２は、取得した生体情報それぞれに、ユーザの識別子を付加して、生体データ８１０に格納してもよい。
　図９は、理解度判別用辞書データ１０９に格納される理解度判別用辞書を生成する理解度判別用辞書生成装置の構成例を示す。理解度判別用辞書生成装置９０２は、例えば、プロセッサ（ＣＰＵ）９２１、補助記憶装置９０５、メモリ９０６、入出力インタフェース９２２、及び通信インタフェース９２３を含む計算機によって構成される。
　プロセッサ（ＣＰＵ）９２１、補助記憶装置９０５、メモリ９０６、入出力インタフェース９２２、及び通信インタフェース９２３それぞれの説明は、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３それぞれの説明と同様であるため省略する。
　メモリ９０６は、プログラムである理解度判別用辞書生成部９１１を含む。理解度判別用辞書生成部９１１は、生体データ９１０に格納された情報を用いて、理解度判別用辞書を生成し、生成した理解度判別用辞書を理解度判別用辞書データ９０９に格納する。
　補助記憶装置９０５は、理解度判別用辞書データ９０９及び生体データ９１０を格納する。理解度判別用辞書データ９０９は、理解度判別用辞書生成部９１１が作成した理解度判別用辞書を生成する。生体データ９１０は、生体データ８１０に格納された生体情報と同等の生体情報を予め格納する。なお、本実施例では、対話システム１０１と、計測システム８０１と、理解度判別用辞書生成装置９０２と、は別のシステムとして説明しているが、１つのシステムであってもよい。
　図１０は、理解度判別用辞書生成処理の一例を示す。理解度判別用辞書生成部９１１は、生体データ９１０から、ユーザがよく理解しているコンテンツに対する生体情報の複数の時系列と、ユーザが理解し難いコンテンツに対する生体情報の複数の時系列と、を取得する（Ｓ１００１）。以下の処理では、理解度判別用辞書生成部９１１は、取得したデータから生成された訓練データから理解度判別用辞書を生成する。
　理解度判別用辞書生成部９１１は、ステップＳ１００１で取得した生体情報の時系列それぞれに含まれる各チャネルの信号に対して前処理を施す（Ｓ１００２）。例えば、生体情報計測器８０４の一例である近赤外光計測装置は、光を用いた非侵襲な頭部血行動態計測手法を用いた計測を行っているため、生体情報として得られる信号には脳活動に関連した信号と心拍数変動などによる全身性の血行動態に関連した情報とが含まれる。
　従って、理解度判別用辞書生成部９１１は、取得した生体情報に対して、コンテンツに対する理解度に関連しない情報である雑音を除去するための前処理を行うことにより、理解度判別用辞書の精度を高めることができる。理解度判別用辞書生成部９１１は、周波数バンドパスフィルタ、多項式ベースライン補正、主成分分析、又は独立成分分析等のアルゴリズムを用いて、ステップＳ１００２における前処理を実行する。
　続いて、理解度判別用辞書生成部９１１は、前処理を施した生体情報の時系列それぞれから理解度識別に必要な本質的な特徴のみを抽出する（Ｓ１００３）。具体的には、理解度判別用辞書生成部９１１は、ステップＳ１００２における前処理を施した各時系列に対して、当該時系列に含まれるチャネルの信号から、１以上のサンプル時刻における特徴ベクトルを計算する。各サンプル時刻は、例えば、予め定められた一定間隔の時刻である。
　特徴ベクトルの計算方法は種々の方法が考えられる。以下、理解度判別用辞書生成部１０１１が生体情報のある時系列からサンプル時刻ｔにおける特徴ベクトルを計算する例を説明する。なお、理解活動開始時の時刻を０とする。
　まず、理解度判別用辞書生成部９１１は、サンプル時刻ｔを含む時間窓を設定する。ここでは、理解度判別用辞書生成部９１１は、所定の正数δに対して、ｔ－δからｔ＋δまでの時間を時間窓に設定する。理解度判別用辞書生成部９１１は、ステップＳ１００２の前処理が施された当該時系列に含まれる各チャネルの信号から、時刻ｔ－δから時刻ｔ＋δまでの信号を切り出す。
　理解度判別用辞書生成部９１１は、切り出した各チャネルの信号から、所定の基本統計量（例えば、ピーク振幅値、平均値、分散、勾配、歪度、尖度など）を計算する。理解度判別用辞書生成部９１１は、計算した各基本統計量を基にして、最も感度の高いチャネルの信号を選択する。感度の高いチャネルとは、当該時間窓における信号の特徴を強く反映するチャネルを示す。分散のｆ値、ピーク振幅値、及び勾配は感度の一例である。理解度判別用辞書生成部９１１は、例えば、選択したチャネルの１種類以上の基本統計量を要素とする特徴ベクトルを生成する。
　続いて、理解度判別用辞書生成部９１１は、生成した特徴ベクトルを用いて分類アルゴリズムのパラメータを最適化することにより識別関数を生成する（Ｓ１００４）。識別関数は、ユーザの理解活動時の生体情報の時系列から生成されたある時刻における特徴ベクトルが入力され、当該ユーザの当該時刻の理解活動における理解度を出力する関数である。本実施例では、理解度は０以上１．０以下の数値で与えられるものとする、即ち識別関数の値域は０以上１．０以下であるものとする。理解度の値が高いほど、ユーザは当該時刻における理解活動の対象であるコンテンツをよく理解していることを示す。
　ステップＳ１００４における分類アルゴリズムのパラメータの最適化は、例えば、ユーザがよく理解しているコンテンツに対する生体情報の時系列に対応する特徴ベクトルを入力した場合における理解度がなるべく高くなるように、ユーザが理解し難いコンテンツに対する生体情報の時系列に対応する特徴ベクトルを入力した場合における理解度がなるべく低くなるように、分類アルゴリズムのパラメータを決定することを示す。
　マージン最大化原理に基づくサポートベクターマシンや線形判別分析、スパースロジスティック回帰、ロジスティック回帰、非線形の分類アルゴリズム隠れマルコフモデル、及びニューラルネットワーク等は分類アルゴリズムの一例である。
　続いて、理解度判別用辞書生成部９１１は、生成した識別関数を理解度判別辞書に含め、理解度判別辞書を理解度判別用辞書データ９０９に格納する（Ｓ１００５）。また、理解度判別用辞書生成部９１１は、生成した特徴ベクトルと生成した識別関数とを照合することにより、各特徴ベクトルが所属するクラス（理解している／理解していない）を計算し、各特徴ベクトルと所属するクラスとの対応を理解度判別用辞書に含めてもよい。なお、特徴ベクトルに対応する理解度が所定値以上の場合に当該特徴ベクトルは「理解している」クラスに所属し、特徴ベクトルに対応する理解度が当該所定値未満の場合に当該特徴ベクトルは「理解していない」クラスに所属しているものとする。
　なお、前述した理解度判別用辞書は、任意のユーザに適用可能な汎用的な理解度判別用辞書であるが、脳計測結果等の生体情報はユーザごとに特徴的なパターンがある。そのため、例えば、理解度判別用辞書生成部９１１は、生体データ９１０に格納された生体情報の時系列にユーザの識別子が付与されている場合には、ユーザごとに理解度判別用辞書を作成してもよい。後述する理解度判別処理において、理解度判別部１１３がユーザごとの理解度判別辞書を用いて理解度を算出することにより、より精度の高い理解度を得ることができる。
　図１１は、対話システム１０１における理解度判別処理の一例を示す。理解度判別部１１３は、生体情報取得部１１２から、提示情報に対する理解活動を行った際のユーザの生体情報の時系列を取得する（Ｓ１１０１）。理解度判別部１１３は、取得した生体情報の時系列に含まれる各チャネルの信号に対して、例えば、ステップＳ１００２同様の方法で、前処理を施す（Ｓ１１０２）。
　理解度判別部１１３は、前処理を施した生体情報の時系列から理解度識別に必要な本質的な特徴のみを抽出する（Ｓ１１０３）。具体的には、理解度判別部１１３は、例えば、ステップＳ１００３と同様の方法で、前処理を施した生体情報の時系列の各時刻の特徴ベクトルを生成する。
　理解度判別部１１３は、理解度判別用辞書データ１０９に格納された理解度判別用辞書に含まれる識別関数に、各時刻の特徴ベクトルを代入し、ユーザの各時刻における理解度を算出する（Ｓ１１０４）。なお、理解度判別用辞書がユーザごとの識別関数が格納されている場合、理解度判別部１１３は、ステップＳ１１０４において当該ユーザに対応する識別関数を用いることが好ましい。続いて、理解度判別部１１３は、例えば、算出した各時刻の理解度を出力し、メモリ１０６に保存する（Ｓ１１０５）。
　図１２は、理解度判別結果の一例である。図１２の理解度判別結果は、理解度判別部１１３が算出した各時刻における理解度を示す。
　図１３は、照合部１１４による、コンテンツの難易度とユーザの理解度判別結果との照合処理の一例を示す。照合部１１４は、難易度分析部１１１が分析した音声データの難易度と、理解度判別部１１３が分析した理解度を時間軸で照合し、時刻同期する（Ｓ１３０１）。続いて、照合部１１４は、難易度分析部１１１が分析したテキストの難易度と、理解度判別部１１３が分析した理解度を時間軸で照合し、時刻同期する（Ｓ１３０２）。
　ステップＳ１３０１及びステップＳ１３０２において、照合部１１４は、例えば、ある時間内の刻みで、難易度と理解度とを時刻同期する。続いて、照合部１１４は、時刻同期した音声データの難易度、テキストデータの難易度、及び理解度を出力し、例えばメモリ１０６に保存する（Ｓ１３０３）。
　図１４は、照合部１１４による照合結果の一例である。照合結果は、各時刻における理解度と、各時刻においてユーザが提示されたテキストデータの単語難易度及び構文難易度と、各時刻においてユーザが提示された音声データの速度及び訛りと、の対応を示す。
　図１５は、テキストの難易度、音声の難易度、及び理解度の時刻同期結果の一例を示す。照合部１１４は、例えば、各時刻において、例えば１０００ｍｓ等の所定周期の各区間においての理解度判別結果、テキストの難易度、及び音声の難易度を照合する。
　図１６は、理解タイプ判別部１１５による理解タイプ判別処理の一例を示す。理解タイプ判別部１１５は、照合部１１４が生成した時刻同期結果を取得する（Ｓ１６０１）。例えば、理解度が第１閾値以下である時間が理解活動時間の第１割合を超える場合、理解タイプ判別部１１５は、理解度が第１閾値以下である時刻それぞれにおけるテキストの難易度情報と音声の難易度情報とを参照して、ユーザの理解活動時の理解タイプを決定する（Ｓ１６０２）。なお、理解度が第１閾値以下である時間が理解活動時間の第１割合以下である場合、理解タイプ判別部１１５は、ユーザがコンテンツを理解していると判定する。
　以下、ステップＳ１６０２の理解タイプ決定処理の具体例を説明する。例えば、理解活動時間の８割以下の時間において理解度が５０％以下である場合、理解タイプ判別部１１５は、理解度が５０％以下である時刻群の時刻それぞれにおけるテキストの難易度情報と音声の難易度情報とを参照する。
　例えば、単語難易度が第２閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、ユーザが単語を理解していないことが理解タイプに含まれると判定する。例えば、構文難易度が第３閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、ユーザが構文を理解していないためことが理解タイプに含まれると判定する。
　例えば、速度難易度が第４閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、音声の速度が速いことが理解タイプに含まれると判定する。例えば、訛り難易度が第５閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、音声に訛りがあることが理解タイプに含まれると判定する。
　また、例えば、理解活動時間の第２割合以上の時間において（第２割合は第１割合以下である）理解度が所定の閾値以下である場合、理解タイプ判別部１１５は、ユーザがコンテンツのトピックを理解していないことが理解タイプに含まれると判定する。
　なお、理解タイプ判別部１１５は、複数の理解タイプが存在する場合、理解タイプ即ちユーザがコンテンツを理解できていない原因を絞り込んでもよい。例えば、理解タイプそれぞれに優先度が予め定められており、理解タイプ判別部１１５は、当該優先度に従って当該複数の理解タイプを所定個数の理解タイプを選択に絞り込む。
　また、例えば、理解タイプ判別部１１５が、当該複数の理解タイプそれぞれの優先度を決定してもよい。ユーザがトピックを理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度の平均値に第１重みを掛けた値を、ユーザがトピックを理解していないことに対応する優先度に決定する。
　ユーザが単語を理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第２閾値以上である単語難易度の平均値に第２重みを掛けた値を、ユーザが単語を理解していないことに対応する優先度に決定する。ユーザが構文を理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第３閾値以上である構文難易度の平均値に第３重みを掛けた値を、ユーザが構文を理解していないことに対応する優先度に決定する。
　音声の速度が速いことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第４閾値以上である速度難易度の平均値に第４重みを掛けた値を、音声の速度が速いことに対応する優先度に決定する。音声に訛りがあることが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第５閾値以上である訛り難易度の平均値に第５重みを掛けた値を、音声に訛りがあることに対応する優先度に決定する。
　図１７は、理解タイプ結果の一例を示す。図１７の例では、現在のユーザの理解タイプは単語が理解できていないことであり、ユーザは単語を理解できていないことにより提示した情報全体が理解できない状態である可能性が高い。つまり、情報制御部１１６は、提示する情報を、理解タイプに基づいて制御することにより、ユーザの理解度を向上させることができる。
　図１８は、情報制御部１１６による提示情報制御処理の一例を示す。情報制御部１１６は、理解タイプ判別部１１５が決定した理解タイプ結果を取得する（Ｓ１８０１）。即ち、理解タイプ判別部１１５は、ユーザがコンテンツを理解しているか否かを示す情報、及びユーザがコンテンツ理解していない場合にはさらに理解タイプを取得する。
　情報制御部１１６は、取得した理解タイプ結果に従って、ユーザがコンテンツを理解しているか否かを判定する（Ｓ１８０２）。情報制御部１１６は、ユーザがコンテンツを理解していないと判定した場合（Ｓ１８０２：ＮＯ）、理解タイプ結果が示す理解タイプに従って、提示する情報を制御し、（Ｓ１８０３）、次の情報を提示する（Ｓ１８０４）。ステップＳ１８０３を経由した場合におけるステップＳ１８０４における次の情報の具体例は後述する。情報制御部１１６は、ユーザがコンテンツを理解したと判定した場合（Ｓ１８０２：ＹＥＳ）、次の情報、例えば別のコンテンツ等、を提示する（Ｓ１８０４）。
　図１９は、ステップＳ１６０３における制御内容の一例を示す。情報制御部１１６は、理解タイプに応じた予め定められた制御内容に従って、制御処理を行う。図１９の例では、理解タイプが単語である場合の制御が「語彙数１０００以下の簡単な単語で言い換える」、理解タイプが構文である場合の制御が「簡単な構文で言い換える」、理解タイプがトピックである場合の制御が「背景知識の紹介」、理解タイプが速度である場合の制御が「ゆっくり言い換える」、理解タイプが訛りである場合の制御が「標準語で言い換える」、である例を示す。
　図２０は、情報制御部１１６がタッチパネル１０３に出力する、警告メッセージの一例である。情報制御部１１６は、例えばステップＳ１８０２において、ユーザがコンテンツを理解していないと判定した場合に、図２０の警告メッセージをタッチパネル１０３に出力する。
　ユーザが「そのまま」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、ステップＳ１８０２においてユーザがコンテンツを理解している場合の、ステップＳ１８０４と同様の情報を提示する。
　ユーザが「情報制御」に対応するチェックボックスを選択した場合、情報制御部１１６は、ステップＳ１８０３において、理解タイプに従って次に提示する情報の制御を行う。以下、ユーザが「情報制御」に対応するチェックボックスを選択した場合における、ユーザへの提示画面及び情報制御部１１６によるステップＳ１８０３及びステップＳ１８０４の具体例を説明する。
　図２１Ａは、ユーザが単語を理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザが単語を理解していない旨及び対応策を示すメッセージ、並びに単語難易度が第２閾値以上である単語を太枠で囲んだテキスト形式のコンテンツを表示する。なお、理解度が第１閾値以下かつ単語難易度が第２閾値以上である単語が太枠で囲まれていてもよい。
　ユーザが「単語の意味」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、太枠で囲まれた単語の意味を単語解釈２０４から取得し、タッチパネル１０３に出力する。これによりユーザは理解度が低い単語の意味を理解することができる。
　また、ユーザが「簡単バージョンで言い換える」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、当該コンテンツのより簡単なバージョンのコンテンツをコンテンツ２０３から選択し、タッチパネル１０３に出力する。
　図２１Ｂは、ユーザが構文を理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザが構文を理解していない旨及び対応策を示すメッセージ、並びに構文難易度が第３閾値以上である単語を太枠で囲んだテキスト形式のコンテンツを表示する。なお、理解度が第１閾値以下かつ構文難易度が第３閾値以上である単語が太枠で囲まれていてもよい。
　ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに構文が含まれていない場合と同様の処理を行う。ユーザが「簡単バージョン」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツのより簡単なバージョンのコンテンツをコンテンツ２０３から選択し、タッチパネル１０３に出力する。
　図２２Ａは、ユーザがトピックを理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザがトピックを理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。
　ユーザが「日本語」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの日本語版の背景知識を背景２０２から選択し、タッチパネル１０３に出力する。ユーザが「英語」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの英語版の背景知識を背景２０２から選択し、タッチパネル１０３に出力する。ユーザが「写真」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの背景２０２から写真を選択し、タッチパネル１０３に出力する。
　図２２Ｂは、音声の速度が速いことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、音声の速度が速いためユーザが音声を理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。
　ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに速度が含まれていない場合と同様の処理を行う。ユーザが「ゆっくり」に対応するチェックボックスを選択した場合、情報制御部１１６は、例えば、提示したコンテンツ内の全ての単語又は速度難易度が第４閾値以上である単語、の速度を所定値下げた又は所定値まで下げた音声データを作成し、出力する。
　図２２Ｃは、音声に訛りがあることが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、音声に訛りがあるためユーザが音声を理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。
　ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに速度が含まれていない場合と同様の処理を行う。ユーザが「標準語」に対応するチェックボックスを選択した場合、情報制御部１１６は、例えば、提示したコンテンツ内の全ての単語又は訛り難易度が第５閾値以上である単語、の標準語のアクセントからの乖離を所定値下げた又は所定値まで下げた音声データを作成し、出力する。
　ここまで、ステップＳ１８０３において、情報制御部１１６が、図２０～図２２Ｃのような画面を出力し、ユーザが画面内の情報を選択し、選択した情報に従って、次の提示情報を決定する例を説明した。
　情報制御部１１６は、ステップＳ１８０３において、図２０～図２２Ｃのような画面を出力せず、図２０～図２２Ｃにおけるチェックボックスに対応する情報のいずれかを次の提示情報に自動的に決定してもよい。また、例えば、情報制御部１１６は、ユーザが構文を理解していないことが理解タイプである場合において、提示したコンテンツ内の単語に占める単語難易度が第２閾値以上である単語の割合が所定値以上の場合に、単語難易度が第２閾値以上である単語の意味を出力する、又は当該コンテンツのより簡単なバージョンのコンテンツを出力してもよい。
　以上、本実施例の対話システム１０１は、提示情報に対するユーザの理解活動時の生体情報と、提示情報の難易度と、を照合することに、ユーザの提示情報に対する客観的な理解度及び理解タイプを精度よく特定することができる。また、本実施例の対話システム１０１は、理解度と理解タイプに基づいて、次に提示する情報を決定することにより、当該提示情報と同様の内容を有し、かつユーザの理解度に沿った情報を提示することができる。具体的には、例えば、対話システム１０１は、ユーザの理解度が低いかつ難易度が高い要素を、難易度が低い要素に置換した情報を提示することにより、ユーザの理解度を高めることができる。
　前述した通り対話システム１０１は、提示情報に対するユーザの理解度を判別することが可能であるため、前述のような教育に関するコンテンツだけでなく、広告、マーケティング、及び医療等の分野のコンテンツに適用することもできる。テキストデータ１０７及び音声データ１０８にこれらの分野のコンテンツが予め格納されていればよい。
　また、メモリ１０６は音声による言語認識を行う音声認識部を含んでもよく、例えば、情報提示部１１０及び情報制御部１１６が前述のユーザ入力を受け付ける代わりに、音声認識部がユーザから受け付けた音声言語による入力を受け付け、情報提示部１１０及び情報制御部１１６に送信する。これにより対話システム１０１は、自然言語による人間との対話が可能となる。
　本実施例では情報提示部１１０はステップＳ３０２の提示形式選択において、テキストと音声の一方又は双方を選択する例を説明しあったが、音楽、画像、動画等の他の提示形式のデータが補助記憶装置１０５に格納されている場合は、当該他の提示形式を選択してもよい。
　また、本実施例の難易度分析部１１１は、難易度を分析しているが、ユーザから難易度の直接入力を受け付けてもよい。例えば、対話システム１０１を用いて、広告の動画の理解度について市場調査をする場合において、調査者は例えば動画の所定時刻における難易度を高く設定することにより、対話システム１０１は当該所定時刻における調査被験者の理解タイプを出力することができる。
　実施例１において、生体情報計測器１０４及び生体情報計測器８０４が脳機能計測法として近赤外分光法を用いた例を説明したが、生体情報計測器１０４及び生体情報計測器８０４は、脳波や機能的磁気共鳴画像法といった手法を用いてもよい。
　また、生体情報計測器１０４及び生体情報計測器８０４は、アイトラッキング機器やカメラなどをさらに含んでもよく、さらに視線や表情を観察してもよい。このとき、生体情報取得部１１２及び生体情報取得部８１２は、さらに生体情報計測器１０４及び生体情報計測器８０４が認識した視線情報及び表情情報を取得する。
　理解度判別部１１３及び理解度判別用辞書生成部９１１は、視線情報及び顔情報を含む生体情報から特徴抽出を行う。以上により、本実施例の対話システム１０１は、より精度の高い理解度を得ることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

  1. 　複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、システムであって、
    　プロセッサと、記憶装置と、出力装置と、を含み、
    　前記記憶装置は、
    　前記コンテンツと、
    　前記複数の要素それぞれの難易度を示す難易度情報と、
    　前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、
    　前記プロセッサは、
    　前記コンテンツを前記出力装置に出力し、
    　前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、
    　前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、
    　前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
    　前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、
    　前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、システム。
  2. 　請求項１に記載のシステムであって、
    　前記記憶装置は、複数種類の前記難易度情報を保持し、
    　前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
    　理解度が前記第１閾値以下である第１要素を選択し、
    　前記選択した要素の難易度であって、当該難易度が属する難易度情報に対応する閾値以上である難易度、を前記複数種類の難易度情報から取得し、
    　前記取得した難易度の比較結果に基づいて、前記複数種類の難易度情報から１以上の難易度情報を選択し、
    　前記選択した１以上の難易度情報に基づいて、理解タイプを決定する、システム。
  3. 　請求項１に記載のシステムであって、
    　前記提示情報は、前記コンテンツの１以上の要素からなる第１要素群の要素それぞれを当該要素より難易度が低い要素に置換した前記コンテンツである、第１提示情報を含み、
    　前記第１提示情報は、第１理解タイプに対応し、
    　前記プロセッサは、
    　前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
    　前記第１要素群の要素それぞれに対して、理解度が前記第１閾値以下かつ前記難易度情報が示す難易度が第２閾値以上である第１条件を満たすか否かを判定し、
    　前記第１要素群の全ての要素が前記第１条件を満たすと判定した場合、理解タイプを前記第１理解タイプに決定する、システム。
  4. 　請求項１に記載のシステムであって、
    　前記提示情報は、前記コンテンツの背景知識を示す第２提示情報を含み、
    　前記第２提示情報は、第２理解タイプに対応し、
    　前記プロセッサは、前記算出した理解度のうち所定割合以上の理解度が第３閾値以下であると判定した場合、理解タイプを前記第２理解タイプに決定する、システム。
  5. 　請求項１に記載のシステムであって、
    　前記コンテンツは、テキスト形式の文章データを含み、
    　前記複数の要素それぞれは、前記文章データに含まれる単語であり、
    　前記難易度情報は、前記文章データに含まれる単語それぞれの難易度と、前記文章データに含まれる単語それぞれが属する構文の難易度と、の少なくとも一方を示す、システム。
  6. 　請求項５に記載のシステムであって、
    　前記難易度情報は、前記文章データに含まれる単語それぞれの難易度を示し、
    　前記提示情報は、前記文章データに含まれる第１単語の解釈を示す第３提示情報を含み、
    　前記第３提示情報は、第３理解タイプに対応し、
    　前記プロセッサは、
    　前記算出した理解度に基づいて前記ユーザが前記コンテンツを理解していないと判定し、かつ前記第１単語の理解度が前記第１閾値以下であり前記第１単語の難易度が第４閾値以上である、と判定した場合、
    　理解タイプを前記第３理解タイプに決定する、システム。
  7. 　請求項５に記載のシステムであって、
    　前記難易度情報は、前記文章データに含まれる単語それぞれの難易度を示し、
    　前記プロセッサは、
    　複数の単語を含むテキスト形式の第１文章データを取得し、
    　前記文章データに含まれる単語それぞれの前記第１文章データ中の出現率、に基づいて、当該単語の難易度を決定する、システム。
  8. 　請求項５に記載のシステムであって、
    　前記難易度情報は、前記文章データに含まれる単語それぞれが属する構文の難易度を示し、
    　前記プロセッサは、
    　複数の単語を含むテキスト形式の第２文章データを取得し、
    　前記文章データに含まれる単語それぞれが属する構文それぞれの前記第２文章データ中の出現率、に基づいて、当該単語が属する構文の難易度を決定する、システム。
  9. 　請求項１に記載のシステムであって、
    　前記コンテンツは、音声形式の文章データを含み、
    　前記複数の要素それぞれは、前記文章データに含まれる単語であり、
    　前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度と、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度と、の少なくとも一方を示す、システム。
  10. 　請求項９に記載のシステムであって、
    　前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度を示し、
    　前記プロセッサは、
    　複数の単語を含む音声形式の第３文章データを取得し、
    　前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度と、前記第３文章データに含まれる当該単語が前記出力装置に出力される際の速度と、の比較結果に基づいて、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度を決定する、システム。
  11. 　請求項９に記載のシステムであって、
    　前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度を示し、
    　前記プロセッサは、
    　複数の単語を含む音声形式の第４文章データを取得し、
    　前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りと、前記第４文章データに含まれる当該単語が前記出力装置に出力される際の訛りと、の比較結果に基づいて、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度を決定する、システム。
  12. 　請求項１に記載のシステムであって、
    　前記プロセッサは、
    　前記ユーザが理解できる第１要素と、前記ユーザが理解できない第２要素と、を前記出力装置に出力し、
    　前記第１要素を参照した前記ユーザの第１生体情報と、前記第２要素を参照した前記ユーザの第２生体情報と、を取得し、
    　前記第１生体情報と前記第２生体情報とを含む訓練データに基づいて、前記ユーザの生体情報と理解度との対応を示す理解度判別用辞書を生成し、
    　前記取得した生体情報それぞれと前記理解度判別用辞書とに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出する、システム。
  13. 　請求項１に記載のシステムであって、
    　前記生体情報は、脳機能情報、視線情報、及び表情情報を含む、システム。
  14. 　出力装置を含むシステムが複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、方法であって、
    　前記システムは、
    　前記コンテンツと、
    　前記複数の要素それぞれの難易度を示す難易度情報と、
    　前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、
    　前記方法は、
    　前記システムが、
    　前記コンテンツを前記出力装置に出力し、
    　前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、
    　前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、
    　前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
    　前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、
    　前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、方法。
PCT/JP2015/078535 2015-10-07 2015-10-07 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法 WO2017060994A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017544121A JP6469242B2 (ja) 2015-10-07 2015-10-07 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
PCT/JP2015/078535 WO2017060994A1 (ja) 2015-10-07 2015-10-07 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
US15/766,633 US10699057B2 (en) 2015-10-07 2015-10-07 System and method for controlling information presented to user referring to contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/078535 WO2017060994A1 (ja) 2015-10-07 2015-10-07 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法

Publications (1)

Publication Number Publication Date
WO2017060994A1 true WO2017060994A1 (ja) 2017-04-13

Family

ID=58488218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078535 WO2017060994A1 (ja) 2015-10-07 2015-10-07 コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法

Country Status (3)

Country Link
US (1) US10699057B2 (ja)
JP (1) JP6469242B2 (ja)
WO (1) WO2017060994A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145986A (ja) * 2020-03-19 2021-09-27 株式会社日立製作所 情報処理装置及び方法
WO2021245997A1 (ja) * 2020-06-05 2021-12-09 言語研究開発合同会社 言語学習支援装置、プログラム及び情報処理方法
WO2023037569A1 (ja) * 2021-09-08 2023-03-16 日本電気株式会社 文章理解支援装置、文章理解支援方法およびプログラム記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JP2006023566A (ja) * 2004-07-08 2006-01-26 Matsushita Electric Ind Co Ltd 理解度判定装置および方法
JP2015087782A (ja) * 2013-10-28 2015-05-07 日本放送協会 視聴状態推定装置およびそのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476137B2 (ja) 2010-01-19 2014-04-23 株式会社日立製作所 生体および脳機能計測に基づくヒューマンインターフェイス
JP4983943B2 (ja) * 2010-03-05 2012-07-25 カシオ計算機株式会社 テキスト表示装置およびプログラム
JP5949143B2 (ja) * 2012-05-21 2016-07-06 ソニー株式会社 情報処理装置および情報処理方法
WO2015027079A1 (en) * 2013-08-21 2015-02-26 Quantum Applied Science And Research, Inc. System and method for improving student learning by monitoring student cognitive state

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JP2006023566A (ja) * 2004-07-08 2006-01-26 Matsushita Electric Ind Co Ltd 理解度判定装置および方法
JP2015087782A (ja) * 2013-10-28 2015-05-07 日本放送協会 視聴状態推定装置およびそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145986A (ja) * 2020-03-19 2021-09-27 株式会社日立製作所 情報処理装置及び方法
JP7382261B2 (ja) 2020-03-19 2023-11-16 株式会社日立製作所 情報処理装置及び方法
WO2021245997A1 (ja) * 2020-06-05 2021-12-09 言語研究開発合同会社 言語学習支援装置、プログラム及び情報処理方法
WO2023037569A1 (ja) * 2021-09-08 2023-03-16 日本電気株式会社 文章理解支援装置、文章理解支援方法およびプログラム記憶媒体

Also Published As

Publication number Publication date
JPWO2017060994A1 (ja) 2018-08-02
US10699057B2 (en) 2020-06-30
JP6469242B2 (ja) 2019-02-13
US20180285351A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
Gubian et al. Using Functional Data Analysis for investigating multidimensional dynamic phonetic contrasts
Jiang et al. Investigation of different speech types and emotions for detecting depression using different classifiers
Coutinho et al. Psychoacoustic cues to emotion in speech prosody and music
Haider et al. Emotion recognition in low-resource settings: An evaluation of automatic feature selection methods
Bone et al. Robust unsupervised arousal rating: A rule-based framework withknowledge-inspired vocal features
Strange et al. Acoustic variability within and across German, French, and American English vowels: Phonetic context effects
Truong et al. Speech-based recognition of self-reported and observed emotion in a dimensional space
US9449522B2 (en) Systems and methods for evaluating difficulty of spoken text
WO2018042709A1 (ja) 理解度算出装置及び理解度算出方法
Lyakso et al. EmoChildRu: emotional child Russian speech corpus
US10755595B1 (en) Systems and methods for natural language processing for speech content scoring
Gibbon The rhythms of rhythm
Barbosa Semi-automatic and automatic tools for generating prosodic descriptors for prosody research
Frommer et al. Towards emotion and affect detection in the multimodal last minute corpus
JP6469242B2 (ja) コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法
Al-Talabani et al. Emotion recognition from speech: tools and challenges
Kim et al. A kinematic study of critical and non-critical articulators in emotional speech production
MacIntyre et al. Pushing the envelope: Evaluating speech rhythm with different envelope extraction techniques
Caraty et al. Vocal fatigue induced by prolonged oral reading: Analysis and detection
Kanwal et al. Identifying the evidence of speech emotional dialects using artificial intelligence: A cross-cultural study
Szekrényes Annotation and interpretation of prosodic data in the hucomtech corpus for multimodal user interfaces
Gregori et al. A roadmap for technological innovation in multimodal communication research
Khaki et al. Continuous emotion tracking using total variability space.
Siew The influence of 2-hop network density on spoken word recognition
Arnhold Complex prosodic focus marking in Finnish: Expanding the data landscape

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15905814

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544121

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15766633

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15905814

Country of ref document: EP

Kind code of ref document: A1