Nothing Special   »   [go: up one dir, main page]

CN114881179B - 一种基于意图理解的智能实验方法 - Google Patents

一种基于意图理解的智能实验方法 Download PDF

Info

Publication number
CN114881179B
CN114881179B CN202210796763.6A CN202210796763A CN114881179B CN 114881179 B CN114881179 B CN 114881179B CN 202210796763 A CN202210796763 A CN 202210796763A CN 114881179 B CN114881179 B CN 114881179B
Authority
CN
China
Prior art keywords
intention
probability
experiment
experimenter
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210796763.6A
Other languages
English (en)
Other versions
CN114881179A (zh
Inventor
冯志全
杨璐榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202210796763.6A priority Critical patent/CN114881179B/zh
Publication of CN114881179A publication Critical patent/CN114881179A/zh
Application granted granted Critical
Publication of CN114881179B publication Critical patent/CN114881179B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域，提供一种基于意图理解的智能实验方法，通过对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重，能够根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率，另外设计加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。本发明具有理解用户意图精准并且大大提升了学习者的学习专注度和效率的有益效果。

Description

一种基于意图理解的智能实验方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于意图理解的智能实验方法。
背景技术
随着虚拟现实技术的发展，目前已经越来越多的应用于人们生产、生活及科研教育活动中。而在教学中，虚拟现实技术由于其具备交互性特征、智能化的三维动态视觉与虚拟行为模仿系统，能够将学习者更快引入到不同的情境中，能够克服许多现实教学中的局限。
例如，目前许多化学实验设计在虚实融合的实验平台上进行，在虚拟平台中，利用融合的实物交互套件，可以有真实的操作过程，虚拟的实验现象展示。
依据心流理论，心流体验是一种在做某件事情时，忘记疲劳、时间以及当前这件事情本身以外的其他事情的一种完全沉浸的感觉，如果在实验过程中学生也可以达到这样一种状态，通过营造合理的情景，引导不同基础的学生找到学习的自信和可着地点，给学生明确且符合其能力的学习目标，最大程度激发学生的学习兴趣，使其逐渐获得心流体验，这种体验就会成为学生不断迎接挑战和实现自我成长的动力。
在实际使用时，交互系统使用了多通道采集操作者的各种包括静态信息和动态信息，但如何将多通道的各种信息数据进行融合并更准确的预测操作者的意图并将意图预测的结果应用到趣味学习模式设计中，融合心流理论来设计趣味学习策略，提高学生的学习兴趣和学习效率，是目前虚拟现实在化学实验应用的一个应用热点。
发明内容
本发明针对现有技术的不足，提供了一种依据获得心流体验学习模式的基于意图理解的智能实验方法。
本发明是通过如下技术方案实现的，提供一种基于意图理解的智能实验方法，其特征在于，首先进行多模态融合意图理解，然后再采用弱点捕获反馈机制、个性化动态实验模式匹配策略和人机竞赛答题策略的策略；
所述的多模态融合意图理解包括以下步骤：
（1）多通道数据处理；
首先设定初始概率，建立基于实验者操作行为的状态转移概率模型，此模型为一个
Figure 775433DEST_PATH_IMAGE001
矩阵，从j状态到i状态的转移概率记为
Figure 630256DEST_PATH_IMAGE002
；
建立了行为意图库，采集场景通道、语音通道的信息，将信息处理后进行量化匹配；
对于位置信息的计算，根据实时捕获的手坐标和场景中各器材的坐标，通过公式（1）得到当前位置通道意图概率，
Figure 206731DEST_PATH_IMAGE003
（1）
其中，
Figure 788891DEST_PATH_IMAGE004
为位置通道第i个意图的概率，R是一个根据大量实验设置的操作意图概率激增区域，S1，S2，S3表示距离，
Figure 540946DEST_PATH_IMAGE005
为R区域内的概率权重；
对于运动方向的计算，实时捕获手的移动轨迹，计算手的运动方向与场景中各器材的方位关系，得到一个概率值，具体计算方法如公式（2），
Figure 51824DEST_PATH_IMAGE006
（2）
其中，
Figure 990962DEST_PATH_IMAGE007
为方向通道第i个意图的概率，
Figure 642392DEST_PATH_IMAGE008
为第i个器材到手部运动轨迹的距离；
对于语音信息，首先根据不同实验意图集的意图建立语音数据库
Figure 983374DEST_PATH_IMAGE009
，其中，语音数据库与化学实验的意图集一一对应，
Figure 662224DEST_PATH_IMAGE010
表示实验类型，
Figure 354236DEST_PATH_IMAGE011
表示该实验中第
Figure 12620DEST_PATH_IMAGE012
个意图对应的语音，
Figure 473688DEST_PATH_IMAGE013
代表该实验的意图个数，整理出意图集中每种意图不同的关键字，采用百度API获取语音文本信息，然后提取关键字，计算系统捕获到的关键字与意图库中每个意图关键字的匹配程度来实时计算根据语音信息计算出来的每个意图的概率
Figure 326369DEST_PATH_IMAGE014
；
（2）多通道信息融合；
首先，对获取到的各通道动态信息进行融合，采用计算每个通道意图概率方差来得到每个通道的权重，具体公式如下，
Figure 364732DEST_PATH_IMAGE015
（3）
其中，
Figure 577538DEST_PATH_IMAGE016
代表位置、方向、语音三个通道，
Figure 142381DEST_PATH_IMAGE017
为每个通道的权重，
Figure 415230DEST_PATH_IMAGE018
为第
Figure 829638DEST_PATH_IMAGE019
个通道第i个意图的概率，
Figure 580556DEST_PATH_IMAGE020
为第
Figure 265484DEST_PATH_IMAGE021
个通道中n个意图的平均概率；
最终每个意图的动态信息预测概率
Figure 974814DEST_PATH_IMAGE022
为
Figure 348289DEST_PATH_IMAGE023
（4）
将静态信息得到的预测概率与动态信息得出的概率相结合，得到融合之后的意图概率，公式如下
Figure 434057DEST_PATH_IMAGE024
（5）
其中，
Figure 707912DEST_PATH_IMAGE025
为预测的第i个意图的概率，
Figure 447198DEST_PATH_IMAGE026
为从第意图库中第j个意图到底i个意图的状态转移概率，
Figure 822816DEST_PATH_IMAGE027
为融合动态信息得到的第i个意图的概率；
选择
Figure 952356DEST_PATH_IMAGE028
所对应的最大的为预测出来的当前意图。
作为优选，在监测用户实验操作的流畅度以及操作步骤，设置弱点捕获反馈机制，弱点捕获及反馈再学习过程如下：
（1）记录可疑弱点知识：实时监测实验者的操作过程，记录实验者被引导和警示的点；
（2）对弱点知识进行再学习：去题库中匹配与捕获的弱点知识符合度最高的题目进行测试，如果在引导和警示完，实验者已经掌握了这个知识点，那么继续进行下一步实验；否则，计算机对该知识点进行语音或者视频讲解，完成后再次从题库抽取题目进行测试，直至答题正确，意味着实验者对该知识点已经完全掌握，在实验结束后，计算机会返回一个弱点知识点的总结，来帮助学生更直观的看到自己的薄弱点并加以针对性复习。
作为优选，通过监测实验者的操作时间和准确率，根据每个实验者不同的实验状态，设置个性化实验模式，包括如下策略，
（1）及时的激励：当实验者很好的完成某一步，系统会根据完成的时间和操作规范度发放相应的奖励，这里采用虚拟金币的形式；
（2）智能导航：系统实时监测实验者的操作过程，当检测到实验者停留在某一步的时间过长无法快速进行下一步，系统会进行及时的引导；同时，通过意图理解，计算机预测到实验者即将做一个错误的操作，系统也会进行警示；
（3）智能设障：设置隐藏关卡，当实验者操作顺畅，整个实验过程达到某个条件时，可以解锁相应的隐藏关卡，隐藏关卡的设置是对于当前基础实验知识点的拓展和拔高，实验者在学习到更多知识的同时还可以获得额外的金币奖励。
综上所述，本发明可以对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重，能够根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率，另外设计加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。本发明具有理解用户意图精准并且大大提升了学习者的学习专注度和效率的有益效果。
附图说明
图1为本发明的基于意图理解的智能实验方法的整体架构示意图；
图2为本发明基于意图理解的智能实验方法中弱点捕获反馈机制流程结构示意图。
具体实施方式
为能清楚说明本发明方案的技术特点，下面结合附图，并通过具体实施方式，对本方案进一步阐述。
如图1至图2中所示，本发明提供一种基于意图理解的智能实验方法，首先进行多模态融合意图理解，然后再采用弱点捕获反馈机制、个性化动态实验模式匹配策略和人机竞赛答题策略；
所述的多模态融合意图理解包括以下步骤：
（1）多通道数据处理；
首先设定初始概率，邀请了多名不同年级的同学依次对浓硫酸稀释实验进行操作，并记录他们的操作顺序和所选仪器，分析建立基于实验者操作行为的状态转移概率模型，此模型为一个
Figure 97030DEST_PATH_IMAGE029
的矩阵，从j状态到i状态的转移概率记为
Figure 131851DEST_PATH_IMAGE030
；
动态信息包含多个通道，可以更好的实现信息补充，提升预测结果的精度，从而提高预测模型的鲁棒性，在本实施例中，建立了行为意图库，采集场景通道、语音通道的信息，将信息处理后进行量化匹配；
对于位置信息的计算，根据实时捕获的手坐标和场景中各器材的坐标，通过公式（1）得到当前位置通道意图概率，
Figure 994764DEST_PATH_IMAGE003
（1）
其中，
Figure 641909DEST_PATH_IMAGE004
为位置通道第i个意图的概率，R是一个根据大量实验设置的操作意图概率激增区域，S1，S2，S3表示距离，
Figure 641089DEST_PATH_IMAGE005
为R区域内的概率权重；
对于运动方向的计算，实时捕获手的移动轨迹，计算手的运动方向与场景中各器材的方位关系，得到一个概率值，具体计算方法如公式（2），
Figure 722177DEST_PATH_IMAGE006
（2）
其中，
Figure 56075DEST_PATH_IMAGE007
为方向通道第i个意图的概率，
Figure 21757DEST_PATH_IMAGE008
为第i个器材到手部运动轨迹的距离；
对于语音信息，首先根据不同实验意图集的意图建立语音数据库
Figure 623247DEST_PATH_IMAGE009
，其中，语音数据库与化学实验的意图集一一对应，
Figure 485023DEST_PATH_IMAGE010
表示实验类型，
Figure 837376DEST_PATH_IMAGE011
表示该实验中第
Figure 75591DEST_PATH_IMAGE012
个意图对应的语音，
Figure 65674DEST_PATH_IMAGE013
代表该实验的意图个数，整理出意图集中每种意图不同的关键字，采用百度API获取语音文本信息，然后提取关键字，计算系统捕获到的关键字与意图库中每个意图关键字的匹配程度来实时计算根据语音信息计算出来的每个意图的概率
Figure 222986DEST_PATH_IMAGE014
；
（2）多通道信息融合；
首先，对获取到的各通道动态信息进行融合，采用计算每个通道意图概率方差来得到每个通道的权重，具体公式如下，
Figure 547788DEST_PATH_IMAGE015
（3）
其中，
Figure 838961DEST_PATH_IMAGE016
代表位置、方向、语音三个通道，
Figure 667240DEST_PATH_IMAGE017
为每个通道的权重，
Figure 149781DEST_PATH_IMAGE018
为第
Figure 430720DEST_PATH_IMAGE019
个通道第i个意图的概率，
Figure 525584DEST_PATH_IMAGE020
为第
Figure 739528DEST_PATH_IMAGE021
个通道中n个意图的平均概率；
最终每个意图的动态信息预测概率
Figure 395899DEST_PATH_IMAGE022
为
Figure 164135DEST_PATH_IMAGE023
（4）
将静态信息得到的预测概率与动态信息得出的概率相结合，得到融合之后的意图概率，公式如下
Figure 62690DEST_PATH_IMAGE024
（5）
其中，
Figure 865561DEST_PATH_IMAGE025
为预测的第i个意图的概率，
Figure 801156DEST_PATH_IMAGE026
为从第意图库中第j个意图到底i个意图的状态转移概率，
Figure 70070DEST_PATH_IMAGE027
为融合动态信息得到的第i个意图的概率；
选择
Figure 257469DEST_PATH_IMAGE028
所对应的最大的为预测出来的当前意图。
基于上述意图理解融合策略，可以得到用户接下来的操作意图，根据正确的实验流程来对当前用户的操作进行干预，同时，在实验过程中加入趣味学习元素，设置趣味学习策略，对不同水平的学生匹配不同的趣味学习策略，更好地辅助用户进行高效学习，最后，系统给出学习评价反馈，方便用户进行反思总结再学习，在本实施例中，在监测用户实验操作的流畅度以及操作步骤，设置弱点捕获反馈机制，弱点捕获及反馈再学习过程如下：
（1）记录可疑弱点知识：实时监测实验者的操作过程，记录实验者被引导和警示的点；
（2）对弱点知识进行再学习：去题库中匹配与捕获的弱点知识符合度最高的题目进行测试，如果在引导和警示完，实验者已经掌握了这个知识点，那么继续进行下一步实验；否则，计算机对该知识点进行语音或者视频讲解，完成后再次从题库抽取题目进行测试，直至答题正确，意味着实验者对该知识点已经完全掌握，在实验结束后，计算机会返回一个弱点知识点的总结，来帮助学生更直观的看到自己的薄弱点并加以针对性复习。
为了适应不同基础的学生，让计算机可以有效、高效的协同学生进行正确有序的实验，在本实施例中的趣味学习模式中，通过监测实验者的操作时间和准确率，根据每个实验者不同的实验状态，设置个性化实验模式，包括如下策略，
（1）及时的激励：当实验者很好的完成某一步，系统会根据完成的时间和操作规范度发放相应的奖励，这里采用虚拟金币的形式；
（2）智能导航：系统实时监测实验者的操作过程，当检测到实验者停留在某一步的时间过长无法快速进行下一步，系统会进行及时的引导；同时，通过意图理解，计算机预测到实验者即将做一个错误的操作，系统也会进行警示；
（3）智能设障：设置隐藏关卡，当实验者操作顺畅，整个实验过程达到某个条件时，可以解锁相应的隐藏关卡，隐藏关卡的设置是对于当前基础实验知识点的拓展和拔高，实验者在学习到更多知识的同时还可以获得额外的金币奖励。
在学习过程中，对学习者提供及时的反馈非常重要，对实验者来说，积极的反馈可以说明他们当前学习行为的有效性，可以确保他们对应用的控制感，同时，也可以让他们在学习过程中有更明确的目标。因此，在本实施例中实验结束后，设置一个知识竞答模块，计算机和实验者同时做题，给计算机设置反应时间，实验者和机器进行抢答，抢答正确会加分，抢答错误会被扣分，放弃抢答则不加分也不扣分，如果实验者最后输给计算机，则之前所有的金币奖励清零；反之，如果实验者战胜了计算机，则会根据整个实验过程中实验者获得的金币情况授予不同的头衔，包括“差强人意”、“得心应手”、“游刃有余”、“炉火纯青”。
在本实施中，还给出算法描述如下：
算法名称：基于静态信息与动态信息融合的多模态融合意图概率获取算法（VCSIG算法）
输入：语音信息（V）、摄像头捕获的场景位置信息（C）、状态转移概率（S）、知识库信息（D）
输出：用户当前操作意图（I）、趣味学习策略（G）
1.While（C）：
2.Computer
Figure 429693DEST_PATH_IMAGE031
using the formula (1);
3.Computer
Figure 411555DEST_PATH_IMAGE032
using the formula (2);
4.
Figure 905116DEST_PATH_IMAGE033
（
Figure 630626DEST_PATH_IMAGE034
）
Figure 75700DEST_PATH_IMAGE036
/*Compare keywords to get intention probability*/
Figure 164879DEST_PATH_IMAGE037
Figure 707462DEST_PATH_IMAGE038
/* Each intention probability of voice channel is 0*/
5.Computer
Figure 73853DEST_PATH_IMAGE039
using the formula (3);
Figure 381206DEST_PATH_IMAGE040
（
Figure 364206DEST_PATH_IMAGE041
）/*The weight is calculated according to theinformation value content of each channel*/
6.Computer
Figure 447830DEST_PATH_IMAGE042
using the formula (4);
Figure 793361DEST_PATH_IMAGE043
/* The information of each channel is weighted and summed*/
7.
Figure 553507DEST_PATH_IMAGE044
was obtained through a large number of experimental statistics
8.ComputerP using the formula (5);
Figure 878495DEST_PATH_IMAGE046
/*Fusion of static information and dynamic information*/
9.
Figure 967280DEST_PATH_IMAGE047
/*Takethe intention corresponding to
Figure 163906DEST_PATH_IMAGE048
as the finalresult*/
10.
Figure 839607DEST_PATH_IMAGE049
：
11.Recording time t；
12.
Figure 373357DEST_PATH_IMAGE050
13.Record current operation process
Figure 834425DEST_PATH_IMAGE051
,Executegame strategy
Figure 687106DEST_PATH_IMAGE052
/*warning*/
14.
Figure 600835DEST_PATH_IMAGE053
15.Record current operation process
Figure 62909DEST_PATH_IMAGE054
,Executegame strategy
Figure 378484DEST_PATH_IMAGE055
/*guide*/
16.
Figure 510388DEST_PATH_IMAGE056
17.Unlock hidden level/*Hide levels to improve current knowledge*/
18.ReturnO
End
多模态融合意图理解的主要难点在于对于多通道信息的处理问题，有些通道信息不完整，有些通道的信息有冗余，这些都会影响意图理解的准确性，我们需要正确区分有效信息并加以利用，得到更精准的意图。同时，当前很多虚拟仿真实验系统的设计过于流程化，不够灵活，趣味学习模式的设计是为了让用户专注于学习的过程，提高用户的学习效率。
在本实施例中，当前基于静态信息与动态信息融合的多模态融合意图概率获取算法的优点在于，（1）可以对多通道动态信息进行评估，按照有效信息的价值含量对每个通道自动赋予不同的权重；（2）根据人的行为与动机的关系，获取静态信息，将静态信息与动态信息采用融合策略进行融合，提高意图预测的准确率；（3）加入了趣味学习元素，可以根据不同学生的实验情况进行有针对性的引导警示以及设障等，使学生更容易达到心流状态。
最后，还应说明，上述举例和说明也并不仅限于上述实施例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围。

Claims (3)

1.一种基于意图理解的智能实验方法，其特征在于，首先进行多模态融合意图理解，然后再采用弱点捕获反馈机制、个性化动态实验模式匹配策略和人机竞赛答题策略的策略；
所述的多模态融合意图理解包括以下步骤：
（1）多通道数据处理；
首先设定初始概率，建立基于实验者操作行为的状态转移概率模型，此模型为一个
Figure 492999DEST_PATH_IMAGE001
矩阵，从j状态到i状态的转移概率记为
Figure 364003DEST_PATH_IMAGE002
；
建立了行为意图库，采集场景通道、语音通道的信息，将信息处理后进行量化匹配；
对于位置信息的计算，根据实时捕获的手坐标和场景中各器材的坐标，通过公式（1）得到当前位置通道意图概率，
Figure 954253DEST_PATH_IMAGE003
（1）
其中，
Figure 150879DEST_PATH_IMAGE004
为位置通道第i个意图的概率，R是一个根据大量实验设置的操作意图概率激增区域，S1，S2，S3表示距离，
Figure 328045DEST_PATH_IMAGE005
为R区域内的概率权重；
对于运动方向的计算，实时捕获手的移动轨迹，计算手的运动方向与场景中各器材的方位关系，得到一个概率值，具体计算方法如公式（2），
Figure 268319DEST_PATH_IMAGE006
（2）
其中，
Figure 775392DEST_PATH_IMAGE007
为方向通道第i个意图的概率，
Figure 611761DEST_PATH_IMAGE008
为第i个器材到手部运动轨迹的距离；
对于语音信息，首先根据不同实验意图集的意图建立语音数据库
Figure 587808DEST_PATH_IMAGE009
，其中，语音数据库与化学实验的意图集一一对应，
Figure 813996DEST_PATH_IMAGE010
表示实验类型，
Figure 129571DEST_PATH_IMAGE011
表示该实验中第
Figure 120530DEST_PATH_IMAGE012
个意图对应的语音，
Figure 318293DEST_PATH_IMAGE013
代表该实验的意图个数，整理出意图集中每种意图不同的关键字，采用百度API获取语音文本信息，然后提取关键字，计算系统捕获到的关键字与意图库中每个意图关键字的匹配程度来实时计算根据语音信息计算出来的每个意图的概率
Figure 85523DEST_PATH_IMAGE014
；
（2）多通道信息融合；
首先，对获取到的各通道动态信息进行融合，采用计算每个通道意图概率方差来得到每个通道的权重，具体公式如下，
Figure 521183DEST_PATH_IMAGE015
（3）
其中，
Figure 10939DEST_PATH_IMAGE016
代表位置、方向、语音三个通道，
Figure 164840DEST_PATH_IMAGE017
为每个通道的权重，
Figure 732831DEST_PATH_IMAGE018
为第
Figure 554157DEST_PATH_IMAGE019
个通道第i个意图的概率，
Figure 168809DEST_PATH_IMAGE020
为第
Figure 528115DEST_PATH_IMAGE021
个通道中n个意图的平均概率；
最终每个意图的动态信息预测概率
Figure 151994DEST_PATH_IMAGE022
为
Figure 312980DEST_PATH_IMAGE023
（4）
将静态信息得到的预测概率与动态信息得出的概率相结合，得到融合之后的意图概率，公式如下
Figure 98533DEST_PATH_IMAGE024
（5）
其中，
Figure 210714DEST_PATH_IMAGE025
为预测的第i个意图的概率，
Figure 372705DEST_PATH_IMAGE026
为从意图库中第j个意图到第 i个意图的状态转移概率，
Figure 182005DEST_PATH_IMAGE027
为融合动态信息得到的第i个意图的概率；
选择
Figure 404039DEST_PATH_IMAGE028
所对应的最大的为预测出来的当前意图。
2.根据权利要求1所述的基于意图理解的智能实验方法，其特征在于，在监测用户实验操作的流畅度以及操作步骤，设置弱点捕获反馈机制，弱点捕获及反馈再学习过程如下：
（1）记录可疑弱点知识：实时监测实验者的操作过程，记录实验者被引导和警示的点；
（2）对弱点知识进行再学习：去题库中匹配与捕获的弱点知识符合度最高的题目进行测试，如果在引导和警示完，实验者已经掌握了这个知识点，那么继续进行下一步实验；否则，计算机对该知识点进行语音或者视频讲解，完成后再次从题库抽取题目进行测试，直至答题正确，意味着实验者对该知识点已经完全掌握，在实验结束后，计算机会返回一个弱点知识点的总结，来帮助学生更直观的看到自己的薄弱点并加以针对性复习。
3.根据权利要求1所述的基于意图理解的智能实验方法，其特征在于，通过监测实验者的操作时间和准确率，根据每个实验者不同的实验状态，设置个性化实验模式，包括如下策略，
（1）及时的激励：当实验者很好的完成某一步，系统会根据完成的时间和操作规范度发放相应的奖励，这里采用虚拟金币的形式；
（2）智能导航：系统实时监测实验者的操作过程，当检测到实验者停留在某一步的时间过长无法快速进行下一步，系统会进行及时的引导；同时，通过意图理解，计算机预测到实验者即将做一个错误的操作，系统也会进行警示；
（3）智能设障：设置隐藏关卡，当实验者操作顺畅，整个实验过程达到某个条件时，可以解锁相应的隐藏关卡，隐藏关卡的设置是对于当前基础实验知识点的拓展和拔高，实验者在学习到更多知识的同时还可以获得额外的金币奖励。
CN202210796763.6A 2022-07-08 2022-07-08 一种基于意图理解的智能实验方法 Expired - Fee Related CN114881179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796763.6A CN114881179B (zh) 2022-07-08 2022-07-08 一种基于意图理解的智能实验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796763.6A CN114881179B (zh) 2022-07-08 2022-07-08 一种基于意图理解的智能实验方法

Publications (2)

Publication Number Publication Date
CN114881179A CN114881179A (zh) 2022-08-09
CN114881179B true CN114881179B (zh) 2022-09-06

Family

ID=82683653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796763.6A Expired - Fee Related CN114881179B (zh) 2022-07-08 2022-07-08 一种基于意图理解的智能实验方法

Country Status (1)

Country Link
CN (1) CN114881179B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286763A (zh) * 2019-06-21 2019-09-27 济南大学 一种具有认知功能的导航式实验交互装置
CN110554774A (zh) * 2019-07-22 2019-12-10 济南大学 一种面向ar的导航式交互范式系统
CN114582030A (zh) * 2022-05-06 2022-06-03 湖北工业大学 一种基于服务机器人的行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286763A (zh) * 2019-06-21 2019-09-27 济南大学 一种具有认知功能的导航式实验交互装置
CN110554774A (zh) * 2019-07-22 2019-12-10 济南大学 一种面向ar的导航式交互范式系统
CN114582030A (zh) * 2022-05-06 2022-06-03 湖北工业大学 一种基于服务机器人的行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多通道人机交互信息融合的智能方法;杨明浩等;《中国科学:信息科学》;20180420(第04期);79-94页 *

Also Published As

Publication number Publication date
CN114881179A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Jalal et al. Students’ behavior mining in e-learning environment using cognitive processes with information technologies
CN111665941B (zh) 一种面向虚拟实验的多模态语义融合人机交互系统和方法
Lin et al. Is it a good move? Mining effective tutoring strategies from human–human tutorial dialogues
CN110069707A (zh) 一种人工智能自适应互动教学系统
CN114372137B (zh) 一种融合深度知识追踪的动态感知试题推荐方法及系统
Adnan et al. Earliest possible global and local interpretation of students’ performance in virtual learning environment by leveraging explainable AI
Vishnumolakala et al. In-class student emotion and engagement detection system (iSEEDS): an AI-based approach for responsive teaching
CN114881179B (zh) 一种基于意图理解的智能实验方法
Byrne et al. Leveraging eye tracking in digital classrooms: A step towards multimodal model for learning assistance
CN116611969B (zh) 传统武术智能学习与评分系统
Rozaliev et al. Methods and applications for controlling the correctness of physical exercises performance
Hung et al. Building an online learning model through a dance recognition video based on deep learning
CN118114815A (zh) 一种基于知识、思维和能力的三元编程状态追踪方法
CN117877338A (zh) 基于vr技术的模拟室内装饰施工训练方法及系统
Chan et al. Grounding commands for autonomous vehicles via layer fusion with region-specific dynamic layer attention
Ghadami et al. A Transformer-Based Multi-Stream Approach for Isolated Iranian Sign Language Recognition
Ou et al. Predicting visual focus of attention from intention in remote collaborative tasks
Sifaleras Generative Intelligence and Intelligent Tutoring Systems: 20th International Conference, ITS 2024, Thessaloniki, Greece, June 10–13, 2024, Proceedings, Part I
Barnes et al. Data-driven domain models for problem solving
Huang et al. Pull together: Option-weighting-enhanced mixture-of-experts knowledge tracing
Cao et al. Mamba4KT: An Efficient and Effective Mamba-based Knowledge Tracing Model
Zhu Development and Comparison of Operator Strategy Models
Kelly Analysis and Control of Temporal Biases in Surgical Skill Evaluation
D'Souza et al. Monitoring Cyber Peer-Led Team Learning: A Multimodal Human-in-the-loop Approach.
do Nascimento et al. Computational vision for analyzing student emotions in e-learning: a preliminary study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220906

CF01 Termination of patent right due to non-payment of annual fee