Nothing Special   »   [go: up one dir, main page]

CN107451116B - 一种移动应用内生大数据统计分析方法 - Google Patents

一种移动应用内生大数据统计分析方法 Download PDF

Info

Publication number
CN107451116B
CN107451116B CN201710575488.4A CN201710575488A CN107451116B CN 107451116 B CN107451116 B CN 107451116B CN 201710575488 A CN201710575488 A CN 201710575488A CN 107451116 B CN107451116 B CN 107451116B
Authority
CN
China
Prior art keywords
value
comment data
word
comment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710575488.4A
Other languages
English (en)
Other versions
CN107451116A (zh
Inventor
任伟
张耀成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Zhaoyang Supply Chain Service Co ltd
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201710575488.4A priority Critical patent/CN107451116B/zh
Publication of CN107451116A publication Critical patent/CN107451116A/zh
Application granted granted Critical
Publication of CN107451116B publication Critical patent/CN107451116B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种移动应用内生大数据统计分析方法，其特征在于，包括以下步骤：获取移动应用内生评论数据，通过自然语言处理算法对评论数据进行句法分析和语法分析，并根据分析结果对评论数据进行分割和重组，转换为结构化的评论数据；进行分词处理，查询分词在词典中的类型及不同类型对应的值，计算评论数据的情感值；统计一段时间某个热点信息的评论数据的情感值和评论人数，根据评论数据的评论人数和情感值分别计算变化曲线，根据曲线的斜率变化程度判断热点信息的评论人数和情感值之间的关联程度。本发明能快速高效的处理大量的来自移动应用的数据，并对非结构化的数据进行结构化化处理，得到的统计结果对应用开发人员具有良好的指导意义。

Description

一种移动应用内生大数据统计分析方法
技术领域
本发明涉及移动应用数据分析技术领域，尤其涉及一种移动应用内生大数据统计分析方法。
背景技术
当前随着移动互联网的快速发展，基于移动联网设备的移动应用规模呈现逐渐上升趋势，于此同时产生自移动应用的移动应用内生数据的数据量也快速增长。但是目前少有人对这些数据进行分析处理。我们在这里提出了一种用于针对移动应用内生评论数据的统计分析方法，可以有效的处理与分析来自移动应用的内生数据。
已知的产品方案和公开专利有：
1、一种中文评论分析方法及其系统；
该方法如下：有用户向网站提交评论信息，网站前台向控制中心发送分析请求，控制中心将其传递至分析部件，分析部件对其进行分主题分析，分词服务器进行分词和词性标注，分析部件依次进行句法分析和情感分析，数据中心将分析结论保存至用户评论表中。控制中心能够直接通过主题分析来排除不合格语料，而且分析部件依次对用户评论进行句法分析和情感倾向分析，有效地得出中文评论的情感倾向结论，提高分析系统的准确度，管理员通过浏览倾向性为正的评论，以确定评论是否符合要求。
2、一种有监督学习的产品评论分析方法及系统；
该方法如下：首先通过机器学习训练分类器依次对收集到的用户评论进行产品特征方面的分类；然后对经训练分类器分类过后的评论文本进行情感分析；最后通过综合统计大量评论文本所涉及的产品特征以及对应的情感倾向，总结出用户对于该产品各个特征的量化评价。
3、一种基于实体及特征的评论分析方法；
该方法如下：通过利用自然语言处理相关手段，对评论文本进行处理，得到评论文本的实体树及相关实体的特征。进一步利用评论文本的实体及特征对文本进行信息提取。对于舆情分析，关系提取，倾向性分析等等其他评论分析工作有着推动作用。
4、基于语料的情感词典构建方法；
该方法如下：通过预先获得一部分已知情感倾向的形容词，包括积极的和消极的两种，再利用转折词和否定词，提取并分析未知情感倾向的形容词，不断扩展种子词库，最后做出判断。该方法不需要人工干预，且属于无监督的学习方法，能大大提高工作效率。该方法构造的情感词典，可以用于评论分析，能快速地得到其情感倾向，达到快速分析的目的。
5、一种基于词向量的评论分析方法及系统；
该方法如下：收集用户评论，形成评论语料库；将评论语料库的每条评论转化为维度相同的句向量；设置若干评论类型，根据人工输入的标注为每条评论标注其所属的评论类型；以所述句向量为输入，每条句向量对应的评论类型为输出训练分类器；获取一条新的评论，并将其转化为句向量；将新评论对应的句向量输入到所述分类器中，得到新评论的评论类型。
目前针对评论的统计分析方法有很多种，但方法多是基于单一的机器学习或单一的基于字典的方案，其处理结果具有一种偏差性。针对网络上的评论信息，现在多是针对基于微博的数据进行文本分析以求获取对网络舆论的监控，但是却忽略了在移动互联网时代由移动APP所带来的大量的文本数据信息在网络传播中所起到的巨大作用。
发明内容
本发明要解决的技术问题在于针对现有技术中的统计方法具有一定偏差性，且忽略了在移动互联网时代由移动APP所带来的大量的文本数据信息在网络传播中所起到的巨大作用的缺陷，提供一种移动应用内生大数据统计分析方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种移动应用内生大数据统计分析方法，包括以下步骤：
获取移动应用内生评论数据，通过自然语言处理算法对评论数据进行句法分析和语法分析，并根据分析结果对评论数据进行分割和重组，实现非结构化的评论数据转换为结构化的评论数据；
对结构化的评论数据进行分词处理，查询各个分词在词典中的类型及不同类型对应的值，进而计算得到该评论数据的情感值；
统计一段时间某个热点信息的评论数据的情感值和评论人数，根据评论数据的评论人数和情感值分别得到相同时间段内的变化曲线，根据两条变化曲线在同一时刻内的斜率变化程度判断热点信息的评论人数和情感值之间的关联程度。
进一步地，本发明的方法还包括提取评论数据中的新词汇的方法，使用基于词向量的算法计算新词汇的类别和值，并将新词汇加入到现有的词典中；
进一步地，本发明的方法中将非结构化的评论数据转换为结构化的评论数据的方法具体为：
对获取到的评论数据进行分段处理，按照中英文的句号、分号、问号和感叹号将评论数据分割为多段语义内容独立的句子；
对每段句子进行句法分析和语法分析，根据语句之间的依存关系重新提取并组成出新的语句结构；
将新的语句结构进行重组，得到结构化的评论数据；
比较结构化的评论数据与原始的评论数据之间语义上的差距，修复句法分析和语法分析的相关参数；
对所有评论数据循环以上步骤，实现将所有的非结构化的评论数据转换为结构化的评论数据。
进一步地，本发明的方法中将新词汇加入到现有的情感词词典中进行更新的方法具体为：
获取评论数据中含有新词汇的文本，对文本进行分词处理，形成单一文件；
使用word2vec模型训练形成的文件，得到一个词向量模型；
通过词向量模型计算出新词汇与现有词典中词汇的相似度；
获得新词汇与现有词典中相似度最高的词汇的值W，相似度P，则新词汇的值为W’＝W*P。
进一步地，本发明的计算评论数据情感值的方法具体为：
对结构化的评论数据按照中英文的句号、分号、感叹号和问号进行分割，得到分割后的多个句子；
对每个句子按照中英文的逗号和空格进行分割，得到分割后的多个短语；
对分割后的短语进行分词处理，并标注词性；
分析每个分词在词典中所属的类型，包括情感词、否定词、关联词、程度副词和停用词，并查询每个分词在词典中出现的位置和对应的值；
根据分词的类型和值，计算每个短语的情感值；
根据每个短语的情感值，计算每个句子的情感值；
根据每个句子的情感值，计算评论数据的情感值。
进一步地，本发明的计算短语的情感值的方法具体为：
设置初始情感值score＝0，w＝1；
判断一个词是否是停用词，若是则判断下一个词；
判断一个词是否是否定词，若是则设置w＝w*(-1)；
判断一个词是否是程度副词，若是则设置w＝w*该词的程度值
判断一个词是否是情感词，若是则设置score＝score+w*该词的情感值
判断一个词是否是连词若是则设置score＝score前+socre后*该连词的值，score前为该连词前一个词的情感值，socre后为该连词后一个词的情感值；
最终得到的score值为该短语的情感值。
进一步地，本发明的计算每个句子的情感值的方法具体为：
Figure BDA0001350844690000041
其中，scoresentence为句子的情感值，scoreopinionsentence为短语的情感值，L为短语的数量。
进一步地，本发明的计算评论数据的情感值的方法具体为：
Figure BDA0001350844690000051
Figure BDA0001350844690000052
其中，scoreparagraph为评价数据的情感值，scoresentence为句子的情感值，L为句子的数量。
进一步地，本发明的方法中判断评论数据与热点信息之间的关联程度的方法具体为：
统计一段时间内两个热点信息的评论数据的情感值，并计算这段时间内每天情感值的方差，均值为这短时间内情感值的均值；
统计这段时间内每天评论的人数数量信息；
计算这段时间内不同天之间评论人数上升或下降趋势的倾斜程度，记为：Li＝arctan((当天评论人数-前一天评论人数)/1)；
计算这段时间内不同天之间评论情感值方差上升或下降趋势的倾斜程度，记为：Si＝arctan((当天评论情感值方差-前一天评论情感值方差)/1)；
计算两者之间的欧拉距离：
Figure BDA0001350844690000053
D越大说明评论情感值与评论人数之间的关联程度越小，D越小说明评论情感值与评论人数之间的关联程度越大。
本发明产生的有益效果是：本发明的移动应用内生大数据统计分析方法，该针对移动应用评论数据数据量大，内容灵活，非结构化等特点，设计了一种用于统计分析移动应用内生评论数据的统计分析方法；可以快速高效的处理大量的来自移动应用的数据，并对非结构化的数据进行结构化化处理，得到的统计结果对应用开发人员具有良好的指导意义。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的非结构化评论数据转化结构化评论数据框架图；
图2是本发明实施例的计算评论情感值流程；
图3是本发明实施例的短语情感值计算流程；
图4是本发明实施例的基于斜率的相关性匹配技术流程；
图5是本发明实施例的基于词向量的新词情感值，程度值计算技术。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的移动应用内生大数据统计分析方法，包括以下步骤：
获取移动应用内生评论数据，通过自然语言处理算法对评论数据进行句法分析和语法分析，并根据分析结果对评论数据进行分割和重组，实现非结构化的评论数据转换为结构化的评论数据；
对结构化的评论数据进行分词处理，查询各个分词在词典中的类型及不同类型对应的值，进而计算得到该评论数据的情感值；
统计一段时间某个热点信息的评论数据的情感值和评论人数，根据评论数据的评论人数和情感值分别得到相同时间段内的变化曲线，根据两条变化曲线在同一时刻内的斜率变化程度判断热点信息的评论人数和情感值之间的关联程度。
该方法还包括提取评论数据中的新词汇的方法，使用基于词向量的算法计算新词汇的类别和值，并将新词汇加入到现有的词典中；
该方法中将非结构化的评论数据转换为结构化的评论数据的方法具体为：
对获取到的评论数据进行分段处理，按照中英文的句号、分号、问号和感叹号将评论数据分割为多段语义内容独立的句子；
对每段句子进行句法分析和语法分析，根据语句之间的依存关系重新提取并组成出新的语句结构；
将新的语句结构进行重组，得到结构化的评论数据；
比较结构化的评论数据与原始的评论数据之间语义上的差距，修复句法分析和语法分析的相关参数；
对所有评论数据循环以上步骤，实现将所有的非结构化的评论数据转换为结构化的评论数据。
该方法中将新词汇加入到现有的情感词词典中进行更新的方法具体为：
获取评论数据中含有新词汇的文本，对文本进行分词处理，形成单一文件；
使用word2vec模型训练形成的文件，得到一个词向量模型model；
这里word2vec模型通过统计分词后的词语在不同句子中的位置，推测该词汇有可能具有的词性，含义，情感值等并将其转换为一组向量一遍进行进一步的运算。
词向量模型model中包含有所有经word2vec模型训练后的词汇的向量表示形式，通过model模型可以快速的寻找出一个词汇在模型中的向量表示以及与该词汇最相似的词。
通过词向量模型计算出新词汇与现有词典中词汇的相似度；
获得新词汇与现有词典中相似度最高的词汇的值W，相似度P，则新词汇的值为W’＝W*P。
计算评论数据情感值的方法具体为：
对结构化的评论数据按照中英文的句号、分号、感叹号和问号进行分割，得到分割后的多个句子；
对每个句子按照中英文的逗号和空格进行分割，得到分割后的多个短语；
对分割后的短语进行分词处理，并标注词性；
分析每个分词在词典中所属的类型，包括情感词、否定词、关联词、程度副词和停用词，并查询每个分词在词典中出现的位置和对应的值；
根据分词的类型和值，计算每个短语的情感值；
根据每个短语的情感值，计算每个句子的情感值；
根据每个句子的情感值，计算评论数据的情感值。
计算短语的情感值的方法具体为：
设置初始情感值score＝0，w＝1；
判断一个词是否是停用词，若是则判断下一个词；
判断一个词是否是否定词，若是则设置w＝w*(-1)；
判断一个词是否是程度副词，若是则设置w＝w*该词的程度值
判断一个词是否是情感词，若是则设置score＝score+w*该词的情感值
判断一个词是否是连词若是则设置score＝score前+socre后*该连词的值，score前为该连词前一个词的情感值，socre后为该连词后一个词的情感值；
最终得到的score值为该短语的情感值。
计算每个句子的情感值的方法具体为：
Figure BDA0001350844690000081
其中，scoresentence为句子的情感值，scoreopinionsentence为短语的情感值，L为短语的数量。
计算评论数据的情感值的方法具体为：
Figure BDA0001350844690000082
Figure BDA0001350844690000083
其中，scoreparagraph为评价数据的情感值，scoresentence为句子的情感值，L为句子的数量。
该方法中判断评论数据与热点信息之间的关联程度的方法具体为：
统计一段时间内两个热点信息的评论数据的情感值，并计算这段时间内每天情感值的方差，均值为这短时间内情感值的均值；
统计这段时间内每天评论的人数数量信息；
计算这段时间内不同天之间评论人数上升或下降趋势的倾斜程度，记为：Li＝arctan((当天评论人数-前一天评论人数)/1)；
计算这段时间内不同天之间评论情感值方差上升或下降趋势的倾斜程度，记为：Si＝arctan((当天评论情感值方差-前一天评论情感值方差)/1)；
计算两者之间的欧拉距离：
Figure BDA0001350844690000091
D越大说明评论情感值与评论人数之间的关联程度越小，D越小说明评论情感值与评论人数之间的关联程度越大。
在本发明的另一个具体实施例中，该方法包括以下内容：
1、面向非结构化评论数据的结构化处理的自然语言处理技术；
通过分析移动应用中的评论数据可以发现，不用用户的评论内容在文法组织上并不完全符合中文的文法结构。即有事会出现缺少或者重复出现一些文法结构。这在中文语法中是错误的，但是并不影响人们阅读这些评论内容。
在处理评论信息时，第一步就是需要将大部分非结构化的评论信息，转换为可以识别的结构化评论信息，为之后快速识别的评论内容做出铺垫。
在这里，我们使用依存句法分析与语法分析。分别对评论中的各个句子做出分析。之后整理这些分析结果分别形成一个新的句子。这个方法包括：
1)对获得的评论数据进行分段处理，按照中英文的句号，分好，问号，感叹号等将评论数据分割为多个语义内容独立的句子；
2)分别对每段句子进行句法分析与语法分析；
3)按照句法分析与语法分析，按照依存关系重新提取出新的语句组成结构；
4)对评论中所有的句子都按照该方法组合形成新的结构信息；
5)观察新的评论内容与原有评论内容在语义上的差距，修复语句分析与语法分析的相关参数；
6)对所有的评论内容进行1-5的操作；
最后，可以将所有的非结构化的评论数据都转换为结构化的评论数据。
2、基于词向量的新词情感值，程度值计算技术；
现有的情感词典，程度词词典，无法完全覆盖一些网络交流中出现的新的流行的词汇。对于一些新的流行词汇，需要重新分析计算所属的类别。可以通过使用基于词向量的方式计算新增词汇的情感值或者程度值。具体步骤如下：
1)获取最新含有新类型词汇的文本内容，并从电子报刊上获取一般性文本内容；
2)对文本进行分词处理，形成单一文件；
3)使用word2vec模型训练形成的文件，得到一个词向量模型model；
4)通过model模型计算出新增网络词汇与原有词典中词汇的相似度；
5)获得新增词汇与原有词典中相似度最高的词汇的值W，相似度P，则新词汇的值为W’＝W*P；
通过该方法可以将所有新增词汇处理完毕并计算对应的值。
3、面向结构化评论数据的情感分析处理技术；
对经过结构化处理的评论数据，需要对其进行情感分析得到评论内容的情感倾向与程度值。通过分析评论内容情感值的变化规律可以了解到移动应用中哪些部分是用户喜欢的，哪些不是。
具体步骤如下；
1)将结构化评论数据按照中英文的句号，分好，感叹号，问号等进行分割
2)对每个句子中，按照中英文的逗号，空格进行分割
3)对分割后的短语，使用jieba分词处理，并标注词性
4)分析短句中各个分词在已知的情感词词典，否定词词典，关联词词典，程度副词词典，停用词词典中出现的地方以及对应的值
5)计算每个短语的情感值
6)计算每个评论的情感值。
在这里计算每个短语情感值的算法如下：
1)设定score＝0,w＝1；
2)判断一个词是否是停用词，若是则判断下一个词；
3)判断一个词是否是否定词，若是则设置w＝w*-1
4)判断一个词是否是程度副词，若是则设置w＝w*该词的程度值
5)判断一个词是否是情感词，若是则设置score＝score+w*该词的情感值；
6)判断一个词是否是连词若是则设置score＝score前+socre后*该连词的值。
在计算完一个短语的情感值之后，就可以计算出一个句子的情感值，与评论的情感值，方法如下：
计算一个句子的情感值；
1)按照中英文的逗号与空格分割句子，并按顺序存储。
2)计算每一个短语的情感值；
3)
Figure BDA0001350844690000111
4)得到一个句子的情感值。
计算一个评论的情感值：
1)计算每一个句子的情感值；
2)
Figure BDA0001350844690000112
3)得到一个评论的情感值。
此时，得到一批标注好的评论数据。之后使用基于深度学习方案对该数据进行模型构建得到学习模型。方案如下：
1)将结构化评论数据按照中英文的句号，分好，感叹号，问号等进行分割；
2)对每个句子中，按照中英文的逗号，空格进行分割；
3)对分割后的短语，使用jieba分词处理；
4)输入深度学习模型；
5)观察输出结果，参考经过词典计算后的结果，修改模型参数；
6)继续1-5步直至模型结果稳定且与字典方案计算结果一致；
得到深度模型后，即可使用该模型计算一般性的评论内容，但是需要间隔一段时候后重新训练模型以适应新的网络用语出现。
基于热点信息具有大量人员评论这一事实，提出基于评论变化间的斜率变化为基础的相关性匹配技术。方案如下：
1)统计某月的评论数据情感值数据，并计算该月内每天情感值方差信息，均值为该月情感值均值；
2)统计该月每天评论人数数量信息；
3)计算该月内不同天之间评论人数上升或下降趋势的倾斜程度。记为:Li＝arctan((当天评论人数-前一天评论人数)/1)；
4)计算该月内不同天之间评论情感值方差上升或下降趋势的倾斜程度。记为:Si＝arctan((当天评论情感值方差-前一天评论情感值方差)/1)
5)分别得到由3,4两个数据，计算他们的欧拉距离。
Figure BDA0001350844690000121
6)D越大说明两者之间关系越小，D越小两者之间关系越大。依次判断评论情感值变化规律与评论人数或者热点信息之间的关系。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种移动应用内生大数据统计分析方法，其特征在于，包括以下步骤：
获取移动应用内生评论数据，通过自然语言处理算法对评论数据进行句法分析和语法分析，并根据分析结果对评论数据进行分割和重组，实现非结构化的评论数据转换为结构化的评论数据；
对结构化的评论数据进行分词处理，查询各个分词在词典中的类型及不同类型对应的值，进而计算得到该评论数据的情感值；
统计一段时间某个热点信息的评论数据的情感值和评论人数，根据评论数据的评论人数和情感值分别得到相同时间段内的变化曲线，根据两条变化曲线在同一时刻内的斜率变化程度判断热点信息的评论人数和情感值之间的关联程度；
该方法中将非结构化的评论数据转换为结构化的评论数据的方法具体为：
对获取到的评论数据进行分段处理，按照中英文的句号、分号、问号和感叹号将评论数据分割为多段语义内容独立的句子；
对每段句子进行句法分析和语法分析，根据语句之间的依存关系重新提取并组成出新的语句结构；
将新的语句结构进行重组，得到结构化的评论数据；
比较结构化的评论数据与原始的评论数据之间语义上的差距，修复句法分析和语法分析的相关参数；
对所有评论数据循环以上步骤，实现将所有的非结构化的评论数据转换为结构化的评论数据；
该方法中判断热点信息的评论人数和情感值之间的关联程度的方法具体为：
统计一段时间内两个热点信息的评论数据的情感值，并计算这段时间内每天情感值的方差，均值为这段时间内情感值的均值；
统计这段时间内每天评论的人数数量信息；
计算这段时间内不同天之间评论人数上升或下降趋势的倾斜程度，记为：Li＝arctan((当天评论人数-前一天评论人数)/1)；
计算这段时间内不同天之间评论情感值方差上升或下降趋势的倾斜程度，记为：Si＝arctan((当天评论情感值方差-前一天评论情感值方差)/1)；
计算两者之间的欧拉距离：
Figure FDA0002246579430000021
D越大说明评论情感值与评论人数之间的关联程度越小，D越小说明评论情感值与评论人数之间的关联程度越大。
2.根据权利要求1所述的移动应用内生大数据统计分析方法，其特征在于，该方法还包括提取评论数据中的新词汇的方法，使用基于词向量的算法计算新词汇的类别和值，并将新词汇加入到现有的词典中。
3.根据权利要求2所述的移动应用内生大数据统计分析方法，其特征在于，该方法中将新词汇加入到现有的词典中的方法具体为：
获取评论数据中含有新词汇的文本，对文本进行分词处理，形成单一文件；
使用word2vec模型训练形成的文件，得到一个词向量模型；
通过词向量模型计算出新词汇与现有词典中词汇的相似度；
获得现有词典中、与新词汇相似度最高的词汇的值W，相似度P，则新词汇的值为W’＝W*P。
4.根据权利要求1所述的移动应用内生大数据统计分析方法，其特征在于，计算评论数据情感值的方法具体为：
对结构化的评论数据按照中英文的句号、分号、感叹号和问号进行分割，得到分割后的多个句子；
对每个句子按照中英文的逗号和空格进行分割，得到分割后的多个短语；
对分割后的短语进行分词处理，并标注词性；
分析每个分词在词典中所属的类型，包括情感词、否定词、关联词、程度副词和停用词，并查询每个分词在词典中出现的位置和对应的值；
根据分词的类型和值，计算每个短语的情感值；
根据每个短语的情感值，计算每个句子的情感值；
根据每个句子的情感值，计算评论数据的情感值。
5.根据权利要求4所述的移动应用内生大数据统计分析方法，其特征在于，计算短语的情感值的方法具体为：
设置初始情感值score＝0，w＝1；
判断一个词是否是停用词，若是则判断下一个词；
判断一个词是否是否定词，若是则设置w＝w*(-1)；
判断一个词是否是程度副词，若是则设置w＝w*该词的程度值
判断一个词是否是情感词，若是则设置score＝score+w*该词的情感值
判断一个词是否是连词，若是则设置score＝score前+socre后*该连词的值，score前为该连词前一个词的情感值，socre后为该连词后一个词的情感值；
最终得到的score值为该短语的情感值。
6.根据权利要求4所述的移动应用内生大数据统计分析方法，其特征在于，计算每个句子的情感值的方法具体为：
Figure FDA0002246579430000031
其中，scoresentence为句子的情感值，scoreopinionsentence为短语的情感值，L为短语的数量。
7.根据权利要求4所述的移动应用内生大数据统计分析方法，其特征在于，计算评论数据的情感值的方法具体为：
Figure FDA0002246579430000032
Figure FDA0002246579430000033
其中，scoreparagraph为评论数据的情感值，scoresentence为句子的情感值，L为句子的数量。
CN201710575488.4A 2017-07-14 2017-07-14 一种移动应用内生大数据统计分析方法 Expired - Fee Related CN107451116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710575488.4A CN107451116B (zh) 2017-07-14 2017-07-14 一种移动应用内生大数据统计分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710575488.4A CN107451116B (zh) 2017-07-14 2017-07-14 一种移动应用内生大数据统计分析方法

Publications (2)

Publication Number Publication Date
CN107451116A CN107451116A (zh) 2017-12-08
CN107451116B true CN107451116B (zh) 2020-05-22

Family

ID=60488085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710575488.4A Expired - Fee Related CN107451116B (zh) 2017-07-14 2017-07-14 一种移动应用内生大数据统计分析方法

Country Status (1)

Country Link
CN (1) CN107451116B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446813A (zh) * 2017-12-19 2018-08-24 清华大学 一种电商服务质量综合评价的方法
CN109145186A (zh) * 2018-07-09 2019-01-04 湖北中医药大学 一种移动应用数据处理方法
CN109885687A (zh) * 2018-12-29 2019-06-14 深兰科技（上海）有限公司 一种文本的情感分析方法、装置、电子设备及存储介质
CN110222266A (zh) * 2019-05-31 2019-09-10 江苏三六五网络股份有限公司 一种基于语音识别的房产专业语音搜索系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207855A (zh) * 2013-04-12 2013-07-17 广东工业大学 针对产品评论信息的细粒度情感分析系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089296B2 (en) * 2015-12-30 2018-10-02 Nice Ltd. System and method for sentiment lexicon expansion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207855A (zh) * 2013-04-12 2013-07-17 广东工业大学 针对产品评论信息的细粒度情感分析系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Interpreting TF-IDF Term Weights as Making Relevance Decisions;HO CHUNG WU et al.;《ACM Transactions on Information Systems》;20080630;第26卷(第3期);第13:1-13:37页 *
基于HowNet的句子褒贬倾向性研究;熊德兰 等;《计算机工程与应用》;20080810;第44卷(第22期);第143-145页 *
校园微博情感分析系统的设计与实现;于潇 等;《河北工业大学学报》;20131231;第42卷(第6期);第24-29页 *

Also Published As

Publication number Publication date
CN107451116A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107609132B (zh) 一种基于语义本体库中文文本情感分析方法
CN108563638B (zh) 一种基于主题识别和集成学习的微博情感分析方法
CN107085581A (zh) 短文本分类方法和装置
CN104915448A (zh) 一种基于层次卷积网络的实体与段落链接方法
CN110362678A (zh) 一种自动提取中文文本关键词的方法与装置
CN108388554B (zh) 基于协同过滤注意力机制的文本情感识别系统
CN107451116B (zh) 一种移动应用内生大数据统计分析方法
CN109614620B (zh) 一种基于HowNet的图模型词义消歧方法和系统
CN110717045A (zh) 一种基于信访信件概况的信件要素自动提取方法
CN108710611A (zh) 一种基于词网络和词向量的短文本主题模型生成方法
CN112069312B (zh) 一种基于实体识别的文本分类方法及电子装置
CN106446147A (zh) 一种基于结构化特征的情感分析方法
CN110555109A (zh) 基于个人计算机电商评论的多粒度观点挖掘方法
CN113360582B (zh) 基于bert模型融合多元实体信息的关系分类方法及系统
CN106202065A (zh) 一种跨语言话题检测方法及系统
CN112989816B (zh) 文本内容质量评估方法及系统
CN111444713B (zh) 新闻事件内实体关系抽取方法及装置
CN107818173B (zh) 一种基于向量空间模型的中文虚假评论过滤方法
CN114491062B (zh) 一种融合知识图谱和主题模型的短文本分类方法
CN115759119A (zh) 一种金融文本情感分析方法、系统、介质和设备
CN111737420A (zh) 一种基于争议焦点的类案检索方法及系统及装置及介质
CN104794209A (zh) 基于马尔科夫逻辑网络的中文微博情绪分类方法及系统
CN112632272B (zh) 基于句法分析的微博情感分类方法和系统
JP5911911B2 (ja) 結束性判定装置、モデル学習装置、方法、及びプログラム
CN114065749A (zh) 一种面向文本的粤语识别模型及系统的训练、识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210416

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Yami Technology (Guangzhou) Co.,Ltd.

Address before: 430074 Wuhan Road, Hongshan, Shandong Province, Lu Lu Road, No. 388, No.

Patentee before: CHINA University OF GEOSCIENCES (WUHAN CITY)

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210917

Address after: 563000 Gezhuang village, Sanhe Town, Bozhou District, Zunyi City, Guizhou Province (in Guizhou Hesheng Chuangzhan building materials Co., Ltd.)

Patentee after: Guizhou Zhaoyang Supply Chain Service Co.,Ltd.

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Yami Technology (Guangzhou) Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200522

CF01 Termination of patent right due to non-payment of annual fee