CN110674871B - 面向翻译译文的自动评分方法及自动评分系统 - Google Patents

Abstract

本发明提供一种面向翻译译文的自动评分方法及自动评分系统，包括：对各个训练译文、测试译文和标准译文均进行文本预处理；对预处理后的训练译文进行特征抽取，得到训练译文X维度特征得分；将N个训练译文作为训练样本，将每个训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K‑最小近邻算法模型和支持向量机算法模型；将测试译文X维度特征得分输入训练好的模型，得到测试译文的最终得分。本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。

Description

面向翻译译文的自动评分方法及自动评分系统

技术领域

本发明属于自然语言处理技术领域，具体涉及一种面向翻译译文的自动评分方法及自动评分系统。

背景技术

翻译译文的自动打分是在各个考试的常见任务，例如全国英语四六级考试以及全国翻译资格考试。为了将考试学员所翻译的译文进行评分，现有的做法均是依靠专业翻译人员和教师进行人工评分，主要具有以下不足：效率往往较慢，尤其当考试人员较多时，人工评分方式也会极大地增加了人工负担。

发明内容

针对现有技术存在的缺陷，本发明提供一种面向翻译译文的自动评分方法及自动评分系统，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种面向翻译译文的自动评分方法，包括以下步骤：

步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；

获取对所述原文进行翻译得到的标准译文；

步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；

步骤3，对每个所述预处理后的训练译文，均进行以下处理：

步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；

步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；

步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分。

优选的，当原文为英文，译文为中文时，步骤2具体为：

对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；

对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；

对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文。

优选的，当原文为英文，译文为中文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：

步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；

步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第一训练译文和第一标准译文进行词性标注，识别到实词；

分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；

3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。

优选的，步骤3.2.2中，实词包括名词、形容词、副词以及动词；命名实体词包括人名、地名以及组织结构名。

优选的，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。

优选的，当原文为中文，译文为英文时，步骤2具体为：

对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；

对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；

对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。

优选的，当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：

步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；

步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第四训练译文和第四标准译文进行词性标注，识别到实词；

分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；

3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。

优选的，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。

本发明还提供一种面向翻译译文的自动评分系统，包括：

文本预处理模块，用于对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；

训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；

模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；

测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；

结果输出模块，用于输出每个测试译文的最终得分。

本发明提供的面向翻译译文的自动评分方法及自动评分系统具有以下优点：

本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。

附图说明

图1为本发明提供的面向翻译译文的自动评分方法的流程示意图；

图2为文本预处理模块的实现原理图；

图3为文本多维度特征提取模块的实现原理图；

图4为综合智能打分过程的实现原理图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种面向翻译译文的自动评分方法，包括以下步骤：

步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；

获取对所述原文进行翻译得到的标准译文；

步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；

当原文为英文，译文为中文时，步骤2具体为：

对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；

对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；

对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文。

例如，假设英译汉时：

原文：I love Beijing,and I have been there three times

标准译文：我爱北京，我去过那3次了

测试译文：我喜欢北京，我去过3次

文本预处理时，主要包括分词处理和分字处理。

汉语分词与分字：在针对英译汉的评分中，需要对汉语的标准译文和测试译文进行分词。分词工具采用自动化所开源词法工具Urheen工具(网址见：https://www.nlpr.ia.ac.cn/cip/software.html)。例如在汉语标准译文“我爱北京，我去过那3次了。”，经过分词以后的结果是“我爱北京，我去过那3次了。”。汉语分字则较为简单，分字以后的表示为“我爱北京，我去过那3次了。”。

当原文为中文，译文为英文时，步骤2具体为：

对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；

对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；

对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。

本步骤中，对英语词汇化和英文大小写处理：词汇化是英语预处理的一项常用方法，例如英语译文“I love Beijing,and I have been there three times”，经过词汇化操作以后就转换为“I love Beijing,and I have been there three times”。即：词汇化时，将每个标点符号和其前面相邻的单词之间加入空格，以使每个单词明显显示出来。如果英文中存在缩略语或省略语，则将缩略语或省略语转化为完整的描述语。

英文大小写处理也是对英语译文的处理，在上面的句子中，经过小写处理以后的句子会被处理为“i love beijing,and i have been there three times”。也就是说，英文大小写处理时，将原文中的所有大写字母，一律转化为小写字母，这样做的用法为在后续特征提取时，可以不需要考虑英文字母大小写的影响。

步骤3，对每个所述预处理后的训练译文，均进行以下处理：

步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；

步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；

当原文为英文，译文为中文时，主要对训练译文进行三类维度上的特征提取打分，即：训练译文与标准译文的相似度打分；训练译文与伪标准译文的相似度打分；重点词汇的翻译正确率打分。下面对这三种情况分别详细介绍：

(一)训练译文与标准译文的相似度打分

步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；

由此可见，给定训练译文与标准译文，通过不同算法得到训练译文与标准译文的相似度打分，如果训练译文与标准译文越相似，得分也越高。本发明采用了以下计算方法：

对于译文是汉语的情况，则计算：

a)基于词的BLEU得分；

b)基于字的BLEU得分；

c)基于词的Rouge打分(包括：Rouge1和Rouge2)；

d)基于字的Rouge打分；

e)Dice系数。

在给定的例子中，训练译文与标准译文的Bleu打分为：0.2998。这个值越高表示训练译文与标准译文越相似。

(二)重点词汇的翻译正确率打分

步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第一训练译文和第一标准译文进行词性标注，识别到实词，包括名词、形容词、副词以及动词；

分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词，包括人名、地名以及组织结构名；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

因此，在评分时，考虑了译文中的重点词汇是否翻译正确。

本发明通过两种方法衡量某个单词是否是重要单词，

a)词性标注。如果一个单词是实词(名词、动词、形容词和副词，本发明即认为就是重要单词。

b)命名实体识别，命名实体识别是分析得到句子中的所有的命名实体(人名、地名和组织结构名)。词性标注和命名实体识别均采用。

本发明计算这两类重点词汇的翻译正确率。在给定的例子里，“北京”这个词既是一个名词，也是一个命名实体，因此将“北京”设定为一个重点词汇。这个例子中，带得分的译文翻译正确了“北京”，因此其重点词汇的F1值为1.0。

(三)训练译文与伪标准译文的相似度打分

步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；

3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。

因此，由于译文表达的多样性，标准译文仅仅是其中一种表达。为了尽可能获得更多样性的标准译文，从样卷得分的结果中，选择得分最高的前N1个译文(这里N1＝10)为伪标准译文，并依靠伪标准译文得到相似度评分。在给定的伪标准译文中，事实上将“爱”翻译为“喜欢”也是正确的，因此一旦伪标准译文包含“喜欢”这个候选翻译，就会将“喜欢”设定为正确的翻译。具体地，如果是中文则采用基于词的BLEU得分。如果是英语则采用大小写敏感的BLEU的得分。

当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：

步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；

如果是英语，则计算：

a)大小写敏感的BLEU得分；

b)大小写不敏感的BLEU得分；

c)大小写敏感的Rouge打分(包括：Rouge1和Rouge2)；

d)大小写不敏感的Rouge打分；

e)Dice系数。

步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第四训练译文和第四标准译文进行词性标注，识别到实词；

分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；

3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。

步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；对测试译文X维度特征得分的方式，与对训练译文X维度特征得分的方式原理相同，区别仅仅为特征提取的对象不同，在此不再赘述。

将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分。

经过文本多维度特征提取，得到每个译文在多维度得分，然后通过综合智能打分，生成最后的得分。本发明采用三个机器学习算法，包括神经网络、最小近邻法以及支持向量机方法，从而提高最终得分的准确性。

经过上述步骤，可实现自动大规模的对待测译文进行自动评分。

本发明还提供一种面向翻译译文的自动评分系统，包括：

文本预处理模块，用于对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；

训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；

模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；

测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；

结果输出模块，用于输出每个测试译文的最终得分。

下面列举一个验证例：

表1给出了某次评测的英译汉的结果，表2给出了汉译英的结果。从表中可以看出，在汉译英中，采用本发明智能打分的方法，和人工打分的平均误差分别为0.8608以及0.9038。在英译汉中，本发明智能打分和人工打分的平均误差分别为0.7436以及0.7005。由此可见，采用本发明智能打分的方法，得到的得分的误差非常小，完全能够满足人们对试卷打分的精度和准确度的需求。

表1英译汉结果分析

题目	平均误差
		英译汉题目1	0.8608
英译汉题目2	0.9038

表2英译汉结果分析

题目	平均误差
		汉译英题目1	0.7436
汉译英题目2	0.7005

本发明提供的面向翻译译文的自动评分方法及自动评分系统具有以下优点：

本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种面向翻译译文的自动评分方法，其特征在于，包括以下步骤：

步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；

获取对所述原文进行翻译得到的标准译文；

步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；

步骤3，对每个所述预处理后的训练译文，均进行以下处理：

步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；

步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；

步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；

其中，当原文为英文，译文为中文时，步骤2具体为：

对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；

对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；

对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文；

其中，当原文为英文，译文为中文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：

步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；

步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第一训练译文和第一标准译文进行词性标注，识别到实词；

分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；

3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。

2.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，步骤3.2.2中，实词包括名词、形容词、副词以及动词；命名实体词包括人名、地名以及组织结构名。

3.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。

4.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，当原文为中文，译文为英文时，步骤2具体为：

对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；

对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；

对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。

5.根据权利要求4所述的面向翻译译文的自动评分方法，其特征在于，当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：

步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；

比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；

比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；

步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第四训练译文和第四标准译文进行词性标注，识别到实词；

分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；

3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。

6.根据权利要求5所述的面向翻译译文的自动评分方法，其特征在于，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。

7.一种面向翻译译文的自动评分系统，其特征在于，包括：

文本预处理模块，用于对各个训练译文、测试译文和标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；当原文为英文，译文为中文时，具体为：

对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；

对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；

对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文；

训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；

当原文为英文，译文为中文时，具体通过以下方法得到训练译文X维度特征得分：

步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：

比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；

比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；

比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；

步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：

分别对第一训练译文和第一标准译文进行词性标注，识别到实词；

分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；

将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；

步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：

1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；

2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；

3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分；

模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；

测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；

测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；

将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；

将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；

结果输出模块，用于输出每个测试译文的最终得分。

Images