CN111026671A - 测试用例集构建方法和基于测试用例集的测试方法 - Google Patents
测试用例集构建方法和基于测试用例集的测试方法 Download PDFInfo
- Publication number
- CN111026671A CN111026671A CN201911291994.6A CN201911291994A CN111026671A CN 111026671 A CN111026671 A CN 111026671A CN 201911291994 A CN201911291994 A CN 201911291994A CN 111026671 A CN111026671 A CN 111026671A
- Authority
- CN
- China
- Prior art keywords
- sql
- test case
- sentences
- test
- statement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 344
- 238000010276 construction Methods 0.000 title claims abstract description 43
- 238000010998 test method Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 28
- 238000013145 classification model Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种测试用例集构建方法和基于测试用例集的测试方法，测试用例集构建方法包括获取SQL语句以及各SQL语句对应的测试用例，提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句，对向量化特征语句进行聚类处理，确定各SQL语句的分类标签，确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。适用于大量SQL语句的同步分类，在提高分类准确度的同时扩大了测试用例的数据覆盖面，能够得到更为全面的测试用例。基于测试用例集的测试方法，从测试用例集获取测试所需的测试用例进行测试，得到更为全面和准确的测试结果。
Description
技术领域
本申请涉及测试技术领域，特别是涉及一种测试用例集构建方法、基于测试用例集的测试方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着测试技术的发展，测试用例的合理分布对测试结果起着重要作用。通过对SQL(Structured Query Language，结构化查询语言)语句进行清洗、数据替换等操作处理，可以得到用于测试的测试用例。
传统方式上利用SQL语句来得到测试用例，是基于从对外提供服务的正式环境或生产环境(以下简称现网)中抽取SQL语句来得到的。例如从海量现网SQL语句集合中按业务、执行时耗、执行引擎等维度进行随机抽取,再例如，利用正则或关键词匹配等方法从海量现网SQL集合中抽取。
上述基于现网SQL测试用例抽取技术，虽然一定程度上能满足测试用例的需求，但是随着用户技术、使用频率的提升，越来越多的复杂SQL和组合语法的使用，传统的解决方式无法从根本上解决测试用例覆盖度问题。
发明内容
基于此，有必要针对测试用例覆盖度低的技术问题，提供一种测试用例全面覆盖的测试用例集构建方法和基于测试用例集的测试方法、装置、计算机可读存储介质和计算机设备。
一种测试用例集构建方法，方法包括：
获取SQL语句以及各SQL语句对应的测试用例；
提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句；
对向量化特征语句进行聚类处理，确定各SQL语句的分类标签；
确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
一种测试用例集构建装置，装置包括：
获取模块，用于获取SQL语句以及各SQL语句对应的测试用例；
关键词提取模块，用于提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句；
聚类处理模块，用于对向量化特征语句进行聚类处理，确定各SQL语句的分类标签；
测试用例集构建模块，用于确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取SQL语句以及各SQL语句对应的测试用例；
提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句；
对向量化特征语句进行聚类处理，确定各SQL语句的分类标签；
确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取SQL语句以及各SQL语句对应的测试用例；
提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句；
对向量化特征语句进行聚类处理，确定各SQL语句的分类标签；
确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
上述测试用例集构建方法装置、计算机可读存储介质和计算机设备，通过对SQL语句按关键词进行向量化处理，用向量数据来扩展特征维度，然后基于向量化特征数据进行聚类处理，适用于大量SQL语句的同步分类，在提高分类准确度的同时扩大了覆盖度，通过聚类处理的结果得到各SQL语句的分类标签，基于分类标签构建包含同类SQL语句对应测试用例的测试用例集，相较于传统的处理方式，通过上述处理过程构建的测试用例集扩大了测试用例的数据覆盖面，能够得到更为全面的测试用例。
一种基于测试用例集的测试方法，方法包括：
获取测试任务，确定测试任务所需的目标测试用例类别；
遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到；
运行目标测试用例，得到测试结果。
一种基于测试用例集的测试装置，装置包括：
测试任务获取模块，用于获取测试任务，确定测试任务所需的目标测试用例类别；
目标测试用例获取模块，用于遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到；
目标测试用例运行模块，用于运行目标测试用例，得到测试结果。
一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测试任务，确定测试任务所需的目标测试用例类别；
遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到；
运行目标测试用例，得到测试结果。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取测试任务，确定测试任务所需的目标测试用例类别；
遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到；
运行目标测试用例，得到测试结果。
上述基于测试用例集的测试方法，在获取到测试任务，确定所需的测试用例，然后通过基于上述测试用例集构建方法的测试用例集中获取到目标测试用例，扩大了可获得的测试用例的数据覆盖面，能够得到更为全面的测试用例，基于构建的测试用例集进行测试，也得到更为全面和准确的测试结果。
附图说明
图1为一个实施例中基于测试用例集的测试方法的应用环境图；
图2为一个实施例中测试用例集构建方法的流程示意图；
图3为另一个实施例中测试用例集构建方法的流程示意图；
图4为又一个实施例中测试用例集构建方法的流程示意图；
图5为再一个实施例中测试用例集构建方法的流程示意图；
图6为一个实施例中基于测试用例集的测试方法的流程示意图；
图7为一个实施例中测试用例集构建装置的结构框图；
图8为另一个实施例中基于测试用例集的测试装置的结构框图；
图9为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，人工智能技术中的机器学习可以应用于测试用例集构建方法以及基于测试用例集的测试方法中。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。机器学习可以应用在测试用例集的更新过程中，用于快速对新增的SQL语句进行分类，确定SQL语句对应的测试用例集。
在一个实施例中，该测试用例集构建方法应用于测试系统中的服务器。服务器获取SQL语句以及各SQL语句对应的测试用例，提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句，对向量化特征语句进行聚类处理，确定各SQL语句的分类标签，确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。除了通过对已有的SQL语句进行分类来构建测试用例集，还可以对新增的SQL语句进行分类，实现对测试用例集的扩展。采用机器学习的方式对新增的SQL语句进行分析，实现对于少量SQL语句的准确分类，提高对新增的SQL语句的分类处理速度。
图1为一个实施例中基于测试用例集的测试方法的应用环境图。该基于测试用例集的测试方法应用于测试系统，测试系统包括终端110和服务器120，终端110和服务器120通过网络连接。服务器120获取终端110上传的测试任务，确定测试任务所需的目标测试用例类别；遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到，运行目标测试用例，得到测试结果并反馈至终端110。
其中，终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种测试用例集构建方法。本实施例主要以该方法应用于上述图1中的服务器来举例说明。参照图2，该测试用例集构方法具体包括如下步骤S210至S240。
S210，获取SQL语句以及各SQL语句对应的测试用例。
SQL语句为结构化查询语言的简称，是具有特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。待分类的SQL语句可以是从现网即生产环境获取的海量SQL语句集合。获取的待分类SQL语句均为编程语言，对于编程语言的分类一般采用的是基于关键字的分类，通过比较发现，这种分类方式缺乏上下文的关联，分类准确度不高，如果有编程人员基于编程语言的语义进行分类，可以得到较为精准的分类结果，但是需要耗费大量的时间去理解编程语言的语义，且对于编程人员要掌握的编程基础要求较高，这种分类方式也不适用于大范围的使用，对于海量的SQL语言，显然是不可行的。测试用例是指对一项特定的软件产品进行测试任务的描述，是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定软件需求。基于SQL语句生成的测试用例是指通过对SQL语句进行数据清洗，数据替换等操作处理后，生成的测试用例。
S220，提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句。
SQL语句中的关键词是指基于SQL编程语言的语法设定的专有词，例如“select”、“from”、“insert”、“join”等。在应用过程中,编程语言中的关键词一般会通过特有的颜色来显示。关键词的词向量是指通过对关键词进行向量化处理得到的多维度的向量数据。向量化特征语句是指对SQL语句的特征语句进行向量化处理得到的结果。在实施例中，通过对关键词进行向量化处理，得到关键词的词向量，然后词向量得到对应的向量化特征语句。
在一个实施例中，提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句包括：提取SQL语句中的关键词，得到由关键词构成的特征语句。根据关键词在特征语句中的词语特征，对特征语句中的各关键词进行向量化处理，得到词向量集合。根据词向量集合，将特征语句转换为向量化特征语句。
在SQL语言中，具有特定的编程语法和特定数据表达方式，SQL中的关键词一般是特定词语，会通过特定的方式如不同颜色进行特征标识，通过语法分析或特征识别，可以获取到SQL语句中的关键词。在一个实施例中，关键词的提取可以基于语法分析器来实现。基于SQL语句的关键词，可以得到由关键词组成的与SQL语句对应的特征语句，例如，原始SQL语句为Select name from tableA where length(name)>0，通过关键词提取处理后得到的SQL特征语句为Select##from###where length(##)>？？。关键词在特征语句中的词语特征包括该关键词在特征语句中的句法和语义特性，例如，以其他关键词的搭配即上下文联系、在特征语句中的应用格式等。在实施例中，通过使用Word2vec工具将关键词转化为对应的词向量，词向量的每一维表示词语的一个潜在特征，该特征捕获了有用的句法和语义特性。对于特征语句中的每一个关键词进行向量化处理，得到每一个关键词的词向量，从而得到每一个特征语句对应的词向量构成的词向量集合。在一个实施例中，关键词的词向量的向量数据维度可以设定为200维，以实现对词向量的多维度信息扩展。在一个实施例中，多维度的词向量可以结合关键词的上下文进行分析得到，以保留关键词与上下文的联系。首先，将SQL语句通过关键词提取得到特征语句，然后将特征语句中的关键词进行向量化，得到词向量，再综合特征语句对应的词向量，得到该特征语句的向量化数据，即为SQL语句的向量化特征语句。
在其中一个实施例中，提取SQL语句中的关键词，得到由关键词构成的特征语句包括：通过语法解析器将SQL语句进行归一化处理，识别SQL语句中的关键词。根据关键词，构建SQL语句的特征语句。
语法分析是根据某种给定的形式文法对SQL语句进行分析并确定其语法结构的一种过程。语法解析器是一种可以根据SQL编程语言的编程规则和语法特点，用于识别每一个SQL语句中的关键词的数据处理工具。SQL语言中的关键词可以通过语法解析器进行语法解析得到SQL的特征语句。通过语法解析器的分析处理，保留SQL中的关键词，对于表名、字段名等非关键字使用不同的注释统一表达，来构建SQL语句的特征语句。例如，原始SQL语句为Insert tableB(select time from tableC partition(p_20180805)t)，通过语法解析器进行语法解析处理后得到后的SQL特征语句为Insert###(select##from###partition(？？？)t)。
在其中一个实施例中，根据词向量集合，将特征语句转换为向量化特征语句包括：累加词向量集合中的每一个词向量。根据词向量集中的词向量个数和累加结果，计算词向量集合的词向量均值，得到向量化特征语句。
对每一个SQL语句的特征语句进行关键词的向量化处理，使用词向量的平均值作为句子的向量，即特征语句里的每一个关键词的词向量相加，除以关键词的总个数，即得到特征语句的向量化表达，得到向量化特征语句。在其中实施例中，同一特征语句中的每一个词向量的向量维度相同。通过求均值处理，可以避免每个特征语句中的关键词数量不同带来的干扰，还可以简化聚类处理的计算处理量，提高聚类处理速度。
S230，对向量化特征语句进行聚类处理，确定各SQL语句的分类标签。
聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。在一个实施例中，可以通过K-Means聚类算法或AP(Affinity propagationClustering Algorithm)算法等来实现。在一个实施例中，聚类簇的个数可以手动设定，也可以基于聚类算法自动确定。当需要获得高精度的分类结果时，可以将聚类簇的数量调整为数值较大的结果。当需要快速获得分类结果，且对分类进度要求较低时，可以将聚类簇的数量调整为数值较小的结果，具体情况可以根据应用过程中的实际需要进行调整。
SQL语句的分类标签即为聚类处理后得到的各个聚类簇对应的标签，在对向量化特征语句进行聚类处理之后，得到多个聚类簇，此时，可以按聚类簇进行标签标注。标签标注可以是人工标注过程，也可以是通过聚类特征匹配，自动的标注过程。在其中一个实施例中，可以先通过对聚类簇进行标签标记，从而确定聚类簇中的各个向量化特征数据对应的分类标签，再根据向量化特征数据与SQL语句的对应关系，确定SQL语句的分类标签。在其中另一个实施例中，也可以基于SQL确定对应的向量化特征数据所属的聚类簇，然后基于聚类簇的分类标签确定SQL的分类标签。在其他的实施例中，还可以根据向量化特征数据所属的聚类簇，直接对向量化特征数据进行标签标注。还可以进一步根据聚类簇通过向量化特征数据与SQL语句的间接对应关系，直接对SQL语句进行标签标注，从而得到SQL语句的分类标签
S240，确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
同类SQL语句是指携带有相同分类标签的SQL语句，根据基于SQL语句生成的测试用例和SQL语句的分类标签，将相同类别的测试用例构成一个测试用例集，该测试用例集中的所有测试用例对应有相同的分类标签，可以将该分类标签确定为该测试用例集的标签。在测试过程中，基于测试用例集的标签，通过标签查找，可以快速确定目标测试用例集，得到需要的目标测试用例。
上述测试用例集构建方法，通过对SQL语句按关键词进行向量化处理，用向量数据来扩展特征维度，然后基于向量化特征数据进行聚类处理，适用于大量SQL语句的同步分类，在提高分类准确度的同时扩大了覆盖度，通过聚类处理的结果得到各SQL语句的分类标签，基于分类标签构建包含同类SQL语句对应测试用例的测试用例集，相较于传统的处理方式，通过上述处理过程构建的测试用例集扩大了测试用例的数据覆盖面，能够得到更为全面的测试用例。
在一个实施例中，如图3所示，在确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集之后，还包括步骤S310至S340。
S310，获取SQL语句集，根据SQL语句集中各SQL语句对应的时间戳，确定新增SQL语句。
S320，对新增SQL语句进行向量化处理，得到新增向量化特征语句。
S330，将新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签。
其中，分类模型为以携带有分类标签的向量化特征语句为训练样本构建得到的模型。
S340，根据分类标签，将新增SQL语句对应的新增测试用例更新至对应的测试用例集。
现网中的SQL语句可以通过运营过程中的数据记录列表得到，在数据记录列表中携带有对应的时间戳信息，在基于上述分类处理对获取的海量待分类SQL语句进行分类处理之后，由于在生产环境中，SQL语句是每天不断增加的，此时，测试用例集中的测试用例也应当根据生成环境中新增的SQL语句进行更新。根据数据记录列表中的时间戳，可以确定时间信息在已进行分类分析的SQL语句之后的新增SQL语句。对于新增的SQL语句，由于其数量上与前面进行聚类处理的待分类SQL语句相差较大，对于少量SQL语句，如同样通过聚类处理的方式进行处理，无疑存在重复工作，浪费了数据处理资源。针对这一问题，对于数量相对较少的新增SQL语句，采用分类模型的方式进行分类处理，在确保分类准确度的同时，提高了处理速度。其中，分类模型是基于携带有分类标签的向量化特征语句为训练样本进行训练构建的。由于分类模型是基于向量化特征语句训练得到的，在对新增SQL语句进行分类处理之前，需要将新增SQL语句通过关键词提取，获取关键词的词向量，进而得到新增SQL语句对应的新增向量化特征语句。然后将新增向量化特征语句输入预先训练后的分类模型，得到分类标签，根据分类标签对应的测试用例集，将新增SQL语句对应的新增测试用例更新至对应的测试用例集，实现测试用例与现网中SQL语句的同步更新。
在其中一个实施例中，在所将新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签之前，还包括步骤S410至S420。
S410，获取对向量化特征语句进行聚类处理后得到的携带有分类标签的向量化特征语句。
S420，将携带有分类标签的向量化特征语句作为训练样本，构建得到分类模型。
对向量化特征语句进行聚类处理，可以确定各SQL语句的分类标签，基于SQL语句与向量化特征语句的对应关系，可以确定向量化特征语句的分类标签，从而得到携带有分类标签的向量化特征语句。在一个实施例中，对向量化特征语句进行聚类处理，可以先得到携带有分类标签的向量化特征语句，再根据SQL语句与向量化特征语句的对应关系，确定各SQL语句的分类标签。分类模型的训练可以基于现有的模型训练方式来实现，在此不作限定。其中，分类模型具体可以是以Logistic regression模型为初始模型训练得到的，还可以是基于深度学习模型如CNN卷积神经网络来进行分类器的训练得到的。
图5为一个实施例中测试用例集构建方法的流程示意图，测试用例集构建方法包括步骤S502至S528。
S502，获取SQL语句以及各SQL语句对应的测试用例。
S504，通过语法解析器将SQL语句进行归一化处理，识别SQL语句中的关键词。
S506，根据关键词，构建SQL语句的特征语句。
S508，根据关键词在特征语句中的词语特征，对特征语句中的各关键词进行向量化处理，得到词向量集合。
S510，累加词向量集合中的每一个词向量。
S512，根据词向量集中的词向量个数和累加结果，计算词向量集合的词向量均值，得到向量化特征语句。
S514，对向量化特征语句进行聚类处理，确定各SQL语句的分类标签。
S516，确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
S518，获取SQL语句集，根据SQL语句集中各SQL语句对应的时间戳，确定新增SQL语句。
S520，对新增SQL语句进行向量化处理，得到新增向量化特征语句。
S522，获取对向量化特征语句进行聚类处理后得到的携带有分类标签的向量化特征语句。
S524，将携带有分类标签的向量化特征语句作为训练样本，构建得到分类模型。
S526，将新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签。
S528，根据分类标签，将新增SQL语句对应的新增测试用例更新至对应的测试用例集。
应该理解的是，虽然图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于测试用例集的测试方法，本实施例主要以该方法应用于上述图1中的服务器来举例说明。参照图6，该测试用例集构方法具体包括如下步骤S610至S630。
S610，获取测试任务，确定测试任务所需的目标测试用例类别。
S620，遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述各实施例中的测试用例集构建方法得到。
S630，运行目标测试用例，得到测试结果。
测试任务是指根据测试需求对引擎或数据库等进行逻辑验证的任务。测试任务需要运行测试用例来执行，一个测试任务可以对应一个测试用例，也可以对应多个测试用例。根据测试任务中的测试需求，可以确定需要用到的测试用例的类别，例如，指定链接的查询，某个指定函数的调用等，测试任务所需的目标测试用例类别，可以确定所需目标测试用例所在测试用例集的分类标签，遍历通过上述各实施例中测试用例集构建方法得到测试用例集，可以匹配到与目标测试用例类别对应的目标测试用例集，然后从目标测试用例集中提取一个或多个目标测试用例，最后，通过运行提取到的目标测试用例，即可得到测试结果，其中，测试结果可以为记录有详细测试数据的测试报告。在SQL执行引擎或数据库测试中，往往需要大量的现网用户SQL来检测待测系统的正确性及稳定性，要求SQL测试用例的量大且类型能覆盖的全面。同时，要求在易用性、可植入性和人工效率方面也兼顾。通过上述测试方法，可方便地植入当前的测试流程，全面、精准地从测试用例集中抽取SQL测试用例，通过多样化测试用例集，大幅度提升测试覆盖的全面性及测试效率。对测试方向而言，通过上述处理方式，结合机器学习的方法，将自然语言的特征提取方法，巧妙的应用于现网SQL测试用例的抽取，可以让基于测试用例集的系统测试更加智能，更加符合技术的发展和进步趋势。
在一个实施例中，如图7所示，提供了一种测试用例集构建装置700，装置包括获取模块710、关键词提取模块720、聚类处理模块730以及测试用例集构建模块740。
获取模块710，用于获取SQL语句以及各SQL语句对应的测试用例。
关键词提取模块720，用于提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句。
聚类处理模块730，用于对向量化特征语句进行聚类处理，确定各SQL语句的分类标签。
测试用例集构建模块740，用于确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
在一个实施例中，测试用例集构建装置还包括测试用例集更新模块，测试用例集更新模块用于获取SQL语句集，根据SQL语句集中各SQL语句对应的时间戳，确定新增SQL语句；对新增SQL语句进行向量化处理，得到新增向量化特征语句；将新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签，其中，分类模型为以携带有分类标签的向量化特征语句为训练样本构建得到的模型；根据分类标签，将新增SQL语句对应的新增测试用例更新至对应的测试用例集。
在其中一个实施例中，测试用例集更新模块包括分类模型构建单元，分类模型构建单元用于获取对向量化特征语句进行聚类处理后得到的携带有分类标签的向量化特征语句；将携带有分类标签的向量化特征语句作为训练样本，构建得到分类模型。
在一个实施例中，关键词提取模块还用于提取SQL语句中的关键词，得到由关键词构成的特征语句；根据关键词在特征语句中的词语特征，对特征语句中的各关键词进行向量化处理，得到词向量集合；根据词向量集合，将特征语句转换为向量化特征语句。
在其中一个实施例中，关键词提取模块还用于通过语法解析器将SQL语句进行归一化处理，识别SQL语句中的关键词；根据关键词，构建SQL语句的特征语句。
在其中一个实施例中，关键词提取模块还用于累加词向量集合中的每一个词向量；根据词向量集中的词向量个数和累加结果，计算词向量集合的词向量均值，得到向量化特征语句。
上述测试用例集构建装置，通过对SQL语句按关键词进行向量化处理，用向量数据来扩展特征维度，然后基于向量化特征数据进行聚类处理，适用于大量SQL语句的同步分类，在提高分类准确度的同时扩大了覆盖度，通过聚类处理的结果得到各SQL语句的分类标签，基于分类标签构建包含同类SQL语句对应测试用例的测试用例集，相较于传统的处理方式，通过上述处理过程构建的测试用例集扩大了测试用例的数据覆盖面，能够得到更为全面的测试用例。
在一个实施例中，如图8所示，提供了一种基于测试用例集的测试装置800，装置包括测试任务获取模块810、目标测试用例获取模块820以及目标测试用例运行模块830。
测试任务获取模块810，用于获取测试任务，确定测试任务所需的目标测试用例类别。
目标测试用例获取模块820，用于遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到。
目标测试用例运行模块830，用于运行目标测试用例，得到测试结果。
上述基于测试用例集的测试装置，通过基于上述各实施例中的测试用例集构建方法的测试用例集，扩大了可获得的测试用例的数据覆盖面，能够得到更为全面的测试用例，基于构建的测试用例集进行测试，也得到更为全面和准确的测试结果。
图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图9所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现测试用例集构建方法或基于测试用例集的测试方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行测试用例集构建方法或基于测试用例集的测试方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的测试用例集构建装置可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该测试用例集构建装置的各个程序模块，比如，图7所示的获取模块710、关键词提取模块720、聚类处理模块730以及测试用例集构建模块740。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的测试用例集构建方法中的步骤。
例如，图9所示的计算机设备可以通过如图7所示的测试用例集构建装置中的获取模块710执行获取SQL语句以及各SQL语句对应的测试用例。计算机设备可通过关键词提取模块720执行提取SQL语句中的关键词，根据关键词的词向量，得到SQL语句的向量化特征语句。计算机设备可通过聚类处理模块730执行对向量化特征语句进行聚类处理，确定各SQL语句的分类标签。计算机设备可通过测试用例集构建模块740执行确定携带有相同分类标签的同类SQL语句，查找同类SQL语句对应的测试用例，构建测试用例集。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述测试用例集构建方法的步骤。此处测试用例集构建方法的步骤可以是上述各个实施例的测试用例集构建方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述测试用例集构建方法的步骤。此处测试用例集构建方法的步骤可以是上述各个实施例的测试用例集构建方法中的步骤。
在一个实施例中，本申请提供的基于测试用例集的测试装置可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于测试用例集的测试装置的各个程序模块，比如，图8所示的测试任务获取模块810、目标测试用例获取模块820以及目标测试用例运行模块830。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于测试用例集的测试方法中的步骤。
例如，图9所示的计算机设备可以通过如图8所示的基于测试用例集的测试装置中的测试任务获取模块810执行获取测试任务，确定测试任务所需的目标测试用例类别。计算机设备可通过目标测试用例获取模块820执行遍历测试用例集，获取与目标测试用例类别对应的目标测试用例，其中，测试用例集由上述测试用例集构建方法得到。计算机设备可通过目标测试用例运行模块830执行运行目标测试用例，得到测试结果。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于测试用例集的测试方法的步骤。此处基于测试用例集的测试方法的步骤可以是上述各个实施例的基于测试用例集的测试方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于测试用例集的测试方法的步骤。此处基于测试用例集的测试方法的步骤可以是上述各个实施例的基于测试用例集的测试方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种测试用例集构建方法，其特征在于，所述方法包括：
获取SQL语句以及各所述SQL语句对应的测试用例；
提取所述SQL语句中的关键词，根据所述关键词的词向量，得到所述SQL语句的向量化特征语句；
对所述向量化特征语句进行聚类处理，确定各所述SQL语句的分类标签；
确定携带有相同分类标签的同类SQL语句，查找所述同类SQL语句对应的测试用例，构建测试用例集。
2.根据权利要求1所述的方法，其特征在于，在确定携带有相同分类标签的同类SQL语句，查找所述同类SQL语句对应的测试用例，构建测试用例集之后，还包括：
获取SQL语句集，根据所述SQL语句集中各SQL语句对应的时间戳，确定新增SQL语句；
对所述新增SQL语句进行向量化处理，得到新增向量化特征语句；
将所述新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签，其中，所述分类模型为以携带有分类标签的向量化特征语句为训练样本构建得到的模型；
将所述新增SQL语句对应的新增测试用例更新至对应的测试用例集。
3.根据权利要求2所述的方法，其特征在于，在所将所述新增向量化特征语句输入分类模型，得到新增向量化特征语句的分类标签之前，还包括：
获取对所述向量化特征语句进行聚类处理后得到的携带有分类标签的向量化特征语句；
将所述携带有分类标签的向量化特征语句作为训练样本，构建得到所述分类模型。
4.根据权利要求1所述的方法，其特征在于，所述提取所述SQL语句中的关键词，根据所述关键词的词向量，得到所述SQL语句的向量化特征语句包括：
提取所述SQL语句中的关键词，得到由所述关键词构成的特征语句；
根据所述关键词在所述特征语句中的词语特征，对所述特征语句中的各关键词进行向量化处理，得到词向量集合；
根据所述词向量集合，将所述特征语句转换为向量化特征语句。
5.根据权利要求4所述的方法，其特征在于，所述提取所述SQL语句中的关键词，得到由所述关键词构成的特征语句包括：
通过语法解析器将SQL语句进行归一化处理，识别所述SQL语句中的关键词；
根据所述关键词，构建所述SQL语句的特征语句。
6.根据权利要求4所述的方法，其特征在于，所述根据所述词向量集合，将所述特征语句转换为向量化特征语句包括：
累加所述词向量集合中的每一个词向量；
根据所述词向量集中的词向量个数和累加结果，计算所述词向量集合的词向量均值，得到向量化特征语句。
7.一种基于测试用例集的测试方法，其特征在于，所述方法包括：
获取测试任务，确定所述测试任务所需的目标测试用例类别；
遍历测试用例集，获取与所述目标测试用例类别对应的目标测试用例，其中，所述测试用例集由如权利要求1-6中任一种测试用例集构建方法得到；
运行所述目标测试用例，得到测试结果。
8.一种测试用例集构建装置，其特征在于，所述装置包括：
获取模块，用于获取SQL语句以及各所述SQL语句对应的测试用例；
关键词提取模块，用于提取所述SQL语句中的关键词，根据所述关键词的词向量，得到所述SQL语句的向量化特征语句；
聚类处理模块，用于对所述向量化特征语句进行聚类处理，确定各所述SQL语句的分类标签；
测试用例集构建模块，用于确定携带有相同分类标签的同类SQL语句，查找所述同类SQL语句对应的测试用例，构建测试用例集。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6或权利要求7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6或权利要求7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911291994.6A CN111026671B (zh) | 2019-12-16 | 2019-12-16 | 测试用例集构建方法和基于测试用例集的测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911291994.6A CN111026671B (zh) | 2019-12-16 | 2019-12-16 | 测试用例集构建方法和基于测试用例集的测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111026671A true CN111026671A (zh) | 2020-04-17 |
| CN111026671B CN111026671B (zh) | 2023-11-03 |
Family
ID=70209399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911291994.6A Active CN111026671B (zh) | 2019-12-16 | 2019-12-16 | 测试用例集构建方法和基于测试用例集的测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111026671B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552698A (zh) * | 2020-04-21 | 2020-08-18 | 重庆富民银行股份有限公司 | 一种解决环境差异的sql版本控制系统及方法 |
| CN111899740A (zh) * | 2020-07-23 | 2020-11-06 | 深圳慕智科技有限公司 | 一种基于测试需求的语音识别系统众包测试用例生成方法 |
| CN112035614A (zh) * | 2020-08-31 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 测试集生成方法、装置、计算机设备和存储介质 |
| CN112100617A (zh) * | 2020-09-15 | 2020-12-18 | 全球能源互联网研究院有限公司 | 一种异常sql检测方法及装置 |
| CN112860726A (zh) * | 2021-02-07 | 2021-05-28 | 天云融创数据科技（北京）有限公司 | 结构化查询语句分类模型训练方法和装置 |
| CN112988583A (zh) * | 2021-03-16 | 2021-06-18 | 中国建设银行股份有限公司 | 数据库语法兼容性测试的方法和装置 |
| CN113032253A (zh) * | 2021-03-18 | 2021-06-25 | 广州虎牙科技有限公司 | 测试数据特征提取方法、测试方法及相关装置 |
| CN113535585A (zh) * | 2021-08-03 | 2021-10-22 | 广域铭岛数字科技有限公司 | 一种测试数据生成方法及系统 |
| CN113656306A (zh) * | 2021-08-16 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | Sql语句的测试方法、系统、存储介质及计算机设备 |
| CN113778894A (zh) * | 2021-09-18 | 2021-12-10 | 平安国际智慧城市科技股份有限公司 | 测试用例的构建方法、装置、设备及存储介质 |
| CN113822021A (zh) * | 2021-08-23 | 2021-12-21 | 太原市高远时代科技有限公司 | 一种实现测试用例文件格式转换的方法及系统 |
| CN114328160A (zh) * | 2020-09-29 | 2022-04-12 | 北京金山云网络技术有限公司 | 一种sql测试集重构方法、装置、设备及存储介质 |
| CN115757069A (zh) * | 2022-11-21 | 2023-03-07 | 中国人民财产保险股份有限公司 | 一种基于测试平台评估系统性能的方法、装置及设备 |
| WO2024004083A1 (ja) * | 2022-06-29 | 2024-01-04 | 日本電信電話株式会社 | データ生成装置、データ生成方法、およびプログラム |
| CN117763101A (zh) * | 2023-11-15 | 2024-03-26 | 北京计算机技术及应用研究所 | 一种基于神经网络语言模型的模糊测试方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063374A (zh) * | 2011-01-07 | 2011-05-18 | 南京大学 | 一种使用半监督信息进行聚类的回归测试用例选择方法 |
| CN102193864A (zh) * | 2011-05-13 | 2011-09-21 | 南京大学 | 基于覆盖度的错误定位技术的测试用例集优化方法 |
| US20180052818A1 (en) * | 2016-08-22 | 2018-02-22 | International Business Machines Corporation | Generation of a grammatically diverse test set for deep question answering systems |
| CN109271326A (zh) * | 2018-11-28 | 2019-01-25 | 优刻得科技股份有限公司 | 云数据库的测试方法及其装置、设备和存储介质 |
-
2019
- 2019-12-16 CN CN201911291994.6A patent/CN111026671B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063374A (zh) * | 2011-01-07 | 2011-05-18 | 南京大学 | 一种使用半监督信息进行聚类的回归测试用例选择方法 |
| CN102193864A (zh) * | 2011-05-13 | 2011-09-21 | 南京大学 | 基于覆盖度的错误定位技术的测试用例集优化方法 |
| US20180052818A1 (en) * | 2016-08-22 | 2018-02-22 | International Business Machines Corporation | Generation of a grammatically diverse test set for deep question answering systems |
| CN109271326A (zh) * | 2018-11-28 | 2019-01-25 | 优刻得科技股份有限公司 | 云数据库的测试方法及其装置、设备和存储介质 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552698A (zh) * | 2020-04-21 | 2020-08-18 | 重庆富民银行股份有限公司 | 一种解决环境差异的sql版本控制系统及方法 |
| CN111899740A (zh) * | 2020-07-23 | 2020-11-06 | 深圳慕智科技有限公司 | 一种基于测试需求的语音识别系统众包测试用例生成方法 |
| CN112035614A (zh) * | 2020-08-31 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 测试集生成方法、装置、计算机设备和存储介质 |
| CN112035614B (zh) * | 2020-08-31 | 2023-11-10 | 康键信息技术（深圳）有限公司 | 测试集生成方法、装置、计算机设备和存储介质 |
| CN112100617A (zh) * | 2020-09-15 | 2020-12-18 | 全球能源互联网研究院有限公司 | 一种异常sql检测方法及装置 |
| CN112100617B (zh) * | 2020-09-15 | 2023-11-24 | 全球能源互联网研究院有限公司 | 一种异常sql检测方法及装置 |
| CN114328160A (zh) * | 2020-09-29 | 2022-04-12 | 北京金山云网络技术有限公司 | 一种sql测试集重构方法、装置、设备及存储介质 |
| CN112860726A (zh) * | 2021-02-07 | 2021-05-28 | 天云融创数据科技（北京）有限公司 | 结构化查询语句分类模型训练方法和装置 |
| CN112988583A (zh) * | 2021-03-16 | 2021-06-18 | 中国建设银行股份有限公司 | 数据库语法兼容性测试的方法和装置 |
| CN113032253A (zh) * | 2021-03-18 | 2021-06-25 | 广州虎牙科技有限公司 | 测试数据特征提取方法、测试方法及相关装置 |
| CN113032253B (zh) * | 2021-03-18 | 2024-04-19 | 广州虎牙科技有限公司 | 测试数据特征提取方法、测试方法及相关装置 |
| CN113535585A (zh) * | 2021-08-03 | 2021-10-22 | 广域铭岛数字科技有限公司 | 一种测试数据生成方法及系统 |
| CN113656306A (zh) * | 2021-08-16 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | Sql语句的测试方法、系统、存储介质及计算机设备 |
| CN113656306B (zh) * | 2021-08-16 | 2024-04-09 | 杭州安恒信息技术股份有限公司 | Sql语句的测试方法、系统、存储介质及计算机设备 |
| CN113822021A (zh) * | 2021-08-23 | 2021-12-21 | 太原市高远时代科技有限公司 | 一种实现测试用例文件格式转换的方法及系统 |
| CN113822021B (zh) * | 2021-08-23 | 2024-03-01 | 太原市高远时代科技有限公司 | 一种实现测试用例文件格式转换的方法及系统 |
| CN113778894A (zh) * | 2021-09-18 | 2021-12-10 | 平安国际智慧城市科技股份有限公司 | 测试用例的构建方法、装置、设备及存储介质 |
| CN113778894B (zh) * | 2021-09-18 | 2023-09-15 | 深圳平安智慧医健科技有限公司 | 测试用例的构建方法、装置、设备及存储介质 |
| WO2024004083A1 (ja) * | 2022-06-29 | 2024-01-04 | 日本電信電話株式会社 | データ生成装置、データ生成方法、およびプログラム |
| CN115757069A (zh) * | 2022-11-21 | 2023-03-07 | 中国人民财产保险股份有限公司 | 一种基于测试平台评估系统性能的方法、装置及设备 |
| CN117763101A (zh) * | 2023-11-15 | 2024-03-26 | 北京计算机技术及应用研究所 | 一种基于神经网络语言模型的模糊测试方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111026671B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111026671B (zh) | 测试用例集构建方法和基于测试用例集的测试方法 | |
| US20210382878A1 (en) | Systems and methods for generating a contextually and conversationally correct response to a query | |
| CN108280114B (zh) | 一种基于深度学习的用户文献阅读兴趣分析方法 | |
| CN107180045B (zh) | 一种互联网文本蕴含地理实体关系的抽取方法 | |
| CN110990590A (zh) | 一种基于强化学习和迁移学习的动态金融知识图谱构建方法 | |
| CN112015900B (zh) | 医学属性知识图谱构建方法、装置、设备及介质 | |
| CN110795932B (zh) | 基于地质本体的地质报告文本信息提取方法 | |
| CN105468677A (zh) | 一种基于图结构的日志聚类方法 | |
| CN105045852A (zh) | 一种教学资源的全文搜索引擎系统 | |
| US20160110471A1 (en) | Method and system of intelligent generation of structured data and object discovery from the web using text, images, video and other data | |
| KR101724398B1 (ko) | 지식베이스를 이용한 개체명 인식 코퍼스 생성 시스템 및 방법 | |
| CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| CN109522396B (zh) | 一种面向国防科技领域的知识处理方法及系统 | |
| CN111291152A (zh) | 案例文书的推荐方法、装置、设备及存储介质 | |
| CN110889275A (zh) | 一种基于深度语义理解的信息抽取方法 | |
| Wu et al. | Extracting knowledge from web tables based on DOM tree similarity | |
| CN112667819B (zh) | 一种实体描述推理知识库构建与推理证据量化信息获取方法和装置 | |
| CN114090769A (zh) | 实体挖掘方法、装置、计算机设备和存储介质 | |
| Schirmer et al. | A new dataset for topic-based paragraph classification in genocide-related court transcripts | |
| Maynard et al. | Change management for metadata evolution | |
| CN115328945A (zh) | 数据资产的检索方法、电子设备及计算机可读存储介质 | |
| CN113963804A (zh) | 医学数据关系挖掘方法及装置 | |
| CN115048536A (zh) | 知识图谱生成方法、装置、计算机设备和存储介质 | |
| JPWO2018100700A1 (ja) | データ変換装置とデータ変換方法 | |
| Mohemad et al. | Ontological-based information extraction of construction tender documents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022576 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |