CN112613521B - 基于数据转换的多层次数据分析系统及方法 - Google Patents
基于数据转换的多层次数据分析系统及方法 Download PDFInfo
- Publication number
- CN112613521B CN112613521B CN202011606457.9A CN202011606457A CN112613521B CN 112613521 B CN112613521 B CN 112613521B CN 202011606457 A CN202011606457 A CN 202011606457A CN 112613521 B CN112613521 B CN 112613521B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- channel
- pixel
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000007405 data analysis Methods 0.000 title claims abstract description 58
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000926 separation method Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims description 101
- 238000010191 image analysis Methods 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 27
- 238000005315 distribution function Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013501 data transformation Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 17
- 241001270131 Agaricus moelleri Species 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000528 statistical test Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- RGCLLPNLLBQHPF-HJWRWDBZSA-N phosphamidon Chemical compound CCN(CC)C(=O)C(\Cl)=C(/C)OP(=O)(OC)OC RGCLLPNLLBQHPF-HJWRWDBZSA-N 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明数据处理技术领域，具体涉及基于数据转换的多层次数据分析系统及方法。所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点。其利用将数据转换到图像，再针对图像进行多通道分离，对分离后的多个通道的图像分别进行不同层次和不同方式的数据分析，实现了数据分析的多层次，提升了分析结果的准确率和效率。
Description
技术领域
本发明属于数据处理技术领域，具体涉及基于数据转换的多层次数据分析系统及方法。
背景技术
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如设计人员在开始一个新的设计以前，要通过广泛的设计调查，分析所得数据以判定设计方向，因此数据分析在工业设计中具有极其重要的地位。
专利号为：CN201510616470.5A的专利公开了用于接收并处理数据分析表达式的方法和系统。一种特定方法包括在电子表格的数据透视表处接收数据分析表达式。通过以下操作来对数据透视表的特定单元格执行数据分析表达式：确定与该特定单元格相关联的上下文、基于该上下文来计算数据分析表达式的值、以及在该特定单元格处输出计算出的值。
其进行数据分析的方式是利用数据透视表来实现，虽然提升了数据分析的效率，但由于对于数据分析的角度和层次依然较少，数据分析的准确率较低。
专利号为CN201210307198.9A的专利公开了一种数据分析系统及数据分析方法。所述系统包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储生成的待调度的任务；任务调度模块，用于加载待调度的任务，并根据任务类型调用相应的任务处理模块；任务处理模块，用于根据任务中的分析需求生成相应的Hive SQL语句向基于Hadoop的数据仓库服务器发送；在接收到服务器返回的数据后完成对任务的数据分析。由于在数据分析系统的底层利用Hadoop系统进行数据分析，而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理，从而既可以利用Hadoop系统简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统。
其使用基于Hadoop的大数据平台进行数据分析，虽然简化了数据分析流程，但数据分析的层次依然较低，数据分析结果的准确率较低。
发明内容
有鉴于此，本发明的主要目的在于提供基于数据转换的多层次数据分析系统及方法，其利用将数据转换到图像，再针对图像进行多通道分离，对分离后的多个通道的图像分别进行不同层次和不同方式的数据分析，实现了数据分析的多层次，提升了分析结果的准确率和效率。
为达到上述目的，本发明的技术方案是这样实现的：
基于数据转换的多层次数据分析系统，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像转换单元，配置用于将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0～85；第二像素区间的范围为：86～171；第三像素区间的范围为：172～256；分析单元，配置用于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果。
进一步的，所述对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
进一步的，所述对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
进一步的，所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
进一步的，所述对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
基于数据转换的多层次数据分析方法，所述方法执行以下步骤：
步骤1：将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；步骤2：将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；步骤3：将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；步骤4：将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0～85；第二像素区间的范围为：86～171；第三像素区间的范围为：172～256；步骤5：于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果。
进一步的，所述对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
进一步的，所述对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
进一步的，所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
其中，R表示方差曲线特征的地形样本灰度均值统计分布，rG表示灰度等级G下的样本灰度均值，Size表示该通道图像的分辨率，R′表示方差曲线特征的样本灰度平均占有率统计分布，B表示方差曲线特征的灰度方差统计分布，bG表示灰度等级G下的样本灰度方差，B′表示归一化后的方差曲线特征的灰度方差，Col表示该通道图像的宽，Row表示该通道图像的高。
进一步的，所述对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
本发明的基于数据转换的多层次数据分析系统及方法，具有如下有益效果：其利用将数据转换到图像，再针对图像进行多通道分离，对分离后的多个通道的图像分别进行不同层次和不同方式的数据分析，实现了数据分析的多层次，提升了分析结果的准确率和效率。其主要通过以下过程实现：1.数据和图像的转换，本发明将原始数据转换为二进制数据；再将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；然后将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；嘴周将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；将数据转换为图像进行分析的方式，可以从另外的角度进行数据分析，发现数据中隐含的更深层的规律，分析得到的结果更加准确；2.针对不同通道图像使用不同的分析方法：针对第一像素区间，对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第二像素区间，使用分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第三像素区间，利用第一卷积神经网络对通道图像进行特征提取；三种方法从三个层次和三个角度针对数据进行分析，分析结果更能反映数据的多角度特征，从而提升数据分析的准确率。
附图说明
图1为本发明实施例提供的基于数据转换的多层次数据分析系统的系统结构示意图；
图2为本发明实施例提供的基于数据转换的多层次数据分析方法的方法流程示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示，基于数据转换的多层次数据分析系统，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像转换单元，配置用于将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0～85；第二像素区间的范围为：86～171；第三像素区间的范围为：172～256；分析单元，配置用于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果。
采用上述技术方案，其利用将数据转换到图像，再针对图像进行多通道分离，对分离后的多个通道的图像分别进行不同层次和不同方式的数据分析，实现了数据分析的多层次，提升了分析结果的准确率和效率。其主要通过以下过程实现：1.数据和图像的转换，本发明将原始数据转换为二进制数据；再将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；然后将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；嘴周将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；将数据转换为图像进行分析的方式，可以从另外的角度进行数据分析，发现数据中隐含的更深层的规律，分析得到的结果更加准确；2.针对不同通道图像使用不同的分析方法：针对第一像素区间，对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第二像素区间，使用分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第三像素区间，利用第一卷积神经网络对通道图像进行特征提取；三种方法从三个层次和三个角度针对数据进行分析，分析结果更能反映数据的多角度特征，从而提升数据分析的准确率。
实施例2
在上一实施例的基础上，所述对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
采用上述技术方案，直方图均衡化通常用来增加许多图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
这种方法对于背景和前景都太亮或者太暗的图像非常有用，这种方法尤其是可以带来X光图像中更好的骨骼结构显示以及曝光过度或者曝光不足照片中更好的细节。这种方法的一个主要优势是它是一个相当直观的技术并且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方图，并且计算量也不大。这种方法的一个缺点是它对处理的数据不加选择，它可能会增加背景噪声的对比度并且降低有用信号的对比度。
直方图均衡技术将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布,由于其算法简单,无需借助外来因素的参数设置,可以自成系统的运行,有效地增强图像对比度,是一种常用的图像增强方法.一直以来,直方图均衡技术受到各个领域的重视,比如在消费类电子产品邻域,在均衡图像的同时希望保持图像的亮度信息。
实施例3
在上一实施例的基础上，所述对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
具体的，异常值检验发现和剔除异常观测值的统计检验方法。异常值或离群值，是观测或试验过程中由于过失误差破坏了原有统计规律性而产生的观测值。异常值一般明显大于或小于其他观测值，故不难发现或剔除。只有在不明显场合，通过技术上的检查与核对无法断定某些观测值(即可疑观测值)是否异常值时，才用统计检验的方法发现并剔除异常值。常用的异常值检验，有格拉布斯(Grubbs)检验和迪克逊(Dixon)检验。
实施例4
在上一实施例的基础上，所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
实施例5
在上一实施例的基础上，所述对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
具体的，不论何种类型的人工神经网络，它们共同的特点是，大规模并行处理，分布式存储，弹性拓扑，高度冗余和非线性运算。因而具有很髙的运算速度，很强的联想能力，很强的适应性，很强的容错能力和自组织能力。这些特点和能力构成了人工神经网络模拟智能活动的技术基础，并在广阔的领域获得了重要的应用。例如，在通信领域，人工神经网络可以用于数据压缩、图像处理、矢量编码、差错控制(纠错和检错编码)、自适应信号处理、自适应均衡、信号检测、模式识别、ATM流量控制、路由选择、通信网优化和智能网管理等等。
人工神经网络的研究已与模糊逻辑的研究相结合，并在此基础上与人工智能的研究相补充，成为新一代智能系统的主要方向。这是因为人工神经网络主要模拟人类右脑的智能行为而人工智能主要模拟人类左脑的智能机理，人工神经网络与人工智能有机结合就能更好地模拟人类的各种智能活动。新一代智能系统将能更有力地帮助人类扩展他的智力与思维的功能，成为人类认识和改造世界的聪明的工具。因此，它将继续成为当代科学研究重要的前沿。
实施例6
基于数据转换的多层次数据分析方法，所述方法执行以下步骤：
步骤1：将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；步骤2：将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；步骤3：将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；步骤4：将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0～85；第二像素区间的范围为：86～171；第三像素区间的范围为：172～256；步骤5：于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果。
采用上述技术方案，其利用将数据转换到图像，再针对图像进行多通道分离，对分离后的多个通道的图像分别进行不同层次和不同方式的数据分析，实现了数据分析的多层次，提升了分析结果的准确率和效率。
实施例7
在上一实施例的基础上，所述对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
具体的，数据和图像的转换，本发明将原始数据转换为二进制数据；再将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；然后将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；嘴周将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；将数据转换为图像进行分析的方式，可以从另外的角度进行数据分析，发现数据中隐含的更深层的规律，分析得到的结果更加准确。
实施例8
在上一实施例的基础上，所述对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
实施例9
在上一实施例的基础上，所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
具体的，针对不同通道图像使用不同的分析方法：针对第一像素区间，对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否提满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第二像素区间，使用分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；针对第三像素区间，利用第一卷积神经网络对通道图像进行特征提取；三种方法从三个层次和三个角度针对数据进行分析，分析结果更能反映数据的多角度特征，从而提升数据分析的准确率。
实施例10
在上一实施例的基础上，所述对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。
Claims (6)
1.基于数据转换的多层次数据分析系统，其特征在于，所述系统包括：第一数据转换单元，配置用于将原始数据转换为二进制数据；数据分割单元，配置用于将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；第二数据转换单元，配置用于将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；第三数据转换单元，配置用于将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；图像转换单元，配置用于将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0~85；第二像素区间的范围为：86~171；第三像素区间的范围为：172~256；分析单元，配置用于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果；
对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；
所述提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
；其中，R表示方差曲线特征的地形样本灰度均值统计分布，
表示灰度等级G下的样本灰度均值，Size表示该通道图像的分辨率，
表示方差曲线特征的样本灰度平均占有率统计分布，B表示方差曲线特征的灰度方差统计分布，
表示灰度等级G下的样本灰度方差，
表示归一化后的方差曲线特征的灰度方差，
表示该通道图像的宽，
表示该通道图像的高。
2.如权利要求1所述的系统，其特征在于，对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
3.如权利要求1所述的系统，其特征在于，对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
4.一种基于权利要求1至3之一所述系统的基于数据转换的多层次数据分析方法，其特征在于，所述方法执行以下步骤：
步骤1：将原始数据转换为二进制数据；步骤2：用将原始数据对应的二进制数据以8位为间隔，从头至尾进行分割，得到若干数据片段；步骤3：将每个数据片段按照从头至尾的顺序转换为对应的像素值，每个数据片段对应一个像素点；步骤4：将所有转换得到的像素点按照从头至尾的顺序进行排列拼接，得到一张像素点组成的数据图像；步骤5：将组成的数据图像基于预设的不同的三个像素区间进行通道分离，分别得到三个像素空间下的通道图像，所述三个像素区间记为第一像素区间、第二像素区间和第三像素区间；所述第一像素区间的范围为：0~85；第二像素区间的范围为：86~171；第三像素区间的范围为：172~256；步骤6：于分别基于不同的像素空间下的通道图像分别进行图像分析，得到三个图像分析结果，对所有的图像分析结果进行归一化处理，得到归一化分析结果，作为最终的分析结果；
对基于第二像素区间得到的通道图像进行图像分析的方法包括：分别提取该通道图像的直方图特征和方差特性曲线；将该通道图像的直方图特征与方差特性曲线与预设的异常数据的直方图特征和方差特性曲线进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分；
提取第二像素区间得到的通道图像的方差特性曲线的方法包括：使用如下公式，得到第二像素区间得到的通道图像的方差特性曲线：
；其中，R表示方差曲线特征的地形样本灰度均值统计分布，
表示灰度等级G下的样本灰度均值，Size表示该通道图像的分辨率，
表示方差曲线特征的样本灰度平均占有率统计分布，B表示方差曲线特征的灰度方差统计分布，
表示灰度等级G下的样本灰度方差，
表示归一化后的方差曲线特征的灰度方差，
表示该通道图像的宽，
表示该通道图像的高。
5.如权利要求4所述的方法，其特征在于，对基于第一像素区间得到的通道图像进行图像分析的方法包括：对该通道图像进行直方图均衡，然后得到该通道图像的直方图分析曲线；判断该直方图分析曲线是否满足异常数据的正态分布，若满足，则获取该直方图分析曲线对应的正态分布函数，并求出所述正态分布函数的上限值及下限值，在所述正态分布函数的上限值及下限值之外的数据为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
6.如权利要求5所述的方法，其特征在于，对基于第三像素区间得到的通道图像进行图像分析的方法包括：利用第一卷积神经网络对通道图像进行特征提取，获得第一特征图像；将所述第一特征图像在空间维度上划分为多个部分，对每个部分分别进行全局池化，获得多个第一空间特征；利用第二卷积神经网络对所述通道图像的像素进行扩增，获得像素扩增后的第一扩增特征图像；对所述第一扩增特征图像进行全局池化，将池化结果在通道维度上划分为多个第一通道特征；基于所述多个第一空间特征、所述多个第一通道特征或所述多个第一空间特征以及所述多个第一通道特征进行特征融合，获得所述通道图像的特征；将该通道图像的特征与预设的异常数据的特征进行比对，重合部分将作为该组数据对应的异常值部分，找到该异常值部分对应的原始数据的部分，则得到原始数据中的异常值部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606457.9A CN112613521B (zh) | 2020-12-28 | 2020-12-28 | 基于数据转换的多层次数据分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606457.9A CN112613521B (zh) | 2020-12-28 | 2020-12-28 | 基于数据转换的多层次数据分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112613521A CN112613521A (zh) | 2021-04-06 |
| CN112613521B true CN112613521B (zh) | 2023-01-20 |
Family
ID=75249546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011606457.9A Active CN112613521B (zh) | 2020-12-28 | 2020-12-28 | 基于数据转换的多层次数据分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112613521B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139493B (zh) * | 2021-05-06 | 2022-01-28 | 上海伯镭智能科技有限公司 | 一种无人驾驶道路障碍物识别系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561921A (zh) * | 2008-04-14 | 2009-10-21 | 哈尔滨理工大学 | 抗差分检测的高位空域隐藏方法 |
| CN106546568A (zh) * | 2016-10-31 | 2017-03-29 | 浙江大学 | 一种获取植物三维叶绿素荧光图像信息的方法及装置 |
| WO2018002944A1 (en) * | 2016-07-01 | 2018-01-04 | Hewlett-Packard Development Company, L.P. | Converting binary data to images |
| CN108230409A (zh) * | 2018-03-28 | 2018-06-29 | 南京大学 | 基于颜色和内容多因素综合的图像相似性定量分析方法 |
| CN108416213A (zh) * | 2018-03-14 | 2018-08-17 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于图像纹理指纹的恶意代码分类方法 |
| CN108984381A (zh) * | 2018-07-19 | 2018-12-11 | 武汉新芯集成电路制造有限公司 | 数据异常分析的方法及系统 |
| CN110147780A (zh) * | 2019-05-28 | 2019-08-20 | 山东大学 | 基于层级地形的实时性野外机器人地形识别方法及系统 |
-
2020
- 2020-12-28 CN CN202011606457.9A patent/CN112613521B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561921A (zh) * | 2008-04-14 | 2009-10-21 | 哈尔滨理工大学 | 抗差分检测的高位空域隐藏方法 |
| WO2018002944A1 (en) * | 2016-07-01 | 2018-01-04 | Hewlett-Packard Development Company, L.P. | Converting binary data to images |
| CN106546568A (zh) * | 2016-10-31 | 2017-03-29 | 浙江大学 | 一种获取植物三维叶绿素荧光图像信息的方法及装置 |
| CN108416213A (zh) * | 2018-03-14 | 2018-08-17 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于图像纹理指纹的恶意代码分类方法 |
| CN108230409A (zh) * | 2018-03-28 | 2018-06-29 | 南京大学 | 基于颜色和内容多因素综合的图像相似性定量分析方法 |
| CN108984381A (zh) * | 2018-07-19 | 2018-12-11 | 武汉新芯集成电路制造有限公司 | 数据异常分析的方法及系统 |
| CN110147780A (zh) * | 2019-05-28 | 2019-08-20 | 山东大学 | 基于层级地形的实时性野外机器人地形识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112613521A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN113919442B (zh) | 一种基于卷积神经网络烟叶成熟度状态识别方法 | |
| CN109903282B (zh) | 一种细胞计数方法、系统、装置和存储介质 | |
| CN113781510B (zh) | 边缘检测方法、装置及电子设备 | |
| CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
| CN113628297A (zh) | 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 | |
| CN116563293B (zh) | 一种基于机器视觉的光伏载具生产质量检测方法及系统 | |
| Li et al. | SeedSortNet: a rapid and highly effificient lightweight CNN based on visual attention for seed sorting | |
| CN118015611A (zh) | 基于YOLOv8的蔬菜植株目标检测方法及装置 | |
| CN112613521B (zh) | 基于数据转换的多层次数据分析系统及方法 | |
| Karthik et al. | GrapeLeafNet: A dual-track feature fusion network with inception-ResNet and shuffle-transformer for accurate grape leaf disease identification | |
| Abhishek et al. | Harnessing deep learning for precise rice image classification: Implications for sustainable agriculture | |
| Mahboob et al. | YOLO v5, v7 and v8: A Performance Comparison for Tobacco Detection in Field | |
| CN115861604B (zh) | 宫颈组织图像处理方法、装置、计算机设备和存储介质 | |
| CN118135444A (zh) | 基于无人机遥感的土地规划资源监测方法与系统 | |
| CN114742204B (zh) | 检测秸秆覆盖率的方法和装置 | |
| CN116188834A (zh) | 基于自适应训练模型的全切片图像分类方法及装置 | |
| CN115345491A (zh) | 一种通信工程智能监理系统 | |
| Thangaraj et al. | Classification of rice leaf diseases using deep learning | |
| CN113723448B (zh) | 图像中对象分类和计数方法、装置、电子设备及介质 | |
| CN118314631B (zh) | 基于坐姿识别的专注力分析方法、装置、设备及存储介质 | |
| CN117746266B (zh) | 一种基于半监督交互学习的树冠检测方法、装置及介质 | |
| CN118657784B (zh) | 一种基于无人机采集光伏组件图像的脱焊检测方法 | |
| CN119048977A (zh) | 一种浮游生物泵的滤网健康度确定方法、介质及系统 | |
| Jayanthi et al. | Performance Evaluation of the Infected Rice Leaves Using RCNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221228 Address after: 201700 Floor 12, Block B, No. 1-72, Lane 2855, Huqingping Road, Zhaoxiang Town, Qingpu District, Shanghai Applicant after: Shanghai Elitesland Software System Co.,Ltd. Address before: 253039 No.150, Honghai Road, Luquantun Town, Wucheng County, Dezhou City, Shandong Province Applicant before: Dezhou Zhengjie Electric Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |