CN108492345B - 一种基于尺度变换的数据块划分方法 - Google Patents
一种基于尺度变换的数据块划分方法 Download PDFInfo
- Publication number
- CN108492345B CN108492345B CN201810069242.4A CN201810069242A CN108492345B CN 108492345 B CN108492345 B CN 108492345B CN 201810069242 A CN201810069242 A CN 201810069242A CN 108492345 B CN108492345 B CN 108492345B
- Authority
- CN
- China
- Prior art keywords
- data
- curve
- points
- original
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于尺度变换的数据块划分方法,依据大数据处理的整体思想对数据进行块划分,然后基于尺度变换的方法对其进行数据划分,进而在此基础上可以进行数据趋势分析,解决了当数据量大并过于关注细节数据点使数据难以划分的问题;本发明还具有操作简单、划分结果准确、快速的优点。
Description
技术领域
本发明属于数据处理方法技术领域,具体涉及一种基于尺度变换的数据块划分方法。
背景技术
伴随着大数据的发展,数据处理技术领域也在不断发展,在数据量过大时如何更好的进行数据块划分,成为了一个要解决的主要问题。当数据量过大时,如果将数据曲线放大一定的尺寸,就会因为过于关注细节数据而增加了数据划分的难度;而如果不断地缩小图像尺寸,曲线上点的分布会非常密集,这样就更容易的看出曲线的大致趋势,也更有利于计算机快速、准确的划分数据块,则可以基于整体的思想对数据块进行划分,故针对此问题,利用一种基于尺度变换的方法对数据块进行划分。
发明内容
本发明的目的在于提供了一种基于尺度变换的数据块划分方法,解决了数据量过大时,直接在曲线上进行数据划分有一定的难度的问题。
本发明所采用的技术方案是,一种基于尺度变换的数据块划分方法,具体按照以下步骤实施:
步骤1、绘制数据曲线,等比例缩小该数据曲线,标记该数据曲线上同一个横坐标对应的多个像素点纵坐标的中间位置点,并将中间位置点依次连接得平滑数据曲线;
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段,将每个平滑曲线段的边界点映射到原始数据曲线,并将原始数据曲线划分为多个曲线段;
步骤3、随机选取步骤2中得到的某个曲线段,将该曲线段中的数据量与所需求的数据量进行比较;
若该曲线段中的数据点的个数大于所需求的数据个数,则重新执行步骤1、步骤2;
若该曲线段中的数据点的个数小于所需求的数据个数,则终止数据块的划分。
步骤1具体过程为:
步骤1.1、绘制数据X=[x1,x2,...,xn]曲线图,其中n表示数据点的个数,并去除曲线图的边框以及所有标注,并保存为图片格式;
步骤1.3、将步骤1.2图figure1.jpg先进行灰度化、二值化处理,找出所有像素值为‘0’(代表‘黑’)的位置,形成新的曲线图;
步骤1.4、在步骤1.3得到的新的曲线图中,同一横坐标下对应多个纵坐标的像素点,找出纵坐标处于中间位置的像素点;
步骤1.5、将步骤1.4所得中间位置的像素点依次连接,得到一条新的平滑数据曲线。
步骤2具体包括以下步骤:
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割,得到若干数据块,并确定各数据块的边界点;
步骤2.2、确定步骤2.1所得各数据块的全部边界点,且生成如下向量:
X′=[x1′,x2′,...,xn′]T (1);
式(1)中,X′表示所有边界点的集合,xn′为各数据块的全部边界点;
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射,根据如下位置比例关系,映射出原始数据,
式(2)中,xn为原始数据划分的边界点,k1为原始曲线图的长度,m1为步骤1.2中图figure1.jpg的长度;
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点,由此原始数据被划分为若干数据块,得到数据整体划分结果。
本发明一种基于尺度变换的数据块划分方法有益效果为:依据大数据处理的整体思想对数据进行块划分,然后基于尺度变换的方法对其进行数据划分,进而在此基础上可以进行数据趋势分析,解决了当数据量大并过于关注细节数据点使数据难以划分的问题;
本发明一种基于尺度变换的数据块划分方法还具有操作简单、划分结果准确、快速的优点。
附图说明
图1本发明一种基于尺度变换的数据块划分方法的总体流程图;
图2是本发明一种基于尺度变换的数据块划分方法中原始数据曲线图;
图3是图2等比例缩小图;
图4是图3的灰度图;
图5是图4的二值图;
图6是本发明一种基于尺度变换的数据块划分方法中平滑数据曲线图;
图7是本发明一种基于尺度变换的数据块划分方法中划分数据量较大的曲线图;
图8是本发明一种基于尺度变换的数据块划分方法中划分数据量较小的曲线图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
本发明一种基于尺度变换的数据块划分方法,如图1所示,具体按照以下步骤实施:
步骤1、绘制数据曲线,等比例缩小该数据曲线,标记该数据曲线上同一个横坐标对应的多个像素点纵坐标的中间位置点,并将中间位置点依次连接得平滑数据曲线;
步骤1.1、绘制数据X=[x1,x2,...,xn]曲线图,如图2所示,其中n表示数据点的个数,并去除曲线图的边框以及所有标注,并保存为图片格式;
步骤1.3、如图4和图5所示,将步骤1.2图figure1.jpg先进行灰度化、二值化处理,找出所有像素值为‘0’(代表‘黑’)的位置,形成新的曲线图;
步骤1.4、在步骤1.3得到的新的曲线图中,同一横坐标下对应多个纵坐标的像素点,找出纵坐标处于中间位置的像素点;
步骤1.5、如图6所示,将步骤1.4所得中间位置的像素点依次连接,得到一条新的平滑数据曲线。
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段,将每个平滑曲线段的边界点映射到原始数据曲线,并将原始数据曲线划分为多个曲线段;
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割,得到若干数据块,并确定各数据块的边界点;
步骤2.2、确定步骤2.1所得各数据块的全部边界点,且生成如下向量:
X′=[x1′,x2′,...,xn′]T (1);
式(1)中,X′表示所有边界点的集合,xn′为各数据块的全部边界点;
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射,根据如下位置比例关系,映射出原始数据,
式(2)中,xn为原始数据划分的边界点,k1为原始曲线图的长度,m1为步骤1.2中图figure1.jpg的长度;
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点,由此原始数据被划分为若干数据块,得到数据整体划分结果。
步骤3、随机选取步骤2中得到的某个曲线段,将该曲线段中的数据量与所需求的数据量进行比较;
如图7所示,若该曲线段中的数据点的个数大于所需求的数据个数,则重新执行步骤1、步骤2;
如图8所示,若该曲线段中的数据点的个数小于所需求的数据个数,则终止数据块的划分。
通过上述方式,本发明一种基于尺度变换的数据块划分方法,依据大数据处理的整体思想对数据进行块划分,然后基于尺度变换的方法对其进行数据划分,进而在此基础上可以进行数据趋势分析,解决了当数据量大并过于关注细节数据点使数据难以划分的问题;本发明还具有操作简单、划分结果准确、快速的优点。
Claims (2)
1.一种基于尺度变换的数据块划分方法,其特征在于,具体按照以下步骤实施:
步骤1、绘制数据曲线,等比例缩小该数据曲线,标记该数据曲线上同一个横坐标对应的多个像素点的纵坐标的中间位置点,并将中间位置点依次连接得平滑数据曲线;
步骤1具体过程为:
步骤1.1、绘制数据X=[x1,x2,...,xn]曲线图,其中n表示数据点的个数,并去除曲线图的边框以及所有标注,并保存为图片格式;
步骤1.3、将步骤1.2图figure1.jpg先进行灰度化、二值化处理,找出所有像素值为‘0’(代表‘黑’)的位置,形成新的曲线图;
步骤1.4、在步骤1.3得到的新的曲线图中,同一横坐标下对应多个纵坐标的像素点,找出纵坐标处于中间位置的像素点;
步骤1.5、将步骤1.4所得中间位置的像素点依次连接,得到一条新的平滑数据曲线;
步骤2、利用数据趋势分析方法将步骤1中的平滑数据曲线分割成多个平滑曲线段,将每个平滑曲线段的边界点映射到原始数据曲线,并将原始数据曲线划分为多个曲线段;
步骤3、随机选取步骤2中得到的某个曲线段,将该曲线段中的数据量与所需求的数据量进行比较;
若该曲线段中的数据点的个数大于所需求的数据个数,则重新执行步骤1、步骤2;
若该曲线段中的数据点的个数小于所需求的数据个数,则终止数据块的划分。
2.如权利要求1所述一种基于尺度变换的数据块划分方法,其特征在于,步骤2具体包括以下步骤:
步骤2.1、采用现有数据趋势分析方法对步骤1获得的平滑数据曲线进行分割,得到若干数据块,并确定各数据块的边界点;
步骤2.2、确定步骤2.1所得各数据块的全部边界点,且生成如下向量:
X′=[x1′,x2′,...,xn′]T (1);
式(1)中,X′表示所有边界点的集合,xn′为各数据块的全部边界点;
步骤2.3、将步骤2.2获得的边界点与原始数据一一映射,根据如下位置比例关系,映射出原始数据,
式(2)中,xn为原始数据划分的边界点,k1为原始曲线图的长度,m1为步骤1.2中图figure1.jpg的长度;
步骤2.4、根据步骤2.3所求原始数据划分拐点即为划分原始数据曲线的边界点,由此原始数据被划分为若干数据块,得到数据整体划分结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810069242.4A CN108492345B (zh) | 2018-01-24 | 2018-01-24 | 一种基于尺度变换的数据块划分方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810069242.4A CN108492345B (zh) | 2018-01-24 | 2018-01-24 | 一种基于尺度变换的数据块划分方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492345A CN108492345A (zh) | 2018-09-04 |
CN108492345B true CN108492345B (zh) | 2021-12-03 |
Family
ID=63343771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810069242.4A Active CN108492345B (zh) | 2018-01-24 | 2018-01-24 | 一种基于尺度变换的数据块划分方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492345B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110489810B (zh) * | 2019-07-24 | 2022-11-25 | 上海金润联汇数字科技有限公司 | 一种基于数据块的趋势自动提取方法 |
CN116610272B (zh) * | 2023-04-23 | 2024-09-03 | 珠海芯烨电子科技有限公司 | 一种打印终端图片数据的处理方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156733A (zh) * | 2014-08-12 | 2014-11-19 | 中国人民解放军理工大学 | 一种基于多尺度结构特征的地基云状识别方法 |
CN105024702A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据无损压缩方法 |
CN105913062A (zh) * | 2016-04-26 | 2016-08-31 | 深圳前海云汉金融科技有限公司 | 一种基于大数据的趋势曲线局部特征的匹配方法及终端 |
CN106067030A (zh) * | 2016-05-26 | 2016-11-02 | 广西师范学院 | 一种河流特征分类数据的处理方法 |
CN106504298A (zh) * | 2016-09-22 | 2017-03-15 | 珠海格力电器股份有限公司 | 曲线绘制方法及装置 |
CN107369135A (zh) * | 2017-06-22 | 2017-11-21 | 广西大学 | 一种基于尺度不变特征变换算法的显微成像系统三维点扩散函数空间大小选取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7469072B2 (en) * | 2003-07-18 | 2008-12-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US9528935B2 (en) * | 2012-03-30 | 2016-12-27 | Haripriya Pulyassary | Water weather station for monitoring changes in water quality |
CN104899384B (zh) * | 2015-06-12 | 2018-03-13 | 卢伟 | 一种基于Revit的结构健康监测可视化系统 |
CN106323977A (zh) * | 2016-08-23 | 2017-01-11 | 刘钢 | 基于移动终端的变色诊断试纸定量成像系统 |
CN106570624A (zh) * | 2016-10-26 | 2017-04-19 | 东北电力大学 | 一种经济管理系统 |
-
2018
- 2018-01-24 CN CN201810069242.4A patent/CN108492345B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156733A (zh) * | 2014-08-12 | 2014-11-19 | 中国人民解放军理工大学 | 一种基于多尺度结构特征的地基云状识别方法 |
CN105024702A (zh) * | 2015-07-08 | 2015-11-04 | 西安理工大学 | 一种面向科学计算的浮点型数据无损压缩方法 |
CN105913062A (zh) * | 2016-04-26 | 2016-08-31 | 深圳前海云汉金融科技有限公司 | 一种基于大数据的趋势曲线局部特征的匹配方法及终端 |
CN106067030A (zh) * | 2016-05-26 | 2016-11-02 | 广西师范学院 | 一种河流特征分类数据的处理方法 |
CN106504298A (zh) * | 2016-09-22 | 2017-03-15 | 珠海格力电器股份有限公司 | 曲线绘制方法及装置 |
CN107369135A (zh) * | 2017-06-22 | 2017-11-21 | 广西大学 | 一种基于尺度不变特征变换算法的显微成像系统三维点扩散函数空间大小选取方法 |
Non-Patent Citations (2)
Title |
---|
一种过程数据趋势特征提取方法;刘佳宝;《化工自动化及仪表》;20120710;第39卷(第7期);第850-853页 * |
基于尺度变换的数据转折点检测方法;母东杰;《控 制 工 程》;20180120;第 25 卷(第 1 期);第25-29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108492345A (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11682117B2 (en) | Deep interactive learning for image segmentation models | |
CN108986119B (zh) | 图像分割方法及装置、计算机设备及可读存储介质 | |
CN105975939B (zh) | 视频检测方法和装置 | |
CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
CN109800698A (zh) | 基于深度网络的图标检测方法 | |
Chen et al. | Shadow-based Building Detection and Segmentation in High-resolution Remote Sensing Image. | |
CN102567300A (zh) | 图片文档的处理方法及装置 | |
CN108805863B (zh) | 深度卷积神经网络结合形态学检测图像变化的方法 | |
CN109977952B (zh) | 基于局部最大值的候选目标检测方法 | |
KR101618996B1 (ko) | 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 | |
CN112508090A (zh) | 一种外包装缺陷检测方法 | |
CN108805128A (zh) | 一种字符分割方法和装置 | |
CN108182457B (zh) | 用于生成信息的方法和装置 | |
CN114492619A (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
CN108492345B (zh) | 一种基于尺度变换的数据块划分方法 | |
CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
CN111161300B (zh) | 一种基于改进大津法的Niblack的图像分割方法 | |
CN106909869A (zh) | 一种矩阵式二维码的采样网格划分方法及装置 | |
CN113223098B (zh) | 图像颜色分类的预处理优化方法 | |
CN109271882B (zh) | 一种区分颜色的手写体汉字提取方法 | |
CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
CN115033721A (zh) | 基于大数据的图像检索方法 | |
JP2011087144A (ja) | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
CN103679174A (zh) | 一种形状描述子的生成方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211119 Address after: 510000 first floor, No. 12, Jianzhong Road, Tianhe District, Guangzhou, Guangdong Applicant after: GUANGZHOU SINOBEST SOFTWARE TECHNOLOGY Co.,Ltd. Address before: 710048 No. 5 Jinhua South Road, Shaanxi, Xi'an Applicant before: XI'AN University OF TECHNOLOGY |
|
TA01 | Transfer of patent application right |