CN108933830A - 基于nb-iot的数据汇聚方法及装置 - Google Patents
基于nb-iot的数据汇聚方法及装置 Download PDFInfo
- Publication number
- CN108933830A CN108933830A CN201810777073.XA CN201810777073A CN108933830A CN 108933830 A CN108933830 A CN 108933830A CN 201810777073 A CN201810777073 A CN 201810777073A CN 108933830 A CN108933830 A CN 108933830A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- json
- format
- formatted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于nb‑iot的数据汇聚方法及装置，所述方法包括步骤，将数据信息进行数据解析处理，得到解析数据；将解析数据转换成JSON格式，得到JSON格式数据；根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。本技术方案对IoT平台数据进行汇聚处理，将不同设备上传的信息解码转换为统一格式成串信息，便于对不同设备进行统一的管理；将JSON格式数据转换生成标准入库数据格式，便于统一对数据进行展示、修改、入库。
Description
技术领域
本发明涉及一种数据汇聚方法及装置，尤其是指一种基于nb-iot的数据汇聚方法及装置。
背景技术
物联网NB-IoT技术的快速发展，能够带来丰富的应用场景，开启了一个前所未有的广阔市场，对物联网设备数据进行汇聚变得非常重要。面对众多的物联网设备、传送数据类型和标准，如何对物联网设备数据进行汇聚、处理、解析分析，将设备信息转换为具备使用价值的数据成为一个难题。
目前，物联网设备种类繁多、设备传送数据类型、标准不统一，缺乏IoT平台数据汇聚功能，如何将IoT平台数据进行汇聚处理成为急需解决的难题。
发明内容
本发明所要解决的技术问题是：提供一种基于nb-iot的数据汇聚方法及装置。
为了解决上述技术问题，本发明采用的技术方案为：一种基于nb-iot的数据汇聚方法，包括步骤，
S20、将数据信息进行数据解析处理，得到解析数据；
S30、将解析数据转换成JSON格式，得到JSON格式数据；
S40、根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
S50、数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
优选地，所述步骤S40具体包括，
S41、通过设备ID和服务类型查找对应的设备数据模型；
S42、根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
优选地，所述步骤S20具体包括，
S21、将数据信息进行数据解析；
S22、将解析的数据封装为JSON格式；
S23、将封装后的数据投递到消息队列。
优选地，所述数据汇聚方法，还包括步骤，
S10、接收从外部平台发送的数据信息。
为了解决上述技术问题，本发明采用的另一个技术方案为：一种基于nb-iot的数据汇聚装置，包括，
数据解析模块，用于将数据信息进行数据解析处理，得到解析数据；
JSON格式转换模块，用于将解析数据转换成JSON格式，得到JSON格式数据；
入库格式转换模块，用于根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
数据入库模块，用于数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
优选地，所述入库格式转换模块包括，
模型查找单元，用于通过设备ID和服务类型查找对应的设备数据模型；
入库格式转换单元，用于根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
优选地，所述JSON格式转换模块包括，
数据解析单元，用于将数据信息进行数据解析；
数据封装单元，用于将解析的数据封装为JSON格式；
数据投递单元，用于将封装后的数据投递到消息队列。
优选地，所述数据汇聚装置还包括，
外部数据接收模块，用于接收从外部平台发送的数据信息。
本技术方案对IoT平台数据进行汇聚处理，将不同设备上传的信息解码转换为统一格式成串信息，便于对不同设备进行统一的管理；将JSON格式数据转换生成标准入库数据格式，便于统一对数据进行展示、修改、入库。
附图说明
下面结合附图详述本发明的具体结构。
图1为本发明的基于nb-iot的数据汇聚方法流程图；
图2为本发明的基于nb-iot的数据汇聚装置模块框图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
一种基于nb-iot的数据汇聚方法，包括步骤，
S20、将数据信息进行数据解析处理，得到解析数据；
S30、将解析数据转换成JSON格式，得到JSON格式数据；
S40、根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
S50、数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
本技术方案对IoT平台数据进行汇聚处理，将不同设备上传的信息解码转换为统一格式成串信息，便于对不同设备进行统一的管理；将JSON格式数据转换生成标准入库数据格式，便于统一对数据进行展示、修改、入库。
实施例一
在一具体实施例中，所述步骤S40具体包括，
S41、通过设备ID和服务类型查找对应的设备数据模型；
S42、根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
本实施例中，预设置有不同的设备数据类型与设备的数据转换模型，用于根据模型来对数据进行转换，将数据模型转换为符合入库格式的数据，便于对数据统一对数据进行展示、修改、入库。
实施例二
在一具体实施例中，所述步骤S20具体包括，
S21、将数据信息进行数据解析；
S22、将解析的数据封装为JSON格式；
S23、将封装后的数据投递到消息队列。
本实施例中，需要对外来的数据信息进行解析，解析后的数据封装为JSON格式，统一数据格式，便于对不同设备的数据进行展示、统计、分析。
实施例三
在一具体实施例中，所述数据汇聚方法，还包括步骤，
S10、接收从外部平台发送的数据信息。
本实施例中，检测外部平台是否有发送数据过来，当检测到有数据发送过来时，对外部平台的数据进行接收，将接收到的数据进行相应的数据格式转换处理。
本发明采用的另一个技术方案为：一种基于nb-iot的数据汇聚装置，包括，
数据解析模块，用于将数据信息进行数据解析处理，得到解析数据；
JSON格式转换模块，用于将解析数据转换成JSON格式，得到JSON格式数据；
入库格式转换模块，用于根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
数据入库模块，用于数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
本技术方案对IoT平台数据进行汇聚处理，JSON格式转换模块将不同设备上传的信息解码转换为统一格式成串信息，便于对不同设备进行统一的管理；入库格式转换模将JSON格式数据转换生成标准入库数据格式，便于统一对数据进行展示、修改、入库。
实施例四
在一具体实施例中，所述入库格式转换模块包括，
模型查找单元，用于通过设备ID和服务类型查找对应的设备数据模型；
入库格式转换单元，用于根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
本实施例中，预设置有不同的设备数据类型与设备的数据转换模型，用于根据模型来对数据进行转换，将数据模型转换为符合入库格式的数据，便于对数据统一对数据进行展示、修改、入库。
实施例五
在一具体实施例中，所述JSON格式转换模块包括，
数据解析单元，用于将数据信息进行数据解析；
数据封装单元，用于将解析的数据封装为JSON格式；
数据投递单元，用于将封装后的数据投递到消息队列。
本实施例中，数据解析单元对外来的数据信息进行解析，数据封装单元将解析后的数据封装为JSON格式，统一数据格式，方便对不同数据格式的数据进行统一管理，数据投递单元将封装后的数据投递到消息队列处理，统一数据格式，便于对不同设备的数据进行展示、统计、分析。
实施例六
在一具体实施例中，所述数据汇聚装置还包括，
外部数据接收模块，用于接收从外部平台发送的数据信息。
本实施例中，外部数据接收模块检测外部平台是否有发送数据过来，当检测到有数据发送过来时，对外部平台的数据进行接收，将接收到的数据进行相应的数据格式转换处理。
综上所述，本发明的技术方案对IoT平台数据进行汇聚处理，JSON格式转换模块将不同设备上传的信息解码转换为统一格式成串信息，便于对不同设备进行统一的管理；入库格式转换模将JSON格式数据转换生成标准入库数据格式，便于统一对数据进行展示、修改、入库；本技术方案支持海量数据的存储、横向扩展以及冗余备份。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于nb-iot的数据汇聚方法，其特征在于：包括步骤，
S20、将数据信息进行数据解析处理，得到解析数据；
S30、将解析数据转换成JSON格式，得到JSON格式数据；
S40、根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
S50、数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
2.如权利要求1所述的基于nb-iot的数据汇聚方法，其特征在于：所述步骤S40具体包括，
S41、通过设备ID和服务类型查找对应的设备数据模型；
S42、根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
3.如权利要求1所述的基于nb-iot的数据汇聚方法，其特征在于：所述步骤S20具体包括，
S21、将数据信息进行数据解析；
S22、将解析的数据封装为JSON格式；
S23、将封装后的数据投递到消息队列。
4.如权利要求1所述的基于nb-iot的数据汇聚方法，其特征在于：还包括步骤，
S10、接收从外部平台发送的数据信息。
5.一种基于nb-iot的数据汇聚装置，其特征在于：包括，
数据解析模块，用于将数据信息进行数据解析处理，得到解析数据；
JSON格式转换模块，用于将解析数据转换成JSON格式，得到JSON格式数据；
入库格式转换模块，用于根据设备数据模型的配置关系，将JSON格式数据转换为入库格式数据；
数据入库模块，用于数据处理线程定时批量获取入库格式数据，将入库格式数据进行批量入库。
6.如权利要求5所述的基于nb-iot的数据汇聚装置，其特征在于：所述入库格式转换模块包括，
模型查找单元，用于通过设备ID和服务类型查找对应的设备数据模型；
入库格式转换单元，用于根据设备数据模型预设的数据模型配置关系，将JSON格式数据转换为入库格式数据，所述预设的数据模型配置关系为外部系统字段与本系统字段的对应关系。
7.如权利要求5所述的基于nb-iot的数据汇聚装置，其特征在于：所述JSON格式转换模块包括，
数据解析单元，用于将数据信息进行数据解析；
数据封装单元，用于将解析的数据封装为JSON格式；
数据投递单元，用于将封装后的数据投递到消息队列。
8.如权利要求5所述的基于nb-iot的数据汇聚装置，其特征在于：所述数据汇聚装置还包括，
外部数据接收模块，用于接收从外部平台发送的数据信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810777073.XA CN108933830A (zh) | 2018-07-16 | 2018-07-16 | 基于nb-iot的数据汇聚方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810777073.XA CN108933830A (zh) | 2018-07-16 | 2018-07-16 | 基于nb-iot的数据汇聚方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108933830A true CN108933830A (zh) | 2018-12-04 |
Family
ID=64448098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810777073.XA Pending CN108933830A (zh) | 2018-07-16 | 2018-07-16 | 基于nb-iot的数据汇聚方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108933830A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684097A (zh) * | 2018-12-21 | 2019-04-26 | 浪潮软件股份有限公司 | 一种基于cmsp的json数据解析与存储方法 |
| CN109741075A (zh) * | 2018-12-28 | 2019-05-10 | 北京仁科互动网络技术有限公司 | Crm数据处理系统及方法 |
| CN110381046A (zh) * | 2019-07-10 | 2019-10-25 | 广东星舆科技有限公司 | 一种gnss数据的加密传输方法 |
| CN112671934A (zh) * | 2021-03-15 | 2021-04-16 | 国网江苏省电力有限公司信息通信分公司 | 一种电力物联网系统 |
| CN112749117A (zh) * | 2020-12-30 | 2021-05-04 | 宁波海大物联科技有限公司 | 一种物联网设备与平台的数据传输模块和数据传输方法 |
| CN112990489A (zh) * | 2021-02-01 | 2021-06-18 | 国网湖北省电力有限公司检修公司 | 输变电设备检测试验数据统一格式文件生成及转换方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103149899A (zh) * | 2013-02-01 | 2013-06-12 | 华迪计算机集团有限公司 | 粮库智能传感器集成终端 |
| CN105323303A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 管理元数据的系统和方法 |
| CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
| US20180191825A1 (en) * | 2016-12-30 | 2018-07-05 | Cerner Innovation, Inc. | Migrating, editing, and creating content between different collaboration systems |
-
2018
- 2018-07-16 CN CN201810777073.XA patent/CN108933830A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103149899A (zh) * | 2013-02-01 | 2013-06-12 | 华迪计算机集团有限公司 | 粮库智能传感器集成终端 |
| CN105323303A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 管理元数据的系统和方法 |
| US20180191825A1 (en) * | 2016-12-30 | 2018-07-05 | Cerner Innovation, Inc. | Migrating, editing, and creating content between different collaboration systems |
| CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 丁爱萍: "《物联网技术导论》", 31 August 2017, 河南大学出版社 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684097A (zh) * | 2018-12-21 | 2019-04-26 | 浪潮软件股份有限公司 | 一种基于cmsp的json数据解析与存储方法 |
| CN109684097B (zh) * | 2018-12-21 | 2023-03-31 | 浪潮软件股份有限公司 | 一种基于cmsp的json数据解析与存储方法 |
| CN109741075A (zh) * | 2018-12-28 | 2019-05-10 | 北京仁科互动网络技术有限公司 | Crm数据处理系统及方法 |
| CN110381046A (zh) * | 2019-07-10 | 2019-10-25 | 广东星舆科技有限公司 | 一种gnss数据的加密传输方法 |
| CN110381046B (zh) * | 2019-07-10 | 2021-12-07 | 广东星舆科技有限公司 | 一种gnss数据的加密传输方法 |
| CN112749117A (zh) * | 2020-12-30 | 2021-05-04 | 宁波海大物联科技有限公司 | 一种物联网设备与平台的数据传输模块和数据传输方法 |
| CN112990489A (zh) * | 2021-02-01 | 2021-06-18 | 国网湖北省电力有限公司检修公司 | 输变电设备检测试验数据统一格式文件生成及转换方法 |
| CN112671934A (zh) * | 2021-03-15 | 2021-04-16 | 国网江苏省电力有限公司信息通信分公司 | 一种电力物联网系统 |
| CN112671934B (zh) * | 2021-03-15 | 2021-06-22 | 国网江苏省电力有限公司信息通信分公司 | 一种电力物联网系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108933830A (zh) | 基于nb-iot的数据汇聚方法及装置 | |
| CN102214140B (zh) | 软件自动测试的方法及系统 | |
| US20230281385A1 (en) | Fpga-based fast protocol decoding method, apparatus, and device | |
| CN107480053A (zh) | 一种软件测试数据生成方法及装置 | |
| CN111464336A (zh) | 一种基于电力通信机房高并发数据处理方法及系统 | |
| CN111046100B (zh) | 一种关系型数据库到非关系型数据库的同步方法和系统 | |
| CN106326017A (zh) | 基于Annotation使用的调用链的实现系统 | |
| CN107040613B (zh) | 一种报文传输方法及系统 | |
| CN111294235A (zh) | 数据处理方法、装置、网关及可读存储介质 | |
| CN109861998B (zh) | 一种基于北斗短报文协议的插件式动态解析系统及方法 | |
| CN112817539A (zh) | 一种工业数据存储方法、系统、电子设备及存储介质 | |
| CN111158876B (zh) | 一种日志处理方法、装置、设备及计算机可读存储介质 | |
| CN107231440B (zh) | 一种智能化led云屏控制系统 | |
| CN105389342A (zh) | 一种数据库访问工具、系统和方法 | |
| CN114172978A (zh) | 多协议设备接入方法及相关装置 | |
| CN108712306A (zh) | 一种信息系统自动化巡检平台和巡检方法 | |
| KR101482668B1 (ko) | 변전소 구성 언어 기반의 데이터베이스 생성 방법 및 시스템 | |
| CN118113781A (zh) | Redis同步方法、装置、存储介质与处理器 | |
| CN109040294B (zh) | 一种用于三维仿真监控的异构系统标准化接入方法及装置 | |
| CN107544991B (zh) | 服务器处理访问请求的方法和装置 | |
| CN116582470A (zh) | 服务端测试方法、装置、设备及存储介质 | |
| CN115866331A (zh) | 视频抽帧分析方法、装置、设备及存储介质 | |
| CN114125032B (zh) | 一种边缘协议数据处理方法和系统 | |
| CN114116520A (zh) | 一种算法评测方法、装置、网关及存储介质 | |
| CN112650597A (zh) | 高并发采集数据的处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181204 |
|
| RJ01 | Rejection of invention patent application after publication |