Nothing Special   »   [go: up one dir, main page]

CN113297274B - 一种签收数据查询方法和系统 - Google Patents

一种签收数据查询方法和系统 Download PDF

Info

Publication number
CN113297274B
CN113297274B CN202110649208.6A CN202110649208A CN113297274B CN 113297274 B CN113297274 B CN 113297274B CN 202110649208 A CN202110649208 A CN 202110649208A CN 113297274 B CN113297274 B CN 113297274B
Authority
CN
China
Prior art keywords
data
signing
query
inquiring
core form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110649208.6A
Other languages
English (en)
Other versions
CN113297274A (zh
Inventor
丁佳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Maycur Technologies Ltd
Original Assignee
Hangzhou Maycur Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Maycur Technologies Ltd filed Critical Hangzhou Maycur Technologies Ltd
Priority to CN202110649208.6A priority Critical patent/CN113297274B/zh
Publication of CN113297274A publication Critical patent/CN113297274A/zh
Application granted granted Critical
Publication of CN113297274B publication Critical patent/CN113297274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种签收数据查询方法和系统，所述方法包括如下步骤：获取PostgreSQL数据库中签收查询核心表单，并建立PostgreSQL数据库和Kafka集群的通讯链接；将所述签收查询核心表单同步到所述Kafka集群；在所述Kafka集群中将所述签收查询核心表单封装成json数据；将封装完成后的json数据同步到ElasticSearch数据库中，并启动签收查询服务。所述方法和系统采用ElasticSearch搜索引擎，将PostgreSQL数据库中的数据通过Kafka集群以特定的格式将数据同步到ElasticSearch搜索引擎中进行签收和业务查询，从而避免采用复杂的多表关联、嵌套查询技术，可以提高签收数据的处理速度和能力。

Description

一种签收数据查询方法和系统
技术领域
本发明涉及大数据领域，特别涉及一种签收数据查询方法和系统。
背景技术
当前签收功能模块的待签收、待寄出、已寄出、已签收四个模块的数据查询是基于PostgreSQL数据库实现的实时查询。产品中所提供的动态查询、模糊查询等高级搜索功能，所采用的技术方案是通过在PostgreSQL数据库中进行多表关联、子查询、左右匹配模糊查询等方式实现。然而现有的上述技术方案实现复杂，在实现过程中需要采用SQL进行多表关联、嵌套查询等复杂操作，开发是需要庞大的工作量，而且随着业务量的增长，SQL的性能会越差，及其影响用户的体验。
发明内容
本发明其中一个发明目的在于提供一种签收数据查询方法和系统，所述方法和系统采用ElasticSearch搜索引擎，将PostgreSQL数据库中的数据通过Kafka集群以特定的格式将数据同步到ElasticSearch搜索引擎中进行签收和业务查询，从而避免采用复杂的多表关联、嵌套查询技术，可以提高签收数据的处理速度和能力。
本发明另一个发明目的在于提供一种签收数据查询方法和系统，所述方法和系统通过封装成适配ElasticSearch搜索引擎格式的数据，降低代码的耦合度，从而使得整个签收查询业务的可维护性更高，减少代码层面的协调处理。
本发明另一个发明目的在于提供一种签收数据查询方法和系统，所述方法和系统由于较少的代码耦合度，因此可以实现查询接口的快速开发，使得业务的拓展性能更好。
本发明另一个发明目的在于提供一种签收数据查询方法和系统，所述方法和系统建立对签收查询核心表单的监听，并对指定核心表单中的指定字段进行分词，用于ElasticSearch搜索引擎的模糊查询，从而提高签收数据查询的响应速度。
为了实现至少一个上述发明目的，本发明进一步提供一种签收数据查询方法，所述方法包括如下步骤：
获取PostgreSQL数据库中签收查询核心表单，并建立PostgreSQL数据库和Kafka集群的通讯链接；
将所述签收查询核心表单同步到所述Kafka集群；
在所述Kafka集群中将所述签收查询核心表单封装成json数据；
将封装完成后的json数据同步到ElasticSearch数据库中，并启动签收查询服务。
根据本发明其中一个较佳实施例，所述签收查询核心表单的同步方法包括：
在Kafka集群中创建签收表查询核心表单topic；
配置对应的签收查询核心表单参数；
配置kafka connector，并指定区分键为单据号；
根据所述单据号将对应的签收查询核心表单同步至topic；
根据本发明另一个较佳实施例，所述签收查询核心表单包括：签收任务表、对私报销单据表、对公报销单据表和单据审批任务表，在Kafka集群中启动Kafka脚本执行对所述签收查询核心表单的同步操作。
根据本发明另一个较佳实施例，当配置好kafka connector后，添加PostgreSQL数据库中的签收查询核心表单执行对所述签收查询核心表单的监听操作，用于实时获取变更签收查询核心表单数据。
根据本发明另一个较佳实施例，启动3个线程间隔指定时间从所述kafka集群中抓取所述签收查询核心表单数据，并判断所述签收查询核心表单数据和变化，根据不同的签收查询核心表单数据的变更数据分别执行不同操作。
根据本发明另一个较佳实施例，获取对私报销单据表的变更数据，并判断对私报销单据表的变更数据是否为删除指令，若是建立一条ElasticSearch搜索引擎的数据删除对象，用于删除所述对私报销单据表数据；获取对公报销单据表的变更数据并判断是否为删除指令，若是则建立一条ElasticSearch搜索引擎的数据删除对象，用于删除对公报销单据表数据。
根据本发明另一个较佳实施例，获取签收任务表的变更数据，若判断变更数据为更新操作，则建立一条ElasticSearch搜索引擎的数据更新对象；获取单据审批任务表的变更数据，若判断变更数据是删除指令且是审核节点，则构建一条ElasticSearch的更新审核通过时间的数据对象，其中审核通过时间为当前时间。
根据本发明另一个较佳实施例，将封装的json格式数据同步到ElasticSearch数据库中的操作还包括如下步骤：
构建Kafka集群和ElasticSearch数据库通讯链接；
构建签收对象索引，获取签收查询核心表单的指定字段，并对所述指定字段进行分词；
将分词结果保存，并封装成json格式数据；
调用RestHighLevelClient接口将封装好的json格式数据对象同步到构建好的索引数据库中。
为了实现至少一个上述发明目的，本发明进一步提供一种签收数据查询系统，所述系统采用上述一种签收数据查询方法。
本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质保存并应用上述一种签收数据查询应用系统。
附图说明
图1显示的是本发明一种签收数据查询方法的流程示意图。
图2显示的是本发明一种签收数据查询系统结构示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
请结合图1-2，本发明提供了一种签收数据查询方法和系统，所述方法和系统将PostgreSQL数据库中的签收查询核心表单数据通过kafka集群转换为适配于ElasticSearch搜索引擎的数据，从而可以实现签收查询的速度。并且由于是通过格式转换进行的签收查询操作，因此无需对PostgreSQL数据库的代码层面进行开放编辑，可以降低签收查询的代码耦合度，并且便于签收应用业务的开发。
具体而言，所述签收数据查询方法包括如下步骤：首先需要配置并注册kafkaconnector，建立PostgreSQL数据库和kafka集群的通讯链接，进一步在kafka集群中创建4个topic，对应的配置参数分别为：pg.prod.sign_for_task、pg.prod.reimburse_data、pg.prod.corp_reimburse_data、pg.prod.form_ru_task。上述配置参数用于获取并保存PostgreSQL数据库中指定的签收查询核心表单，上述配置参数对应的签收查询核心表单分别为：签收任务表(sign_for_task)，对私报销单据表(reimburse_data)，对公报销单据表(corp_reimburse_data)，单据审批任务表(form_ru_task)。
在建立和kafka集群的通讯链接过程中，还需要配置分区参数，对应参数配置为transforms.partitioner.key.list，并将分区参数的分区键设置为单据号(formDataCode)，用于签收数据的识别和有序存储。通过配置和注册的kafka connector和PostgreSQL数据库建立通讯链接后，通过Source将数据PostgreSQL数据库的签收查询核心表单写入到kafka集群对应的topic下，并通过Sink将对应topic下的签收查询核心表单数据发送到ElasticSearch搜索引擎数据库中。在本发明其中一个较佳实施例中，在配置并注册kafka connector后，采用kafka脚本：connect-distributed.sh来启动从PostgreSQL数据库数据到kafka集群的同步操作，connect-distributed.sh脚本在执行过程中，可以通过group.ip启动多个进程，并通过多个进程实现数据的读取和转发。
值得一提的是，在本发明其中一个较佳实施例中，在获取kafka集群消息过程中，需要启动3个线程，并执行consumer.poll(Duration.ofMillis(200))指令，用于执行从所述kafka集群中每隔200ms抓取消息。每批次抓取的最大消息条数可设置为300条。
进一步的，需要获取topic下对私报销单据表(reimburse_data)的数据变化，并判断所述对私报销单据表变化的数据是否是删除操作，若是删除操作，则通过kafka集群的控制器(controller)构建一条ElasticSearch的数据删除对象，将该删除对象定义为所述对私报销单据表。获取topic下对公报销单据表(corp_reimburse_data)的数据变化，并判断所述对公报销单据表变化是否是删除操作，若是则则通过kafka集群的控制器(controller)构建一条ElasticSearch的数据删除对象，所述数据删除对象定义为对公报销单据表。获取topic下单据审批任务表(form_ru_task)的数据变化，若该数据变化为删除操作且节点类型配置为审核，则通过kafka集群的控制器(controller)构建一条ElasticSearch的更新审核通过时间的数据对象，该数据对象定义为单据审批任务表，其中审核通过时间为当前时间。获取topic下签收任务表(sign_for_task)的数据变化，若判断变化的数据为更新操作，则通过kafka集群的控制器(controller)构建一条ElasticSearch的数据更新对象，所述更新对象字段为sign_for_task topic中所有字段。
在将封装好的数据从kafka集群同步到所述ElasticSearch数据库中还包括如下步骤：
首先建立和kafka集群和ElasticSearch数据库的通讯链接；
建立签收对象的索引，并对上述4种同步的签收查询核心表单的指定字段进行分词，从而便于对所述4中签收查询核心表单的查询操作；
采用RestHighLevelClient将封装好的json格式数据对象同步到创建好的索引库中。需要说明的是，kafka集群从PostgreSQL数据库中获取的4种签收查询核心表单为map格式数据,需要进行格式转换，将所述map格式数据转换为json格式数据。
在完成数据同步后启动签收查询的方法包括如下步骤：
获取用户端的查询字段，该查询字段为用户主动输入到ElasticSearch搜索引擎中；
通过所述ElasticSearch搜索引擎将查询字段转化为支持的QueryDSL表达式参数，
根据QueryDSL表达式指定参数启动RestHighLevelClient查询ElasticSearch数据库中的签收数据，其中可根据关键词匹配的方式查找到相似度最大的签收数据；
获取查询结果，并将所述查询结果转返回至用户端。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (8)

1.一种签收数据查询方法，其特征在于，所述方法包括如下步骤：
获取PostgreSQL数据库中签收查询核心表单，并建立PostgreSQL数据库和Kafka集群的通讯链接；
将所述签收查询核心表单同步到所述Kafka集群；
在所述Kafka集群中将所述签收查询核心表单封装成json数据；
将封装完成后的json数据同步到ElasticSearch数据库中，并启动签收查询服务；
所述签收查询核心表单的同步方法包括：
在Kafka集群中创建签收表查询核心表单topic；
配置对应的签收查询核心表单参数；
配置kafka connector，并指定区分键为单据号；
根据所述单据号将对应的签收查询核心表单同步至topic；
将封装的json格式数据同步到ElasticSearch数据库中的操作还包括如下步骤：
构建Kafka集群和ElasticSearch数据库通讯链接；
构建签收对象索引，获取签收查询核心表单的指定字段，并对所述指定字段进行分词；
将分词结果保存，并封装成json格式数据；
调用RestHighLevelClient接口将封装好的json格式数据对象同步到构建好的索引数据库中；
通过所述ElasticSearch搜索引擎将查询字段转化为支持的QueryDSL表达式参数，
根据QueryDSL表达式指定参数启动RestHighLevelClient查询 ElasticSearch数据库中的签收数据，其中可根据关键词匹配的方式查找到相似度最大的签收数据。
2.根据权利要求1所述的一种签收数据查询方法，其特征在于，所述签收查询核心表单包括：签收任务表、对私报销单据表、对公报销单据表和单据审批任务表，在Kafka集群中启动Kafka脚本执行对所述签收查询核心表单的同步操作。
3. 根据权利要求1所述的一种签收数据查询方法，其特征在于，当配置好kafkaconnector后，添加PostgreSQL数据库中的签收查询核心表单执行对所述签收查询核心表单的监听操作，用于实时获取变更签收查询核心表单数据。
4.根据权利要求2所述的一种签收数据查询方法，其特征在于，启动3个线程间隔指定时间从所述kafka集群中抓取所述签收查询核心表单数据，并判断所述签收查询核心表单数据的变化，根据不同的签收查询核心表单数据的变更数据分别执行不同操作。
5.根据权利要求4所述的一种签收数据查询方法，其特征在于，获取对私报销单据表的变更数据，并判断对私报销单据表的变更数据是否为删除指令，若是建立一条ElasticSearch搜索引擎的数据删除对象，用于删除所述对私报销单据表数据；获取对公报销单据表的变更数据并判断是否为删除指令，若是则建立一条ElasticSearch搜索引擎的数据删除对象，用于删除对公报销单据表数据。
6.根据权利要求4所述的一种签收数据查询方法，其特征在于，获取签收任务表的变更数据，若判断变更数据为更新操作，则建立一条ElasticSearch搜索引擎的数据更新对象；获取单据审批任务表的变更数据，若判断变更数据是删除指令且是审核节点，则构建一条ElasticSearch的更新审核通过时间的数据对象，其中审核通过时间为当前时间。
7.一种签收数据查询系统，其特征在于，所述系统用于实现权利要求1-6中任意一项所述的一种签收数据查询方法。
8.一种计算机可读存储介质，其特征在于，存储有权利要求7所述的一种签收数据查询系统可执行的指令。
CN202110649208.6A 2021-06-10 2021-06-10 一种签收数据查询方法和系统 Active CN113297274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110649208.6A CN113297274B (zh) 2021-06-10 2021-06-10 一种签收数据查询方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110649208.6A CN113297274B (zh) 2021-06-10 2021-06-10 一种签收数据查询方法和系统

Publications (2)

Publication Number Publication Date
CN113297274A CN113297274A (zh) 2021-08-24
CN113297274B true CN113297274B (zh) 2023-09-01

Family

ID=77327888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110649208.6A Active CN113297274B (zh) 2021-06-10 2021-06-10 一种签收数据查询方法和系统

Country Status (1)

Country Link
CN (1) CN113297274B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564231A (zh) * 2022-02-28 2022-05-31 北京达佳互联信息技术有限公司 数据查询方法、装置、电子设备、介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326469A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 数据的同步方法和装置
CN110275927A (zh) * 2019-06-26 2019-09-24 浪潮卓数大数据产业发展有限公司 一种基于MySQL的流式实时数据同步系统
CN111597160A (zh) * 2020-04-21 2020-08-28 中国人民财产保险股份有限公司 分布式数据库系统、分布式数据处理方法和装置
CN112506992A (zh) * 2020-12-04 2021-03-16 中国人寿保险股份有限公司 Kafka数据的模糊查询方法、装置、电子设备和存储介质
CN112685446A (zh) * 2020-12-31 2021-04-20 上海梦鱼信息科技有限公司 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质
US10999370B1 (en) * 2018-12-28 2021-05-04 BridgeLabs, Inc. Syncing and sharing data across systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206249A1 (en) * 2016-01-20 2017-07-20 Systems And Methods For Implementing Urban Voices Systems and methods for implementing urban voices
US10311047B2 (en) * 2016-10-19 2019-06-04 Salesforce.Com, Inc. Streamlined creation and updating of OLAP analytic databases
US10783270B2 (en) * 2018-08-30 2020-09-22 Netskope, Inc. Methods and systems for securing and retrieving sensitive data using indexable databases

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326469A (zh) * 2016-08-31 2017-01-11 无锡雅座在线科技发展有限公司 数据的同步方法和装置
US10999370B1 (en) * 2018-12-28 2021-05-04 BridgeLabs, Inc. Syncing and sharing data across systems
CN110275927A (zh) * 2019-06-26 2019-09-24 浪潮卓数大数据产业发展有限公司 一种基于MySQL的流式实时数据同步系统
CN111597160A (zh) * 2020-04-21 2020-08-28 中国人民财产保险股份有限公司 分布式数据库系统、分布式数据处理方法和装置
CN112506992A (zh) * 2020-12-04 2021-03-16 中国人寿保险股份有限公司 Kafka数据的模糊查询方法、装置、电子设备和存储介质
CN112685446A (zh) * 2020-12-31 2021-04-20 上海梦鱼信息科技有限公司 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
为何不可1995.干货：使用Kafka connect 同步数据至Elasticsearch.《https://my.oschina.net/u/3734816/blog/4298226》.2020, *

Also Published As

Publication number Publication date
CN113297274A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111258978B (zh) 一种数据存储的方法
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
CN108052635A (zh) 一种异构数据源统一联合查询方法
CN106168963B (zh) 实时流数据的处理方法、装置及服务器
CN114356971A (zh) 数据处理方法、装置以及系统
CN113342686B (zh) 一种测试数据生成方法和装置
CN110764769A (zh) 处理用户请求的方法和装置
CN115033646A (zh) 一种基于Flink&Doris构建实时数仓系统的方法
CN113297274B (zh) 一种签收数据查询方法和系统
CN117892355B (zh) 一种基于隐私保护的多方数据联合分析方法及系统
CN108319604B (zh) 一种hive中大小表关联的优化方法
CN111814020A (zh) 一种数据的获取方法和装置
CN116775712A (zh) 联表查询方法、装置、电子设备、分布式系统和存储介质
CN111723063A (zh) 一种离线日志数据处理的方法和装置
CN116383207A (zh) 一种数据标签管理方法、装置、电子设备和存储介质
CN113656469B (zh) 大数据处理方法及装置
CN112988778B (zh) 一种处理数据库查询脚本的方法和装置
CN117009430A (zh) 数据管理方法、装置和存储介质及电子设备
CN112052341A (zh) 知识图谱剪枝方法及装置
CN113342865A (zh) 一种报销单审批查询方法和系统
CN113486139A (zh) 用户报表查询装置及方法
CN113515285A (zh) 生成实时计算逻辑数据的方法和装置
CN110602198B (zh) 一种客户端网络请求链接配置方法和系统
CN114302431B (zh) 网元配置方法、装置、电子设备及存储介质
CN110134730A (zh) 数据生产方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant