Nothing Special   »   [go: up one dir, main page]

CN105993009B - 通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置 - Google Patents

通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置 Download PDF

Info

Publication number
CN105993009B
CN105993009B CN201480062891.1A CN201480062891A CN105993009B CN 105993009 B CN105993009 B CN 105993009B CN 201480062891 A CN201480062891 A CN 201480062891A CN 105993009 B CN105993009 B CN 105993009B
Authority
CN
China
Prior art keywords
equipment
address
interrupt
interrupt register
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480062891.1A
Other languages
English (en)
Other versions
CN105993009A (zh
Inventor
诺伯特·埃吉
罗伯特·拉萨特
托马斯·博伊尔
约翰·彼得斯
施广宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105993009A publication Critical patent/CN105993009A/zh
Application granted granted Critical
Publication of CN105993009B publication Critical patent/CN105993009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/24—Handling requests for interconnection or transfer for access to input/output bus using interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/32—Handling requests for interconnection or transfer for access to input/output bus using combination of interrupt and burst mode transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G06F13/404—Coupling between buses using bus bridges with address mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Bus Control (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种初始化装置。所述装置包括管理I/O设备控制器，所述管理I/O设备控制器用于管理耦合到PCIe(PCI Express，PCIe)交换网络的多个I/O设备的初始化。所述管理I/O设备控制器用于接收注册第一工作者计算资源的目标中断寄存器地址的请求，其中所述目标中断寄存器地址与耦合到所述PCIe交换网络的第一I/O设备生成的第一中断关联。所述管理I/O设备控制器的映射模块用于将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中。翻译中断寄存器表包括所述域中的多个映射中断寄存器地址，所述多个映射中断寄存器地址与多个工作者计算资源中的多个目标中断寄存器地址关联。

Description

通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方 法和装置
背景
本发明要求2013年11月18日递交的发明名称为“通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置(METHOD AND APPARATUS FOR DELIVERING MSI-XINTERRUPTS THROUGH NON-TRANSPARENT BRIDGES TO COMPUTING RESOURCES IN PCIECLUSTERS)”的第14/083,206号美国非临时申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文本中。
背景
作为PCI(外围部件互连，Peripheral Component Interconnect)技术的后继者，PCIe(PCI Express，PCIe)在PC和服务器内部署时是中央处理器(central processingunit，CPU)及其外围设备之间使用最广泛的互连。PCIe提供高吞吐量、低延迟、基于分组和分组交换互连技术。PCIe目前大多数部署在单个壳体(即，服务器和PC)内，主要部署在印刷电路板(printedcircuit board，PCB)级处。PCIe以及所有它的属性和优点显然能够成为诸如以太网(Ethernet，ETH)和InfiniBand(InfiniBand，IB)之类的传统数据中心互连技术的灵活且有成本效益的替代选择。
例如，单个PCIe链路可以扩展到256Gbps(吉比特每秒)，其中每交换机一跳的延迟大约为130纳秒。链路的带宽可以灵活配置，从1到16个通道，其中通道数必须是2的幂，每个通道为8Gbps(截止第三代PCIe技术)。PCIe交换机能够以不同速度(即，通道数目)互连链路，而且可以动态重新配置每条链路的通道数(即，交换机端口)。
PCIe技术提供与支持该技术的基于大量不同PCIe集合的I/O设备共享的硬件级资源。该技术本身在服务器内广泛使用，使得大多数最新的CPU已经将PCIe内置在芯片中，因此不需要在CPU和外围设备之间连接的任何额外芯片组。这样，基于PCIe互连的集群或数据中心，由于系统中所需部件的数目和类型较少，将实现成本效益极大提高。另外，与ETH和IB相比而言，PCIe交换机的功耗每Gbps减少几倍，进一步有助于提高这种系统的成本效益。
根据功能，除了硬件级资源虚拟化，该技术还提供RDMA(远程直接数据访问，Remote Direct Memory Access)功能，使其成为高速、低延迟CPU到CPU通信的可实行方案。PCIe还使用基于内置信用的流控，从而在硬件级提供可靠数据传输，并且需要更“苗条”的软件栈。该技术还支持网络的走线以跨越较大距离，并且足够灵活以支持不同的网络拓扑。存在若干具有低成本适配器和电缆的成熟方案，使其成为潜在的具有成本效益的数据中心互连。
PCIe技术的另一大优点在于它的标准化组织(即，PCI-SIG)只定义协议和报文格式。也就是说，实施PCIe的供应商在它们设备内部(例如，交换机、端点等)自由实施任意功能。因此，PCIe提供较大程度的灵活性和潜力以支持其它数据中心互连技术中缺失的应用的不同功能。
具体而言，PCIe架构是一种点到点拓扑，其中串行链路将每个设备连接到根主机。PCIe设备经过逻辑互连或链路进行通信。链路通过两个PCIe端口之间的信道提供点到点通信。这允许两端发送和/或接收普通PCIe请求(例如，配置读/写、I/O读/写、存储器读/写等)和中断(INTx、MSI、MSI-X等)。
在CPU及其外围设备之间的通信中典型应用PCIe时，中断的初始化提供将存储器地址编程为对应外围设备处的(例如，中断处理程序的)目的地址。初始化允许中断从外围设备传送给CPU以进行处理。当所有外围设备和CPU都位于一台计算机内时，CPU可以适当地在中断初始化期间编程它的外围设备。然而，当扩展PCIe作为数据中心的部件之间的统一互连技术使用时，中断初始化是有问题的，因为在设备处编程中断的CPU可能不知道正确的地址。在这种情况下，初始化将失败。
当PCIe作为数据中心的部件之间的互连技术使用时，在多个独立CPU中的现有PCIe设备中提供中断初始化将是有利的。
发明内容
一种初始化装置。所述装置包括管理I/O设备控制器，所述管理I/O设备控制器用于管理耦合到PCIe(PCI Express，PCIe)交换网络的多个I/O设备的初始化。所述管理I/O设备控制器用于接收注册第一工作者计算资源的目标中断寄存器地址的请求，其中所述目标中断寄存器地址与耦合到所述PCIe交换网络的第一I/O设备生成的第一中断关联。所述管理I/O设备控制器的映射模块用于将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中。翻译中断寄存器表包括所述域中的多个映射中断寄存器地址，所述多个映射中断寄存器地址与多个工作者计算资源的多个目标中断寄存器地址关联。
在其它实施例中，公开了一种初始化中断的系统。所述系统包括多个工作者计算资源。多个目标中断寄存器与所述多个工作者计算资源关联，其中所述目标中断寄存器包括目的和/或中断寄存器地址，每个目的和/或中断寄存器地址与对应的中断和对应的中断处理例程关联。所述系统包括位于所述多个工作者计算资源上的多个I/O设备(例如，外围设备)。所述系统包括PCIe交换网络，所述PCIe交换网络用于实现所述多个I/O设备和所述多个工作者计算资源之间的通信，所有这些都耦合到所述PCIe交换网络。所述系统包括管理I/O设备控制器或链路控制器，所述管理I/O设备控制器或链路控制器用于部分管理所述多个I/O设备的初始化。所述系统包括翻译中断寄存器表，所述翻译中断寄存器表包括与所述多个工作者计算资源的多个目标中断寄存器地址关联的多个映射中断寄存器地址。所述翻译中断寄存器表与所述管理I/O设备控制器关联并受其控制。另外，所述管理I/O设备控制器用于接收注册第一工作者计算资源的第一目标中断寄存器的目标中断寄存器地址的请求，其中所述目标中断注册地址与耦合到所述PCIe交换网络的第一I/O设备生成的第一中断关联。所述系统包括所述管理I/O设备控制器的映射模块，所述映射模块用于将所述目标中断寄存器地址映射到映射中断寄存器地址。
在其它实施例中，公开了一种初始化中断的方法。所述方法包括接收注册第一工作者计算资源的目标和/或目的中断寄存器地址的请求。所述目的或目标中断寄存器地址与耦合到PCIe(PCI Express，PCIe)交换网络的第一I/O设备生成的第一中断关联。所述方法包括将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中。所述方法包括向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
在一项实施例中，公开了一种计算机系统，所述计算机系统包括耦合到存储器的处理器，所述存储器具有存储在其中的指令，如果所述计算机系统执行所述指令，使得所述计算机执行一种初始化中断的方法。所述方法包括接收注册第一工作者计算资源的目标和/或目的中断寄存器地址的请求。所述目的或目标中断寄存器地址与耦合到PCIe(PCIExpress，PCIe)交换网络的第一I/O设备生成的第一中断关联。所述方法包括将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中。所述方法包括向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
在一些实施例中，公开了一种包括有形、非瞬时性计算机可读存储介质的装置，所述计算机可读存储介质具有存储在其上的计算机可执行指令，当执行所述计算机可执行指令时，使得所述计算机系统执行初始化中断的方法。所述方法包括接收注册第一工作者计算资源的目标和/或目的中断寄存器地址的请求。所述目的或目标中断寄存器地址与耦合到PCIe(PCIExpress，PCIe)交换网络的第一I/O设备生成的第一中断关联。所述方法包括将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中。所述方法包括向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
在阅读下面在各种附图中图示的实施例的详细说明后，所属领域的普通技术人员将明白本发明的各种实施例的这些及其它目的和优点。
附图说明
附图包含在并且构成本说明书的一部分，其中相同的数字描绘相同的元件，附图说明本发明的实施例，并且与描述内容一起用于解释本发明的原理。
图1为根据本发明一项实施例的图示如由多个I/O设备实施的多个工作者计算资源中的地址空间和管理I/O设备控制器中的地址空间之间关系的PCIe集群的方框图，多个工作者计算资源和管理I/O设备控制器都耦合到PCIe交换网络。
图2为根据本发明一项实施例的通过PCIe适配器和管理链路CPU和I/O设备控制器实施的PCIe集群的方框图，其中所述管理链路CPU和I/O设备控制器用于管理耦合到形成到PCIe集群的互连的PCIe(PCI Express，PCIe)交换网络的多个I/O设备的初始化。
图3为根据本发明一项实施例的用于初始化I/O设备中的中断的中断初始化控制器的方框图，其中所述中断可传送给耦合到PCIe交换网络的计算资源。
图4为根据本发明一项实施例图示通过管理I/O设备控制器初始化I/O设备中的中断时的信息流程的信息流程图，其中所述中断可传送给耦合到PCIe交换网络的计算资源。
图5为根据本发明一项实施例图示如管理I/O设备控制器所实施的初始化I/O设备中的中断的方法的流程图，其中所述中断可传送给耦合到PCIe交换网络的计算资源。
图6描绘根据本发明一项实施例的适用于实施本方法的示例性计算机系统的方框图。
具体实施方式
现将详细地对本发明的各种实施例、附图示出的示例做出参考。虽然会结合这些实施例进行描述，但可以理解的是它们并不用于将本发明限制于这些实施例。相反，本发明公开旨在覆盖可以包括在由所附权利要求书限定的本发明公开的精神和范围内的替代物、修改和等同物。另外，在以下本发明的详细描述中，阐述了许多特定细节以便提供对本发明的透彻理解。然而，可以理解的是，实际应用中，可以不包括本发明的这些特定细节。在其它实例中没有详细描述众所周知的方法、流程、部件和电路，以免对本发明的各方面造成不必要地模糊。
因此，本发明各实施例提供将中断(例如，消息中断扩展，还称为“MSI-x”、MSI等)初始化并传送给置于PCIe交换网络集群中的非透明桥之后的计算资源。
图1为根据本发明一项实施例的图示如由多个I/O设备所实施的多个工作者计算资源中的地址空间和管理I/O设备控制器中的地址空间之间关系的PCIe集群100的方框图，多个工作者计算资源和管理I/O设备控制器都耦合到PCIe交换网络。
图1示出了具有单个管理(还称为链路)CPU的PCIe集群100，该管理CPU控制主交换网络地址域(F)中的所有资源。在PCIe集群100中，存在多个位于NTB之后的工作者计算资源(例如，CPU)，每个工作者计算资源具有它们自己的PCIe地址域(图1中2个节点示例中的A和B)。具体而言，第一工作者计算资源201通过NTB 211耦合到PCIe交换网络；第二工作者计算资源206通过NTB 212耦合到PCIe交换网络210。尽管只示出了两个工作者资源，但本发明各实施例是可扩展的，并且可以支持多个或N个工作者计算资源。
各个工作者计算资源与对应的地址空间关联。例如，工作者计算资源201具有地址空间A 205，工作者计算资源206具有地址空间B 209。地址空间包括配置为中断寄存器地址的地址。这些中断寄存器地址可以包含在中断寄存器中，该中断寄存器包括目的地址，合适的中断处理程序将中断传送给这些目的地址以进行处理。
如图所示，主PCIe交换网络210用于以通信方式耦合多个设备(例如，计算资源、I/O设备等)。例如，多个PCIe I/O设备220A至220N耦合到PCIe交换网络。PCIe在PCIe交换网络210内用作通信标准。具体而言，PCIe设备可以通过逻辑互连或链路与另一PCIe设备通信，逻辑互连或链路包括两个PCIe端口之间的点到点通信信道。通过这种方式，PCIe请求(例如，配置读/写、I/O读/写、存储器读/写等)可以通过PCIe端口发送和接收。另外，INTx、MSI、MSI-X等中断可通过PCIe传送。
尽管每个PCIe I/O设备220A至220N可以位于对应的计算资源处，但是每个I/O设备的管理由管理链路CPU和/或I/O设备控制器215执行。各个I/O设备220A至220N能够处理和生成中断以向设备(例如，CPU)进行传送，该设备能够接收中断并耦合到PCIe交换网络210。也就是说，I/O PCIe设备用于向任意设备(工作者计算资源等)传送中断，而不一定只用于向PCIe设备位于的计算资源传送，该任意设备能够接收中断并耦合到PCIe交换网络210。
具体而言，管理I/O设备控制器215用于管理耦合到PCIe(PCI Express，PCIe)交换网络210的多个I/O设备220A至220N的初始化。具体地，管理I/O设备控制器215用于接收和初始化注册第一工作者计算资源的目标中断寄存器地址的请求。目标中断寄存器地址与耦合到PCIe交换网络210的第一I/O设备生成的第一中断关联。这通过将目标中断寄存器地址映射到域中地址空间F 217中的映射中断寄存器地址来完成，该域对第一I/O设备和其它I/O设备可见，正如将在下面更详细描述的一样。因此，管理I/O设备控制器215协调中断向第一I/O设备的注册。
图2为根据本发明一项实施例的如通过一个或多个PCIe适配器和管理链路CPU和/或I/O设备控制器270所实施的PCIe集群200的方框图。如图所示，PCIe集群200包括两个设备或计算资源250和260。各个设备包括一个或多个I/O设备，例如存储器、网络接口卡(network interface card，NIC)、SATA RAID存储控制器等。图2仅出于说明目的而示出，并公开PCIe交换网络的一个实施方式。本发明的其它实施例支持实施PCIe交换网络的其它部件配置。
例如，PCIe集群200包括计算资源250，计算资源250包括CPU 252和存储器253(例如，动态随机存取存储器，称为“DRAM”)。计算资源250还包括两个I/O设备、NIC以太网卡255和SATA内存磁盘(例如RAID)控制器。各个I/O设备包括中断向量表，其包括地址向量，其中每个向量与对应的中断关联并指向中断寄存器的地址，该中断寄存器用于接收中断并间接初始化中断处理例程。例如，NIC 255包括IRQ中断向量表256，SATA控制器257包括IRQ中断向量表258。另外，PCIe集群200包括计算资源260，计算资源260包括CPU 262和存储器263(例如，DRAM)。
PCIe交换网络用于以通信方式将计算资源250和260耦合在一起。此外，PCIe交换网络用于将位于各个计算资源250和260的I/O内部设备耦合在一起。通过该方式，位于一个计算资源的I/O设备向耦合到PCIe交换网络的其它计算资源发送中断。
具体而言，在一项实施例中，PCIe交换网络通过一个或多个PCIe适配器、PCIe交换机和管理链路CPU和/或I/O设备控制器270可实施。仍然可以使用其它部件来实施PCIe交换网络。例如，各个设备250和260包括PCIe交换机，该PCIe交换机用于将PCIe消息路由到合适的PCIe信道和/或PCIe端口。例如，设备250包括PCIe交换机254，设备260包括PCIe交换机264，两个交换机都用于将到达和来自内部部件/设备的消息路由至其它网络部件/设备。
PCIe交换机254和264与PCIe适配器一起工作以在网络设备和这些设备的部件之间路由消息。例如，计算资源250包括PCIe适配器251，计算资源260包括PCIe适配器261。PCIe适配器251和261提供计算资源250和260之间的通信信道或链路，各个计算资源使用PCIe在单个计算资源的内部设备之间进行通信。也就是说，计算资源250和260之间的直接链路提供使用PCIe格式的通信，不需要经过基于以太网的NIC卡，不需要将为PCIe格式化的消息翻译到以太网以通过网络传送，然后也不需要重新翻译回到PCIe以在目的计算资源处进行内部通信。
另外，根据本发明一项实施例，PCIe交换机254和264与管理链路CPU和/或I/O设备控制器215一起工作，管理链路CPU和/或I/O设备控制器215用于管理耦合到PCIe交换网络的多个I/O设备和计算资源的初始化。具体而言，管理链路CPU和/或I/O设备控制器215用于将计算资源的目的地址映射到中断寄存器中的映射中断地址，该中断寄存器由管理链路CPU和/或I/O设备控制器215管理，正如将在下面进一步描述的一样。
图3为根据本发明一项实施例的用于初始化I/O设备中的中断的中断初始化控制器300的方框图，其中所述中断可传送给耦合到PCIe交换网络的计算资源。如图所示，控制器300包括管理I/O设备控制器310、映射中断寄存器320以及映射模块330。
在各实施例中，管理I/O设备控制器310类似于图1至2中示出的管理链路CPU和/或I/O设备控制器215。具体而言，管理I/O设备控制器310用于管理耦合到PCIe交换网络的多个I/O设备的初始化。也就是说，管理I/O设备控制器310能够通过PCIe交换网络将工作者计算资源连接到I/O设备，该工作者计算资源不包括作为部件的I/O设备。具体来说，管理I/O设备控制器310用于在中断I/O设备处注册工作者计算资源的(例如，中断寄存器的)目标中断寄存器地址。目标中断寄存器地址与第一中断关联，该第一中断在I/O设备处注册。在成功注册之后，在I/O设备处生成的相同中断，在管理I/O设备控制器的帮助下，通过PCIe交换网络经过对应的映射中断寄存器地址传送给目标或目的中断寄存器地址。
具体来说，中断初始化控制器300包括映射模块330。在一项实施例中，映射模块330包含在管理I/O设备控制器300中并由其管理。映射模块用于将对应的工作者计算资源的目标中断寄存器地址映射到翻译中断寄存器表320中的映射中断寄存器地址，该翻译中断寄存器表由管理I/O设备控制器310管理。具体来说，翻译中断寄存器表320包括多个映射中断寄存器地址，其中这些地址与多个工作者计算资源的多个目标或目的中断寄存器地址关联。
例如，返回参考图1，为了使连接到主PCIe交换网络210的I/O设备(例如，220A至220N)向对应的计算资源发送中断(例如，MSI-x中断)，I/O设备必须能够寻址该目标计算资源的中断寄存器地址。在一项实施方式中，映射模块330用于提供该映射，并利用合适的映射编程对应的NTB。也就是说，将目标计算资源耦合到PCIe交换网络210的NTB用于将工作者CPU的地址域中的目的或目标中断寄存器地址映射到多个I/O设备的域的映射中断寄存器地址并为PCIe交换网络210所知。
图4至5共同示出了通信系统中I/O设备处的中断初始化，该通信系统包括多个工作者计算资源、多个I/O设备、管理I/O设备控制器和PCIe交换网络，实现了系统中所有部件之间的通信。具体而言，图4为根据本发明一项实施例图示通过管理I/O设备控制器初始化I/O设备中的中断时的信息流程的信息流程图400，其中所述中断可传送给耦合到PCIe交换网络的计算资源。中断初始化通过将对应的工作者计算资源的中断寄存器的目标中断寄存器地址映射到与PCIe交换网络关联的映射中断寄存器的映射中断寄存器地址来完成。
图5为根据本发明一项实施例图示如由管理I/O设备控制器所实施的初始化I/O设备中的中断的方法的流程图500，其中所述中断可传送给耦合到PCIe交换网络的计算资源。在一项实施例中，流程图500图示如由管理I/O设备控制器所实施的初始化I/O设备中的中断的计算机实施方法，其中所述中断可传送给耦合到PCIe交换网络的计算资源。在另一项实施例中，流程图500在计算机系统内实施，计算机系统包括处理器和耦合到处理器的存储器，存储器具有存储在其中的指令，如果计算机系统执行这些指令，使得系统执行如由管理I/O设备控制器所实施的初始化I/O设备中的中断的方法，其中该中断可传送给耦合到PCIe交换网络的计算资源。在又一项实施例中，执行该方法的指令存储在非瞬时性计算机可读存储介质上，该非瞬时性计算机可读存储介质具有计算机可执行指令，用于使得计算机系统执行如由管理I/O设备控制器所实施的初始化I/O设备中的中断的方法，其中该中断可传送给如流程图500所概述的PCIe交换网络的计算资源。在本发明的一些实施例中，流程图500的操作在图6的系统600和/或图1至4的管理I/O设备控制器215内实施。
如图1、2和4所示，在一项实施例中，映射通过基地址寄存器420(BaseAddressRegister，BAR)来完成。BAR 420分配有足够大的地址空间(例如，64位地址空间)。因此，BAR用于将各个工作者计算资源上的中断寄存器的目标地址映射到对应的映射中断寄存器地址，由管理I/O设备控制器215管理。BAR的大小可以大于工作者计算资源处的多个中断寄存器的大小，并且可以访问工作者CPU的地址域(例如，CPU的整个DRAM，用于将数据DMA复制到DRAM的任何位置中)中的额外资源。
对于中断初始化和传送，当管理链路CPU和/或I/O设备控制器215能够控制在PCIe交换网络210的主侧配置资源时，在主交换网络侧配置NTB的一个或多个BAR时，同样在将工作者计算资源的对应中断寄存器中的目标地址映射到这些一个或多个BAR时，工作者计算资源(例如，图1的201和206)依赖于来自管理链路CPU和/或I/O设备控制器215的协助。另外，在配置和初始化PCIe设备220A至220A等I/O设备中的中断时，图1中的工作者计算资源201和206还依赖于管理链路CPU和/或I/O设备控制器215。
为了执行这些任务的所有必要操作，在一项实施例中，涉及两个部件。首先，工作者驱动器(未示出)在对应的工作者计算资源201上运行，主要向I/O设备提供读和写能力。其次，管理设备驱动器(未示出)在管理链路CPU和/或I/O设备控制器215上运行，该管理设备驱动器用于执行所有设备配置，以及设备初始化的主要部分。管理设备还配置代表工作者CPU的NTB。在一项实施例中，管理设备包括图1至2的管理链路CPU和/或I/O设备控制器215。在一项实施例中，两个部件通过某个信道(例如，PCIe门铃、以太网等另一管理网络，等等)相互交换配置信息。
一般而言，中断PCIe I/O设备具有可用的MSI-x向量表，管理链路CPU和/或I/O设备控制器215(代表对应的工作者计算资源，例如CPU 201)利用PCIe目的消息地址(即，中断消息应当发往的地址，也就是说，给定CPU的中断寄存器)、数据字段和标记字段编程该MSI-x向量表。如图4所示，中断I/O PCIe I/O设备包括中断向量表430。该表430只可用于在管理链路CPU和/或I/O设备控制器215上运行的物理设备驱动器。因此，目的工作者计算资源201在没有管理链路CPU和/或I/O设备控制器215的协助下无法直接将(它的中断寄存器的)它的目的地址编程为中断向量表430中的向量(例如，MSI-x向量)。此外，工作者计算资源201与管理链路CPU和/或设备控制器215一起工作以通过映射特征接收中断。因此，如本发明各实施例所提供，来自主PCIe交换网络的一个或多个I/O设备的中断可通过耦合到PCIe交换网络的NTB传送给任何工作者计算资源。
在一项实施例中，中断初始化通过将设备驱动器的中断初始化部分从工作者计算资源201在功能上卸载到管理I/O设备控制器215来实施。也就是说，管理I/O设备控制器215编程代表工作者计算资源的中断向量(例如，MSI-x)。这在510中执行，其中流程图500的方法包括接收注册第一工作者计算资源201的工作者中断寄存器410的目标中断寄存器地址的请求，其中目标中断寄存器地址与耦合到PCIe(PCI Express，PCIe)交换网络210的第一I/O设备(未在图4中示出)生成的第一中断关联。
具体而言，在图4的操作1中，工作者计算资源201与管理I/O设备控制器215协调，使得工作者计算资源201的中断寄存器410的地址范围可以映射到主PCIe交换网络。这允许管理I/O设备控制器215准确计算这些中断寄存器在NTB的BAR处可用的映射结构地址范围中的地址。此外，工作者计算资源201还可指定其想要注册的中断的数目。
具体地，在流程图500的520处，该方法包括将目标中断寄存器地址映射到一个域的映射中断寄存器地址，第一I/O设备驻留在该域中。在一项实施例中，通过映射中断寄存器420实例化该映射。
一旦完成映射，执行特定I/O设备(未在图4中示出)处的中断的注册。具体而言，在流程图500的530处，该方法包括使管理I/O设备控制器215向第一I/O设备发送指令以注册映射中断寄存器地址，该映射中断寄存器地址与第一I/O设备的对应I/O中断向量表430中的第一中断关联。具体而言，在图4的操作2a处，管理计算资源215与设备验证：I/O设备中存在足够可用的中断向量以注册中断(例如，将向量注册到合适的映射中断寄存器地址)。也就是说，该方法包括确定向量条目是否在I/O中断向量表中可用于将第一中断注册到第一I/O设备，目的是将映射中断寄存器地址作为第一向量存储在I/O中断向量表中。另外，管理I/O设备控制器215确定I/O设备是否用于生成第一中断。
管理计算资源215获取关于该检查结果的通知。如果存在足够可用的中断向量，在图4的操作2b处，管理I/O设备控制器215通知工作者计算资源201它的可用性。因此，在操作3处，工作者计算资源201在其存储器450中为簿记创建必要的数据结构，还在接收第一中断时创建标识特定I/O设备和中断(如果注册多个中断)的数据字段。
在图4的操作4处，将对应于中断的中断寄存器地址和数据字段的存储器地址转发给管理I/O设备控制器215，该中断包含在工作者计算资源201的目标中断寄存器内。具体而言，将对应于工作者计算资源201处的中断注册的地址空间大小，以及目录地址传送给管理计算资源215。
在操作5处，管理I/O设备控制器215执行将工作者计算资源201的目标中断地址映射到PCIe交换网络的映射中断地址。具体而言，管理I/O设备控制器215将该数据元素和先前计算和映射的地址写入映射中断寄存器420中，先前计算和映射的地址对应于工作者计算资源201的中断寄存器的目标地址。在一项实施例中，映射中断寄存器包括NTB中的一个或多个映射条目。例如，虚拟存储器空间425的第一子集在映射中断寄存器420中分配，该映射中断寄存器420由管理I/O设备控制器215控制。第一子集的大小等于工作者计算资源201管理的目标中断寄存器的大小。通过这种方式，管理I/O设备控制器215的映射模块(例如，图3的330)能够将多个工作者计算资源的一个或多个工作者中断寄存器中的目标和目的地址映射到虚拟存储器空间的映射中断寄存器中的多个映射地址。
此外，图5的方法包括向第一I/O设备发送映射中断寄存器地址以存储在先前发现的可用条目中。具体地，管理I/O设备控制器215引导对应的I/O设备编程或写入该数据元素和先前计算和映射的地址，该先前计算和映射的地址对应于工作者计算资源201的中断寄存器的目标地址。数据元素和映射地址被写入到I/O设备的中断向量表(例如，MSI-x向量)中。
在图4的操作6处，管理I/O设备控制器215实现I/O设备中的中断。例如，管理I/O设备控制器向I/O设备发送指令以实现中断。因此，在特定事件出现后(即，写操作完成，新报文到达，等等)，I/O设备向待中断的CPU的映射地址发送中断(例如，MSI-x消息)。
在图4的操作7处，管理计算资源215向第一工作者计算资源201发送通知，指示第一中断已经在I/O设备中使能。这完成了中断的初始化，该中断由代表工作者计算资源201的管理计算资源215来执行。
图6为能够实施本发明各实施例的计算系统600的示例的方框图。计算系统600大体上表示能够执行计算机可读指令的任意单个或多处理器计算设备或系统。计算系统600的示例包括但不限于，工作站、膝上型电脑、客户端侧终端、服务器、分布式计算系统、手持设备或任意其它计算系统或设备。在计算系统的多数基本配置中，计算系统600可包括至少一个处理器610和系统存储器640。
中央处理器(central processing unit，CPU)610和图形处理器(graphicsprocessing unit，GPU)620都耦合到存储器640。系统存储器640通常表示能够存储数据和/或其它计算机可读指令的任意类型或形式的易失性或非易失性存储设备或介质。系统存储器640的示例包括但不限于RAM、ROM、闪存或任意其它合适的存储器设备。在图6的示例中，存储器640是一个共享存储器，借此存储器存储CPU 610和GPU 620的指令和数据。或者，可存在分别专用于CPU 610和GPU 620的单独存储器。存储器可包括帧缓冲器，用于存储驱动显示屏630的像素数据。
系统600包括用户接口660，其在一种实施方式中包括屏幕光标控制设备。用户接口可包括键盘、鼠标和/或触屏设备(触摸板)。
CPU 610和/或GPU 620通常表示能够处理数据或解析和执行指令的任意类型或形式的处理单元。在某些实施例中，处理器610和/或620可接收来自软件应用或硬件模块的指令。这些指令可使得处理器610和/或620执行本文中所描述和/或所图示的一个或多个示例实施例的功能。例如，处理器610和/或620可单独或与其它元件结合来执行和/或为一种构件执行本文中所述的监控、确定、控制和检测等等中的一个或多个。处理器610和/或620还可执行和/或为一种构件用于执行本文中所描述和/或所图示的任意其它步骤、方法或过程。
此外，在本发明各实施例中，系统600包括通信系统中的管理I/O设备控制器215，该管理I/O设备控制器用于I/O设备处的中断初始化，该通信系统包括多个工作者计算资源、多个I/O设备、管理I/O设备控制器和PCIe交换网络，实现了系统中所有部件之间的通信。
在一些实施例中，含有计算机程序的计算机可读介质可加载到计算系统600中。存储在计算机可读介质上的所有或一部分计算机程序随后可存储在系统存储器640和/或存储设备的各个部分中。加载到计算设备600中的计算机程序在由处理器610和/或620执行时可使处理器610和/或620执行和/或为一种构件用于执行本文中所描述和/或所图示的示例实施例的功能。另外或替代性地，本文中所描述和/或所图示的示例实施例可在固件和/或硬件中实施。
本发明各实施例可通过仅使用硬件或通过使用软件和必须的通用硬件平台来实施。基于这种理解，本发明的技术方案可以以软件产品的形式体现。软件产品包括使计算机设备(个人计算机、服务器或网络设备)执行本发明各实施例中提供的方法的多个指令。
本文中所描述的各实施例是以计算机可执行指令的大背景来讨论的，计算机可执行指令可位于一个或多个计算机或其它设备执行的某种形式的计算机可读介质，例如程序模块中。举例来说，但不限于，软件产品可存储在非易失性或非瞬时性计算机可读存储媒体中，该媒体包括非瞬时性计算机存储媒体和通信媒体。通常，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。程序模块的功能可根据各种实施例结合或分开。
计算机存储媒体包括以任意方法或技术实现的用于存储计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性、可移动和不可移动媒体。计算机存储媒体包括但不限于随机存取存储器(random access memory，ROM)、只读存储器(read onlymemory，ROM)、电可擦除可编程ROM(electrically erasable programmable ROM，EEPROM)、闪存或其它存储器技术、光盘ROM(compact disk ROM，CD-ROM)、USB闪盘、多功能数字光盘(digital versatile disk，DVD)或其它光学存储器、盒式磁带、磁带、可移动硬盘、磁盘存储器或其它磁性存储设备，或任意其它可被用来存储所需信息和可以被存取以检索该信息的介质。
通信媒体可具体化为计算机可执行指令、数据结构和程序模块，并包括任意信息传送媒体。举例来说，但不限于，通信媒体包括有线媒体，例如有线网络或直线连接，和无线媒体，例如声学、射频(radio frequency，RF)、红外线和其它无线媒体。上述任何媒体的组合都应包括在计算机可读媒体的范围内。
因此，根据本发明各实施例，描述了用于通信系统中的I/O设备处的中断初始化的系统和方法，该通信系统包括多个工作者计算资源、多个I/O设备、管理I/O设备控制器和PCIe交换网络，实现了系统中所有部件之间的通信。
虽然以上披露使用了具体的方框图、流程图以及示例阐明各种实施例，本文中所描述和/或所图示的每个方框图部件、流程图步骤、操作和/或部件都可以单独地和/或共同地使用一个大范围的硬件、软件或固件(或者它们的任意组合)配置来实施。另外，在其它部件之中所包括的任意部件的披露应该看作为示例，因为可以实施许多其它架构来达到同样的功能。
本文中所描述和/或所图示的进程参数和步骤顺序仅仅是以举例的方式给出并且可以按需要更改。例如，虽然本文中所图示和/或所描述的步骤可以按照特定顺序来示出或讨论，但这些步骤并非必须按照所图示或所讨论的顺序来执行。本文中所描述和/或所图示的各种示例方法还可以省略本文中所描述和/或所图示的一个或多个步骤或还可以包括除披露的那些之外的额外步骤。
虽然各实施例在本文中已经在全功能性计算系统的背景下进行了描述和/或图示，这些示例实施例中的一个或多个能够以多种方式作为一个程序产品来分发，而无论实际用于进行该分发的计算机可读媒体的具体形式如何。本文中所披露的实施例还可以通过使用执行某些任务的软件模块来实施。这些软件模块可以包括脚本、成批文件或其它可执行文件，它们可以存储在一种计算机可读介质上或者存储在一种计算机系统中。这些软件模块可以将一个计算机系统配置用于执行本文中所披露的一个或多个示例实施例。本文中所披露的一个或多个软件模块可以在云计算环境中实施。云计算环境可以通过互联网提供不同的业务和应用程序。这些基于云的业务(例如，软件即服务、平台即服务、基础设施即服务等等)可以通过网络浏览器或其它远程接口进行访问。本文中所描述的各种功能可以通过远程桌面环境或任意其它基于云的计算环境来提供。
虽然已详细地描述了本发明及其优点，但是应理解，可以在不脱离如所附权利要求书所界定的本发明的精神和范围的情况下对本发明做出各种改变、替代和更改。根据上述教导，许多修改和变更是可能的。选出和描述的各个实施例的目的是为了更好地解释本发明的原理和其实际应用，因而使本领域技术人员能够更好利用本发明各个实施例和适合预期特定用途的各种变更。
此外，本发明的范围并不局限于说明书中所述的过程、机器、制造、物质组分、构件、方法和步骤的具体实施例。所属领域的一般技术人员可从本发明中轻易地了解，可根据本发明使用现有的或即将开发出的，具有与本文所描述的相应实施例实质相同的功能，或能够取得与所述实施例实质相同的结果的过程、机器、制造、物质组分、构件、方法或步骤。相应地，所附权利要求范围包括这些过程，机器，制造，物质组分，构件，方法，及步骤。
根据本发明的实施例如此处所述。虽然本发明已经在特定实施例中进行了描述，但是应理解，本发明不应该被解释为这些实施例的限制，而是根据以下权利要求书进行解释。

Claims (20)

1.一种初始化装置，其特征在于，包括：
管理I/O设备控制器，用于管理耦合到PCIe(PCI Express，PCIe)交换网络的多个I/O设备的初始化，其中所述管理I/O设备控制器用于接收注册第一工作者计算资源的目标中断寄存器地址的请求，所述目标中断寄存器地址与耦合到所述PCIe交换网络的第一I/O设备生成的第一中断关联；
所述管理I/O设备控制器的映射模块，用于将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中；
翻译中断寄存器表，包括所述域中的多个映射中断寄存器地址，所述多个映射中断寄存器地址与多个工作者计算资源的多个目标中断寄存器地址关联。
2.根据权利要求1所述的初始化装置，其特征在于，所述管理I/O设备控制器还用于向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
3.根据权利要求2所述的初始化装置，其特征在于，所述管理I/O设备控制器还用于确定向量条目是否在所述I/O中断向量表中可用于将所述第一中断注册到所述第一I/O设备以及可用于发送指令以将所述映射中断寄存器地址注册为第一向量条目中的第一向量。
4.根据权利要求1所述的初始化装置，其特征在于，所述管理I/O设备控制器还用于接收有关所述第一工作者计算资源的目标中断寄存器大小的信息，所述目标中断寄存器包括所述目标中断寄存器地址；用于分配所述管理I/O控制器控制的所述翻译中断寄存器表中的虚拟存储器空间的第一子集，其中所述第一子集至少等于所述大小；以及用于将所述目标中断寄存器中的地址映射到所述虚拟存储器空间中的多个映射地址。
5.根据权利要求1所述的初始化装置，其特征在于，所述管理I/O设备控制器还用于向所述I/O设备发送指令以使能所述第一I/O设备中的所述第一中断，以及用于向所述第一工作者计算资源发送通知，指示所述第一中断已经在所述第一I/O设备中使能。
6.根据权利要求1所述的初始化装置，其特征在于，所述第一中断从主要由消息中断(MSI)和MSI-X中断组成的组中获取。
7.一种初始化方法，其特征在于，包括：
接收注册第一工作者计算资源的目标中断寄存器地址的请求，其中所述目标中断寄存器地址与耦合到PCIe(PCI Express，PCIe)交换网络的第一I/O设备生成的第一中断关联；
将所述目标中断寄存器地址映射到一个域的映射中断寄存器地址，所述第一I/O设备驻留在所述域中；
向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
8.根据权利要求7所述的方法，其特征在于，还包括：
向第一非透明桥(non-transparent bridge，NTB)发送将所述映射中断寄存器地址映射到所述目标中断寄存器地址的映射信息，所述NTB将所述第一工作者计算资源耦合到所述PCIe交换网络。
9.根据权利要求7所述的方法，其特征在于，所述请求在管理I/O设备控制器处接收，所述管理I/O设备控制器耦合到所述PCIe交换网络以管理多个I/O设备的初始化。
10.根据权利要求7所述的方法，其特征在于，所述发送指令还包括：
确定向量条目是否在所述I/O中断向量表中可用于将所述第一中断注册到所述第一I/O设备以及可用于将所述映射中断寄存器地址作为第一向量存储在所述I/O中断向量表中；
向所述第一I/O设备发送所述映射中断寄存器地址以便存储在所述可用条目中。
11.根据权利要求10所述的方法，其特征在于，还包括：
确定所述第一I/O设备是否可以生成所述第一中断。
12.根据权利要求7所述的方法，其特征在于，还包括：
向所述第一I/O设备发送指令以使能所述第一I/O设备中的所述第一中断。
13.根据权利要求7所述的方法，其特征在于，还包括：
向所述第一工作者计算资源发送通知，指示所述第一中断已经在所述第一I/O设备中使能。
14.根据权利要求7所述的方法，其特征在于，还包括：
接收有关所述第一工作者计算资源的目标中断寄存器大小的信息，其中所述中断寄存器包括多个目标中断寄存器地址；
分配映射中断寄存器中的虚拟存储器空间的第一子集，所述映射中断寄存器包括所述域中的多个映射中断寄存器地址，其中所述映射中断寄存器由管理I/O控制器控制，所述第一子集至少等于所述大小；以及
将所述目标中断寄存器中的地址映射到虚拟存储器空间的所述第一子集中的多个映射地址。
15.根据权利要求7所述的方法，其特征在于，所述第一中断从主要由消息中断(message signal interrupt，MSI)和MSI-X中断组成的组中获取。
16.一种初始化中断的系统，其特征在于，包括：
多个工作者计算资源；
与所述多个工作者计算资源关联的多个目标中断寄存器；
多个I/O设备，位于所述多个工作者计算资源上；
PCIe(PCI Express，PCIe)交换网络，用于实现耦合到所述PCIe交换网络的所述多个I/O设备和所述多个工作者计算资源之间的通信；
管理I/O设备控制器，用于管理所述多个I/O设备的初始化；
翻译中断寄存器表，包括与所述多个工作者计算资源的多个目标中断寄存器地址关联的多个映射中断寄存器地址；
其中所述管理I/O设备控制器用于接收注册第一工作者计算资源的第一工作者中断寄存器的目标中断寄存器地址的请求，所述目标中断注册地址与耦合到所述PCIe交换网络的第一I/O设备生成的第一中断关联；以及
所述管理I/O设备控制器的映射模块，用于将所述目标中断寄存器地址映射到映射中断寄存器地址。
17.根据权利要求16所述的系统，其特征在于，所述管理I/O设备控制器还用于向所述第一I/O设备发送指令以注册所述映射中断寄存器地址，所述映射中断寄存器地址与所述第一I/O设备的对应I/O中断向量表中的所述第一中断关联。
18.根据权利要求16所述的系统，其特征在于，还包括：
耦合到所述多个工作者计算资源的多个非透明桥(non-transparent bridge，NTB)，其中第一NTB桥耦合到所述管理I/O设备控制器并用于向所述目标中断寄存器地址发送原本传送给所述映射中断寄存器地址的所述第一中断。
19.根据权利要求16所述的系统，其特征在于，所述管理I/O设备控制器还用于确定向量条目是否在所述I/O中断向量表中可用于将所述第一中断注册到所述第一I/O设备以及可用于发送指令以将所述映射中断寄存器地址作为第一向量存储在第一向量条目中。
20.根据权利要求16所述的系统，其特征在于，所述管理I/O设备控制器还用于接收有关所述目标中断寄存器大小的信息；用于分配所述管理I/O控制器控制的映射中断寄存器中的虚拟存储器空间的第一子集，其中
所述第一子集至少等于所述大小；以及用于将所述目标中断寄存器中的地址映射到所述虚拟存储器空间中的多个映射地址。
CN201480062891.1A 2013-11-18 2014-11-18 通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置 Active CN105993009B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/083,206 US9465760B2 (en) 2013-11-18 2013-11-18 Method and apparatus for delivering MSI-X interrupts through non-transparent bridges to computing resources in PCI-express clusters
US14/083,206 2013-11-18
PCT/CN2014/091352 WO2015070818A1 (en) 2013-11-18 2014-11-18 Method and apparatus for delivering msi-x interrupts through non-transparent bridges to computing resources in pci-express clusters

Publications (2)

Publication Number Publication Date
CN105993009A CN105993009A (zh) 2016-10-05
CN105993009B true CN105993009B (zh) 2019-04-19

Family

ID=53056806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480062891.1A Active CN105993009B (zh) 2013-11-18 2014-11-18 通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置

Country Status (4)

Country Link
US (2) US9465760B2 (zh)
EP (1) EP3033681B1 (zh)
CN (1) CN105993009B (zh)
WO (1) WO2015070818A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910816B2 (en) 2013-07-22 2018-03-06 Futurewei Technologies, Inc. Scalable direct inter-node communication over peripheral component interconnect-express (PCIe)
US9465760B2 (en) * 2013-11-18 2016-10-11 Futurewei Technologies, Inc. Method and apparatus for delivering MSI-X interrupts through non-transparent bridges to computing resources in PCI-express clusters
CN105765545B (zh) * 2014-07-15 2018-10-12 华为技术有限公司 PCIe I/O设备共享方法及设备与互联系统
CN106796529B (zh) * 2014-10-03 2020-04-21 华为技术有限公司 通过利用商品型PCI交换机在PCIe结构中的CPU上使用未经修改的PCIe设备驱动程序来使用PCIe设备资源的方法
US10303644B2 (en) 2014-11-21 2019-05-28 International Business Machines Corporation Providing remote, reliant and high performance PCI express device in cloud computing environments
US9747225B2 (en) * 2015-05-05 2017-08-29 Microsoft Technology Licensing, Llc Interrupt controller
CN105183677A (zh) * 2015-08-31 2015-12-23 北京神州云科数据技术有限公司 基于异步非透明桥的数据传输方法及系统
KR102669219B1 (ko) 2016-08-16 2024-05-28 삼성전자주식회사 종단 장치로부터 제공되는 부트 업 명령어에 기초하여 부팅 동작을 수행하도록 구성되는 전자 장치
US10180924B2 (en) * 2017-05-08 2019-01-15 Liqid Inc. Peer-to-peer communication for graphics processing units
CN107360088A (zh) * 2017-08-28 2017-11-17 郑州云海信息技术有限公司 一种联通异种互联介质的网关结构及配置方法
US10824369B2 (en) * 2018-07-31 2020-11-03 Nutanix, Inc. Elastic method of remote direct memory access memory advertisement
WO2020055921A1 (en) 2018-09-10 2020-03-19 GigaIO Networks, Inc. Methods and apparatus for high-speed data bus connection and fabric management
EP3881191B1 (en) 2018-12-28 2024-10-30 Huawei Technologies Co., Ltd. Apparatus and method for locking pcie network having non-transparent bridging
US10585827B1 (en) 2019-02-05 2020-03-10 Liqid Inc. PCIe fabric enabled peer-to-peer communications
BR112021016093A2 (pt) 2019-02-14 2021-10-26 International Business Machines Corporation Interrupção dirigida para virtualização de multiníveis
CN113454590A (zh) 2019-02-14 2021-09-28 国际商业机器公司 定向中断虚拟化
TWI727607B (zh) 2019-02-14 2021-05-11 美商萬國商業機器公司 用於具有中斷表之經引導中斷虛擬化之方法、電腦系統及電腦程式產品
CN113424150A (zh) 2019-02-14 2021-09-21 国际商业机器公司 具有运行指示符的定向中断虚拟化
TWI764082B (zh) * 2019-02-14 2022-05-11 美商萬國商業機器公司 用於經引導中斷虛擬化之中斷信號之方法、電腦系統及電腦程式產品
TWI759677B (zh) 2019-02-14 2022-04-01 美商萬國商業機器公司 用於具有回退之經引導中斷虛擬化之方法、電腦系統及電腦程式產品
WO2020164819A1 (en) 2019-02-14 2020-08-20 International Business Machines Corporation Directed interrupt for multilevel virtualization with interrupt table
WO2020165666A1 (en) 2019-02-14 2020-08-20 International Business Machines Corporation Directed interrupt virtualization with blocking indicator
CN111913898B (zh) * 2019-05-10 2024-07-09 恩智浦美国有限公司 使用端点的pcie根复合体消息中断产生方法
US10853284B1 (en) * 2019-07-22 2020-12-01 Vmware, Inc. Supporting PCI-e message-signaled interrupts in computer system with shared peripheral interrupts
US11403247B2 (en) 2019-09-10 2022-08-02 GigaIO Networks, Inc. Methods and apparatus for network interface fabric send/receive operations
CN111078597B (zh) * 2019-12-04 2021-07-30 江苏芯盛智能科技有限公司 一种中断消息生成装置、方法以及端设备
CN111722916B (zh) * 2020-06-29 2023-11-14 长沙新弘软件有限公司 一种通过映射表处理msi-x中断的方法
CN112084128B (zh) * 2020-09-09 2023-01-17 中国航空工业集团公司雷华电子技术研究所 消息中断通信方法、计算机设备和存储介质
CN114428757B (zh) * 2021-12-06 2024-05-17 中国船舶集团有限公司第七一六研究所 一种架构可重构的计算装置及其重构方法
CN114546911A (zh) * 2022-01-12 2022-05-27 阿里巴巴（中国）有限公司 中断处理方法和装置、电子设备及计算机可读存储介质
CN114265800B (zh) * 2022-03-02 2022-06-07 山东云海国创云计算装备产业创新中心有限公司 中断消息处理方法、装置、电子设备及可读存储介质
CN115277407B (zh) * 2022-07-25 2024-01-23 北京天融信网络安全技术有限公司 网口配置处理方法、装置、电子设备和存储介质
CN115827546B (zh) * 2023-02-15 2023-04-18 北京象帝先计算技术有限公司 PCIe设备、电子组件、电子设备及地址映射方法
CN117519970B (zh) * 2023-11-03 2024-11-05 成都北中网芯科技有限公司 一种PCIe设备及其全局中断资源动态调配方法和系统
CN117827726B (zh) * 2024-03-06 2024-05-31 井芯微电子技术(天津)有限公司 非透明桥传输的实现方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206634A (zh) * 2006-12-19 2008-06-25 国际商业机器公司 用于初始化共享存储器的系统和方法
CN101242371A (zh) * 2008-03-14 2008-08-13 杭州华三通信技术有限公司 基于PCIe交换架构路由器堆叠的方法、系统和装置
CN101872330A (zh) * 2009-11-04 2010-10-27 杭州海康威视数字技术股份有限公司 多pcie设备系统中断处理方法
CN102016812A (zh) * 2008-04-28 2011-04-13 惠普开发有限公司 虚拟中断模式接口和用于虚拟化中断模式的方法
CN102792272A (zh) * 2010-02-05 2012-11-21 超威半导体公司 配置成虚拟化客户本地中断控制器的处理器
CN103077148A (zh) * 2013-01-04 2013-05-01 浪潮(北京)电子信息产业有限公司 一种基于pcie的主机通讯方法和主机

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502370B2 (en) 2003-01-21 2009-03-10 Nextio Inc. Network controller for obtaining a plurality of network port identifiers in response to load-store transactions from a corresponding plurality of operating system domains within a load-store architecture
US7979592B1 (en) 2007-02-09 2011-07-12 Emulex Design And Manufacturing Corporation Virtualization bridge device
US7934033B2 (en) 2008-03-25 2011-04-26 Aprius, Inc. PCI-express function proxy
US8244951B2 (en) 2008-09-25 2012-08-14 Intel Corporation Method and apparatus to facilitate system to system protocol exchange in back to back non-transparent bridges
US8589613B2 (en) 2010-06-02 2013-11-19 Intel Corporation Method and system to improve the operations of an integrated non-transparent bridge device
US9465760B2 (en) * 2013-11-18 2016-10-11 Futurewei Technologies, Inc. Method and apparatus for delivering MSI-X interrupts through non-transparent bridges to computing resources in PCI-express clusters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206634A (zh) * 2006-12-19 2008-06-25 国际商业机器公司 用于初始化共享存储器的系统和方法
CN101242371A (zh) * 2008-03-14 2008-08-13 杭州华三通信技术有限公司 基于PCIe交换架构路由器堆叠的方法、系统和装置
CN102016812A (zh) * 2008-04-28 2011-04-13 惠普开发有限公司 虚拟中断模式接口和用于虚拟化中断模式的方法
CN101872330A (zh) * 2009-11-04 2010-10-27 杭州海康威视数字技术股份有限公司 多pcie设备系统中断处理方法
CN101872330B (zh) * 2009-11-04 2012-07-25 杭州海康威视数字技术股份有限公司 多pcie设备系统中断处理方法
CN102792272A (zh) * 2010-02-05 2012-11-21 超威半导体公司 配置成虚拟化客户本地中断控制器的处理器
CN103077148A (zh) * 2013-01-04 2013-05-01 浪潮(北京)电子信息产业有限公司 一种基于pcie的主机通讯方法和主机

Also Published As

Publication number Publication date
EP3033681A1 (en) 2016-06-22
CN105993009A (zh) 2016-10-05
WO2015070818A1 (en) 2015-05-21
EP3033681A4 (en) 2016-08-31
US9645956B2 (en) 2017-05-09
US20170024340A1 (en) 2017-01-26
EP3033681B1 (en) 2020-01-15
US9465760B2 (en) 2016-10-11
US20150143016A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN105993009B (zh) 通过非透明桥向PCIe集群中的计算资源传送MSI-X中断的方法和装置
US11409465B2 (en) Systems and methods for managing communication between NVMe-SSD storage device(s) and NVMe-of host unit
CN110232037B (zh) 主机系统及其方法和加速装置
USRE49273E1 (en) Switch and memory device
US20200278880A1 (en) Method, apparatus, and system for accessing storage device
US9304690B2 (en) System and method for peer-to-peer PCIe storage transfers
CN104461958B (zh) 支持sr-iov的存储资源访问方法、存储控制器及存储设备
CN109656473A (zh) 桥接装置及提供接近存储计算的方法
US9910693B2 (en) Virtual machine to host device bridging
US11397697B2 (en) Core-to-core communication
CN109445905A (zh) 虚拟机数据通信方法和系统以及虚拟机配置方法和装置
CN103942087A (zh) 虚拟机热迁移方法及相关装置和集群系统
US10338813B2 (en) Storage controller and using method therefor
CN104636076A (zh) 一种用于云存储的分布式块设备驱动方法和系统
US9632953B2 (en) Providing input/output virtualization (IOV) by mapping transfer requests to shared transfer requests lists by IOV host controllers
US9727521B2 (en) Efficient CPU mailbox read access to GPU memory
CN109478171A (zh) 提高openfabrics环境中的吞吐量
CN113485791A (zh) 配置方法和访问方法、装置、虚拟化系统和存储介质
US20190377671A1 (en) Memory controller with memory resource memory management
US20220137998A1 (en) Storage virtualization device supporting virtual machine, operation method thereof, and operation method of system having the same
US20160026567A1 (en) Direct memory access method, system and host module for virtual machine
US20240104045A1 (en) System and method for ghost bridging
KR102532099B1 (ko) 가상 머신을 지원하는 스토리지 가상화 장치, 이의 동작 방법, 및 이를 포함하는 시스템의 동작 방법
TWI615720B (zh) 資源分配系統、設備分配控制器以及設備識別方法
CN107155307B (zh) 访问文件的方法、系统和主机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant