RU2496134C1 - Server farm with immersion cooling system - Google Patents
Server farm with immersion cooling system Download PDFInfo
- Publication number
- RU2496134C1 RU2496134C1 RU2012127340/08A RU2012127340A RU2496134C1 RU 2496134 C1 RU2496134 C1 RU 2496134C1 RU 2012127340/08 A RU2012127340/08 A RU 2012127340/08A RU 2012127340 A RU2012127340 A RU 2012127340A RU 2496134 C1 RU2496134 C1 RU 2496134C1
- Authority
- RU
- Russia
- Prior art keywords
- circuit board
- printed circuit
- tank
- pipe
- server farm
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/20—Cooling means
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
- H05K7/20772—Liquid cooling without phase change within server blades for removing heat from heat source
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Thermal Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
Description
Изобретение относится к области вычислительной техники, а именно к серверным фермам, предназначенным для проведения высокопроизводительных вычислений и компьютерного моделирования, с охлаждением путем полного погружения нагревающихся электронных компонентов в охлаждающую жидкость.The invention relates to the field of computer technology, namely, server farms designed for high-performance computing and computer simulation, with cooling by completely immersing the heated electronic components in a coolant.
Известен аппарат для охлаждения электронных систем компании Nortel Networks Corp., представляющий собой совокупность печатных плат, установленных вертикально в контейнере, частично заполненном диэлектрической жидкостью с низкой температурой кипения (патент США 6019167, опубл. 01.02.2000 г.). Охлаждаемая электронная система не представляет собой вычислительное устройство. Кроме того, недостатками данного аппарата является невысокая плотность установки печатных плат, обусловленная наличием двух камер контейнера, двух стенок контейнера, внутренней и внешней системы охлаждающих пластин, электронные компоненты системы не могут быть извлечены из абсолютно герметичного корпуса без нарушения целостности всего аппарата.Known apparatus for cooling electronic systems of the company Nortel Networks Corp., which is a set of printed circuit boards mounted vertically in a container partially filled with a dielectric fluid with a low boiling point (US patent 6019167, publ. 02/01/2000). A cooled electronic system is not a computing device. In addition, the disadvantages of this apparatus are the low density of the printed circuit boards, due to the presence of two container chambers, two container walls, an internal and external cooling plate system, the electronic components of the system cannot be removed from an absolutely sealed enclosure without violating the integrity of the entire apparatus.
Известна вычислительная установка компании Cray Research Inc. (патент США 4590538, опубл. 20.05.1986 г.), состоящая из герметичного цилиндрического контейнера, шестнадцати радиально установленных в нем блоков материнских плат, ориентированных вертикально в плоских ячейках, ограниченных поддерживающими рамами, при этом материнские платы в блоках расположены горизонтально, а между ними образуются отсеки треугольной формы, в которых циркулирует охлаждающая жидкость, образуя восходящий и нисходящий потоки так, что блоки материнских плат полностью омываются охлаждающей жидкостью. Блоки питания устанавливаются на дне контейнера и оказываются также погруженными в охлаждающую жидкость. Недостатками данной вычислительной установки является невозможность функционирования установки при отрицательных температурах окружающей среды и невозможность горячей замены вышедших из строя электронных компонентов.Known computing installation company Cray Research Inc. (US patent 4590538, published 05/20/1986), consisting of a sealed cylindrical container, sixteen radially mounted blocks of motherboard blocks oriented vertically in flat cells bounded by supporting frames, while the motherboards in the blocks are horizontal and between they form triangular-shaped compartments in which coolant circulates, forming upward and downward flows so that the motherboard blocks are completely washed by the coolant. Power supplies are installed at the bottom of the container and are also immersed in coolant. The disadvantages of this computing installation are the inability to operate the installation at negative ambient temperatures and the inability to hot-replace failed electronic components.
Известна вычислительная установка компании Isotermal System Research (патент США 6976528, опубл. 20.12.2005 г.), охлаждаемая путем впрыскивания охлаждающей жидкости на нагревающиеся электронные компоненты. Такая вычислительная установка может функционировать при широком диапазоне температур окружающей среды, в том числе при отрицательных температурах (-65°С…+70°С). Для работы при отрицательных температурах установка снабжена нагревательным элементом. Изобретением не раскрывается способ выполнения нагревательного элемента.Known computing installation company Isotermal System Research (US patent 6976528, publ. 12/20/2005), cooled by the injection of coolant onto heated electronic components. Such a computing installation can operate at a wide range of ambient temperatures, including at negative temperatures (-65 ° C ... + 70 ° C). For operation at low temperatures, the unit is equipped with a heating element. The invention does not disclose a method of performing a heating element.
Известна серверная ферма компании Iceotope Limited (патент США 7609518, опубл. 27.10.2009 г.). На стандартную серверную стойку устанавливают вычислительные узлы в индивидуальном корпусе, состоящие из жестких дисков, дисплея, материнских плат с памятью и испарительного змеевика. Материнская плата и испарительный змеевик помещены в индивидуальный герметичный контейнер, в который подается охлажденная до температуры -30°С охлаждающая жидкость. Каждый контейнер соединен снаружи с охлаждающим модулем, который включает в себя теплоотводящую плату, прилегающую к контейнеру, теплоизоляционный слой, окружающий контейнер, два высушивающих картриджа, расположенных по обе стороны теплоотводящей платы, и два вентилятора, расположенных по обе стороны высушивающих картриджей.Known server farm company Iceotope Limited (US patent 7609518, publ. 10/27/2009). Computing nodes are installed on a standard server rack in an individual case, consisting of hard drives, a display, motherboards with memory and an evaporative coil. The motherboard and the evaporation coil are placed in an individual sealed container into which coolant cooled to a temperature of -30 ° C is supplied. Each container is connected externally to the cooling module, which includes a heat sink adjacent to the container, a heat insulation layer surrounding the container, two drying cartridges located on both sides of the heat removing plate, and two fans located on both sides of the drying cartridges.
Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также использованием охлаждающих модулей, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.The disadvantages of the server farm are the low density of the installation of computing nodes, due to the fact that the motherboards are enclosed in individual containers, the computing nodes are enclosed in individual cases, and the use of cooling modules, in addition, the invention uses standard server racks with a standard width of seats for computing nodes . Also, such racks provide for installation and maintenance intervals. All this reduces the usable space that can be used to install additional computing nodes. Also, the hot swap of failed hard drives and power supplies, the ability to work in conditions of negative ambient temperatures are not provided.
Известна другая ферма серверов той же компании, описанная в патенте Великобритании 2467805, опубл. 01.06.2011 г., заявке США 20100290190, опубл. 11.12.2010 г. Стандартная серверная стойка с оборудованием включает: отделение для охлаждающих блоков, дополнительные полки для оборудования, один или несколько блоков питания и теплоотводящую плату, полки для устройства для нормализации давления, насос, расширительный бачок и теплообменник. Охлаждающий блок состоит из двух герметичных контейнеров, в каждом из которых установлены одна или несколько материнских плат, AC/DC-преобразователи, или жесткий диск, или блок питания. Контейнеры состоят из двух отсеков: в первом циркулирует первая охлаждающая жидкость, а во втором - вторая охлаждающая жидкость. На границе отсеков расположена теплооотводящая плата, предназначенная для переноса тепла от первой охлаждающей жидкости ко второй.Another server farm of the same company is known, described in UK patent 2467805, publ. 06/01/2011, US application 20100290190, publ. 12/11/2010 A standard server rack with equipment includes: a compartment for cooling units, additional shelves for equipment, one or more power supplies and a heat sink, shelves for a device to normalize pressure, a pump, an expansion tank, and a heat exchanger. The cooling unit consists of two sealed containers, each of which has one or more motherboards, AC / DC converters, or a hard drive, or a power supply. The containers consist of two compartments: the first coolant circulates in the first, and the second coolant in the second. A heat sink plate is located at the border of the compartments, designed to transfer heat from the first coolant to the second.
Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также используются теплоотводящая плата и устройства для нормализации давления, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.The disadvantages of the server farm are the low density of the installation of computing nodes, due to the fact that the motherboards are enclosed in individual containers, the computing nodes are enclosed in individual cases, and a heat sink and devices are used to normalize the pressure, in addition, the invention uses standard server racks with a standard width Seats for computing nodes. Also, such racks provide for installation and maintenance intervals. All this reduces the usable space that can be used to install additional computing nodes. Also, the hot swap of failed hard drives and power supplies, the ability to work in conditions of negative ambient temperatures are not provided.
Кроме того, в обеих серверных фермах компании Iceotope Limited в охлаждающую жидкость погружены только материнские платы с нагревающимися электронными компонентами, блоки питания и жесткие диски охлаждаются преимущественно воздухом.In addition, in both Iceotope Limited server farms, only motherboards with heating electronic components are immersed in the coolant, and the power supplies and hard drives are primarily cooled by air.
Известны серверные фермы компании Hardcore Computer, Inc. с жидкостным охлаждением, в частности с технологией охлаждения серверных ферм путем погружения в жидкость LSS™200 (Liquid Submerged Server) (http://www.hardcorecomputer.com/liquid-blade-video/index.html, например, патент США 8089764, опубл. 03.01.2012 г. и др.). Согласно данным решениям в стандартную серверную стойку помещают вычислительные узлы или серверные фермы. Каждый вычислительный узел (или серверная ферма) заключен в индивидуальный корпус, заполненный охлаждающей жидкостью. В каждый корпус помещают жесткие диски, одну или несколько материнских плат со смонтированными на ней дочерними картами, блоками питания, процессорами, видеокартой, памятью. Также дополнительно может присутствовать насосная система для откачки скапливающейся вверху контейнера горячей жидкости к внешнему теплообменнику или к иным системам рассеивания тепла. В одной из реализаций изобретения предусмотрено дополнительное охлаждение нагревающихся компонентов направленным потоком жидкости через накрывающую их дисперсионную камеру.Hardcore Computer, Inc. server farms are known. with liquid cooling, in particular with the technology of cooling server farms by immersion in liquid LSS ™ 200 (Liquid Submerged Server) (http://www.hardcorecomputer.com/liquid-blade-video/index.html, for example, US patent 8089764, published on January 3, 2012, etc.). According to these solutions, computing nodes or server farms are placed in a standard server rack. Each computing node (or server farm) is enclosed in an individual case filled with coolant. Hard drives, one or several motherboards with daughter cards mounted on it, power supplies, processors, a video card, memory are placed in each case. Additionally, a pumping system may be present for pumping the hot liquid accumulating at the top of the container to an external heat exchanger or other heat dissipation systems. In one implementation of the invention provides for additional cooling of the heating components by a directed fluid flow through the dispersion chamber covering them.
Недостатками данной серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что вычислительные узлы заключены в индивидуальные корпуса, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.The disadvantages of this server farm are the low density of the installation of computing nodes, due to the fact that the computing nodes are enclosed in individual cases, in addition, the invention uses standard server racks with a standard width of seats for computing nodes. Also, such racks provide for installation and maintenance intervals. All this reduces the usable space that can be used to install additional computing nodes. Also, the hot swap of failed hard drives and power supplies, the ability to work in conditions of negative ambient temperatures are not provided.
Известна система охлаждения для различных стандартных электронных устройств и вычислительных установок компании Green Revolution Cooling, Inc., описанная в заявке США 20110132579 (опубл. 09.06.2011 г.). Система охлаждения состоит из заполненного охлаждающей жидкостью резервуара, в котором горизонтально установлена промышленно выпускаемая серверная стойка, к которой подведены трубы подвода к нему и выхода из него охлаждающей жидкости; теплообменника, соединенного с выходом охлаждающей жидкости; насоса, соединенного с теплообменником и резервуаром, установленного для прокачивания охлаждающей жидкости по замкнутому контуру; микроконтроллера для отслеживания температуры охлаждающей жидкости в замкнутом контуре, который также регулирует поток жидкого охлаждающего диэлектрика в замкнутом контуре с целью поддержания повышенной температуры жидкого охлаждающего диэлектрика на выходе из второй части замкнутого контура. Резервуар может быть выполнен с возможностью установки двух рядов вычислительных узлов.A known cooling system for various standard electronic devices and computing devices of the company Green Revolution Cooling, Inc., described in US application 20110132579 (published. 06/09/2011). The cooling system consists of a tank filled with coolant, in which a commercially available server rack is horizontally installed, to which pipes for supplying and leaving coolant for it are connected; a heat exchanger connected to the coolant outlet; a pump connected to a heat exchanger and a tank installed for pumping coolant in a closed circuit; a microcontroller for monitoring the temperature of the coolant in a closed loop, which also controls the flow of the liquid coolant in the closed loop in order to maintain the elevated temperature of the coolant in the outlet of the second part of the closed loop. The tank may be configured to install two rows of computing nodes.
В некоторых вариантах исполнения система охлаждения может включать второе охлаждающее устройство, содержащее охлаждающую жидкость во втором замкнутом контуре, предназначенном для охлаждения первой охлаждающей жидкости.In some embodiments, the cooling system may include a second cooling device comprising a cooling liquid in a second closed loop for cooling the first cooling liquid.
Недостатками данной системы охлаждения являются невозможность функционирования при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная тем, что данная система охлаждения предназначена, в том числе, для стандартных вычислительных узлов, которые выполнены для воздушного охлаждения и, соответственно, снабжены вентиляторами и воздуховодами, что увеличивает размер самого вычислительного узла и размеры посадочных мест для вычислительных узлов в стандартных серверных стойках, которые монтируются в резервуар.The disadvantages of this cooling system are the inability to operate at negative ambient temperatures, the low density of the installation of computing nodes, due to the fact that this cooling system is intended, including for standard computing nodes, which are made for air cooling and, accordingly, are equipped with fans and air ducts , which increases the size of the computing node itself and the size of the footprints for computing nodes in standard server racks, to torye mounted in the tank.
Наиболее близкими к заявляемой серверной ферме является серверная ферма компании Hardcore Computer, Inc., раскрытая в независимом п.13 и подчиненных ему зависимых пп.14-17 формулы изобретения (патент США 8009419, опубл. 30.08.2011 г.). Серверная ферма представляет собой герметичный контейнер, наполненный охлаждающей жидкостью и снабженный направляющими для установки блоков вычислительных узлов. Внутри контейнера помещается охлаждающий механизм, представляющий собой совокупность трубок, разведенных по материнской плате. Трубки с отверстиями находятся в непосредственной близости от нагревающихся компонентов. Через эти отверстия охлаждающая жидкость впрыскивается на такие нагревающиеся компоненты, охлаждает их и затем смешивается с жидкостью, заполняющей контейнер.Closest to the claimed server farm is the server farm of Hardcore Computer, Inc., disclosed in
Недостатками данной серверной фермы являются невозможность горячей замены вышедших из строя жестких дисков и блоков питания, работы серверной фермы в условиях отрицательных температур окружающей среды. Поскольку в разделе описания изобретения данный вариант выполнения серверной фермы не описывается, то оценить плотность установки вычислительных узлов внутри резервуара представляется затруднительным.The disadvantages of this server farm are the inability to hot-swap failed hard disks and power supplies, the server farm in negative environmental temperatures. Since this embodiment of the server farm is not described in the description section of the invention, it is difficult to assess the density of the installation of computing nodes inside the tank.
Задачей изобретения является расширение арсенала серверных ферм.The objective of the invention is to expand the arsenal of server farms.
Технический результат заключается в расширении арсенала технических возможностей серверных ферм, а именно в повышении плотности установки вычислительных узлов, обеспечении функционирования серверной фермы при отрицательных температурах окружающей среды, горячей замены блоков питания и накопителей информации.The technical result consists in expanding the arsenal of technical capabilities of server farms, namely, increasing the density of the installation of computing nodes, ensuring the functioning of the server farm at low ambient temperatures, hot-swappable power supplies and information storage devices.
Технический результат достигается тем, что серверная ферма с иммерсионной системой охлаждения состоит из герметичного резервуара, заполненного охлаждающей жидкостью, с установленными в нем вычислительными узлами, состоящими из монтажной платы со смонтированными на ней материнской платой, блоками питания, накопителями информации, снабженного крышкой, направляющими для вертикальной установки вычислительных узлов, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, согласно изобретению, снабжена распределительной трубой, двумя печатными платами, сетевым коммутатором, причем распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с впускным патрубком, установленным в нижней части стенки резервуара. Выпускной патрубок установлен в верхней части стенки резервуара и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с фильтром грубой очистки, циркуляционным насосом и теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с впускным патрубком. Между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном. Крышка резервуара образована двумя створками с разной площадью поверхностью и установлена с возможностью съема и подъема во время работы и остановки серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных. К сетевому коммутатору присоединен первый кабель данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки. Первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и данных расположены нагревательные элементы. Вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы, а верхняя ее часть соединена посредством разъема для данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с внешним кабелем питания, пропущенным через другое отверстие в меньшей створке крышки, посредством разъемов питания. Сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания. Вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате. При этом половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных, а каждый блок питания подключен к обеим материнским платам и оба блока питания работают в параллельном режиме. Материнская плата подключена к сетевому коммутатору посредством второго кабеля данных, а съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных. Широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных. В нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы.The technical result is achieved in that the server farm with an immersion cooling system consists of a sealed tank filled with coolant, with computing units installed in it, consisting of a circuit board with a motherboard mounted on it, power supplies, information storage devices, equipped with a cover, guides for vertical installation of computing nodes, inlet and outlet pipes, communicating via a pipeline with a pump and heat exchanger, according to the invention It is equipped with a distribution pipe, two printed circuit boards, a network switch, the distribution pipe installed parallel to the entire bottom of the tank and formed by two parallel perforated pipes connected by a U-shaped connector, one end of the distribution pipe is plugged, and the second is connected to the inlet pipe installed at the bottom of the tank wall. An exhaust pipe is installed in the upper part of the tank wall and is connected through the first check valve to a coarse filter, a circulation pump and a heat exchanger, which, on the other hand, is connected via a check pressure pipe through a second check valve to the inlet pipe. A three-way solenoid valve is installed between the coarse filter and the heat exchanger, the third pipe of which is connected to the first end of the second pressure pipe, the second end of which is connected to the third pipe of the three-way splitter, which is built into the return pressure pipe between the heat exchanger and the second check valve. The tank cover is formed by two shutters with different surface areas and is installed with the possibility of removal and lifting during operation and stopping the server farm, the network switch is located on the inside of the larger shutter, and a hole for a cable or a flexible circuit board with connectors at the ends is made in the smaller shutter data. A first data cable is connected to the network switch, the other end of which is led out through an opening in the smaller casement of the lid. The first printed circuit board is installed parallel to the plane of the tank bottom under the distribution pipe, end connectors for data and power are made on it, data connectors are aligned along one edge, and power connectors are aligned along the opposite edge, with heating connectors located between the power and data connectors elements. The second printed circuit board is installed close to one of the walls of the tank, to which a smaller flap of the lid is attached perpendicular to the first printed circuit board and joined edge to edge with the help of mates for the end data and power connectors of the first printed circuit board, and its upper part is connected via a connector for data with a flexible printed circuit board or ribbon cable inserted through an opening in the smaller casement of the lid of the tank, and with an external power cable passed through another hole in the smaller casement of the lid, power connectors. The network switch is powered by a power connector located at the top of the second circuit board using a power cable. Computing nodes are installed using data and power connectors on the first printed circuit board parallel to the second printed circuit board and consist of a printed circuit board, which is divided by a longitudinal divider into narrow and wide compartments, two longitudinal holders are mounted symmetrically on both sides of the narrow compartment on both sides in the form of guides for fixing a removable printed circuit board on which the power supply unit, information storage devices and a block of power and data connectors are located, and in a wide compartment on both sides it mounts I'm on the motherboard. In this case, half of the information storage devices located on the removable printed circuit board installed on one side of the circuit board are connected to the motherboard mounted on the same side of the mounting circuit board, and the remaining information storage devices are connected to the motherboard mounted on the other side of the mounting circuit board , between data storage devices connected to one motherboard, a complete data mirroring is organized, and each power supply is connected to both motherboards and both power supply units Italy works in parallel. The motherboard is connected to the network switch via a second data cable, and the plug-in board is connected to the circuit board through the power and data connector blocks. The wide compartment of the circuit board is connected via a flexible printed circuit board or a cable to the motherboard using data connectors. A rectangular cutout is made in the lower edge of the circuit board for passage of the distribution pipe.
При этом возможно, что впускной патрубок установлен в нижней части той же стенки резервуара, в которой установлен выпускной патрубок, и вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлены впускной и выпускной патрубки. В этом случае верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром, в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар.It is possible that the inlet pipe is installed at the bottom of the same tank wall in which the outlet pipe is installed, and the second printed circuit board is installed perpendicular to the first printed circuit board close to the same tank wall on which the inlet and outlet pipe are installed. In this case, the upper edge of the second printed circuit board is cut so as to provide direct communication of the outlet pipe with the tank, an opening is made in the lower part of the second printed circuit board at the level of the orthogonal projection of the inlet pipe so that the inlet pipe enters the tank.
При этом возможно также, что впускной патрубок установлен в нижней части стенки резервуара, противоположной той, в которой установлен выпускной патрубок, и вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен впускной патрубок, и тогда в нижней ее части на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать прямое сообщение впускного патрубка с резервуаром. Или вторая печатная плата установлена перпендикулярно первой печатной плате вплотную к той же стенке резервуара, на которой установлен выпускной патрубок, и тогда ее верхняя кромка выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром.It is also possible that the inlet pipe is installed in the lower part of the tank wall, opposite to the one in which the outlet pipe is installed, and the second circuit board is installed perpendicular to the first printed circuit board close to the same tank wall on which the inlet pipe is installed, and then in the lower its part at the level of the orthogonal projection of the inlet pipe is made an opening so as to provide direct communication of the inlet pipe with the tank. Or the second printed circuit board is installed perpendicular to the first printed circuit board close to the same wall of the tank on which the outlet pipe is installed, and then its upper edge is made with a notch so as to provide direct communication between the outlet pipe and the tank.
При этом возможно также, что параллельно циркуляционному насосу установлен дополнительный циркуляционный насос.It is also possible that an additional circulation pump is installed in parallel with the circulation pump.
При этом возможно также, что для вертикальной установки вычислительных узлов параллельно боковым ребрам резервуара выполнены пропилы.It is also possible that for vertical installation of computing nodes parallel to the side edges of the tank cuts are made.
При этом возможно также, что нагревательные элементы выполнены в виде нагрузочных резисторов.It is also possible that the heating elements are made in the form of load resistors.
При этом возможно также, что в качестве накопителей информации используются твердотельные накопители информации.It is also possible that solid-state information stores are used as information storage devices.
При этом возможно также, что серверная ферма состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.It is also possible that the server farm consists of n pressurized tanks connected in parallel through a system of inlet and outlet pipelines in communication with the exhaust and intake manifold pipes interconnected by a common pressure pipe.
При этом возможно также, что в нижней части второй печатной платы выполнены дополнительные нагревательные элементы.It is also possible that additional heating elements are made in the lower part of the second printed circuit board.
На фиг.1 показан резервуар серверной фермы.1 shows a server farm tank.
На фиг.2 показана распределительная труба.Figure 2 shows a distribution pipe.
На фиг.3 показана крышка.Figure 3 shows the cover.
На фиг.4 показана первая печатная плата.4 shows a first printed circuit board.
На фиг.5 показана вторая печатная плата.5 shows a second printed circuit board.
На фиг.6 показана монтажная плата.6 shows a circuit board.
На фиг.7 показана съемная плата.7 shows a removable board.
На фиг.8 показана схема контура охлаждения серверной фермы, включающей один резервуар.On Fig shows a diagram of the cooling circuit of the server farm, which includes one tank.
На фиг.9 показана схема контура охлаждения серверной фермы, включающей n резервуаров.Figure 9 shows a diagram of the cooling circuit of a server farm, including n tanks.
В одном варианте реализации изобретения серверная ферма представляет собой серверную ферму с одним резервуаром. Серверная ферма, изображенная на фиг.1, включает герметичный прямоугольный резервуар 1, заполненный охлаждающей жидкостью и снабженный крышкой 2. На двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара пластиковые вкладыши с направляющими, или выполнены пропилы для вертикальной установки вычислительных узлов.In one embodiment, the server farm is a single tank server farm. The server farm shown in Fig. 1 includes a sealed
В верхней части одной из стенок резервуара на центральной оси выполнено отверстие, в которое установлен выпускной патрубок 3. Резервуар заполняется жидкостью до уровня ее перелива в выпускной патрубок. В нижней части той же или противоположной стенки резервуара выполнено отверстие, в которое установлен впускной патрубок 4 такого же диаметра, что и выпускной патрубок. Впускной патрубок соединен с одним концом распределительной трубы 5 (фиг.2), установленной внутри резервуара на смонтированных на его днище поддерживающих элементах и состоящей из двух параллельных друг другу перфорированных труб, соединенных U-образным соединителем. Второй конец распределительной трубы заглушен. Распределительная труба продолжается вдоль всего днища резервуара.An opening is made in the upper part of one of the walls of the tank on the central axis, into which the outlet pipe 3 is installed. The tank is filled with liquid to the level of its overflow into the outlet pipe. An opening is made in the lower part of the same or opposite wall of the tank, into which an
На фиг.3 показана крышка резервуара. Крышка 2 резервуара состоит из двух створок разной площади поверхности и крепежных элементов, посредством которых створки крышки крепятся к крепежным элементам, установленным на верхних краях стенок резервуара. Крепежные элементы выполнены с обеспечением возможности съема и подъема створок. Обе створки крышки имеют угол открытия не менее 90 градусов и снабжены механизмом фиксации их в таком положении. Верхний край резервуара по всему периметру и нижние края створок крышки по всему периметру имеют слой уплотнителя, обеспечивающий герметичное прилегание створок крышки к резервуару. Для обеспечения оперативного доступа внутрь резервуара к вычислительным узлам большая створка крышки открывается и снимается в режиме работы серверной фермы. Меньшая створка крышки открывается и снимается только после остановки работы серверной фермы.Figure 3 shows the lid of the tank. The
На внутренней стороне большей створки размещен сетевой коммутатор 6. К сетевому коммутатору присоединен первый кабель данных, другой конец которого выведен наружу через отверстие 7, выполненное в меньшей створке крышки. В меньшей створке крышки выполнены отверстия 8 ( показано одно отверстие), через которые организован герметичный ввод кабелей питания. В меньшей створке крышки выполнено отверстие 9, в которое герметично пропущены шлейф или гибкая печатная плата (не показаны) с двумя концевыми разъемами данных. Один концевой разъем данных предназначен для стыковки с концевым разъемом данных, расположенным на второй печатной плате. Другой концевой разъем данных предназначен для соединения с внешним кабелем передачи данных, другой конец которого соединен с внешним управляющим устройством.A
В нижней части резервуара параллельно плоскости днища резервуара под распределительной трубой 5 установлена первая печатная плата 10 (фиг.4), зафиксированная на смонтированных на днище резервуара поддерживающих элементах. На первой печатной плате выполнены отверстия 11 для прохождения крепежных элементов, фиксирующих распределительную трубу.In the lower part of the tank, parallel to the plane of the tank bottom, under the distribution pipe 5, a first printed
Вдоль одного края первой печатной платы соосно между собой расположены разъемы данных 12, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Вдоль противоположного края первой печатной платы расположены разъемы питания 13, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Между разъемами данных 12 и питания 13 смонтированы нагревательные элементы 14, выполненные в виде нагрузочных резисторов. Первая печатная плата оснащена концевыми разъемами данных 15 и питания 16, предназначенными для сцепления с нижней кромкой второй печатной платы 17. При этом разъемы данных 12 и 13 на первой печатной плате выполнены вдоль краев, перпендикулярных краю, состыкованному со второй печатной платой.Along one edge of the first printed circuit board,
Вторая печатная плата 17 (фиг.5) установлена перпендикулярно первой печатной плате вплотную к одной из стенок резервуара и жестко зафиксирована в таком положении посредством крепежных элементов, установленных на стенке резервуара. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположен выпускной патрубок, то верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположен впускной патрубок, то в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар. В случае, если вторая печатная плата установлена вплотную к стенке резервуара, на которой расположены впускной и выпускной патрубки, то верхняя кромка второй печатной платы выполнена с вырезом так, чтобы обеспечивать прямое сообщение выпускного патрубка с резервуаром, а в нижней части второй печатной платы на уровне ортогональной проекции впускного патрубка выполнено отверстие так, чтобы обеспечивать вхождение впускного патрубка в резервуар.The second printed circuit board 17 (Fig. 5) is installed perpendicular to the first printed circuit board close to one of the walls of the tank and is rigidly fixed in this position by means of fasteners mounted on the wall of the tank. If the second printed circuit board is installed close to the wall of the tank on which the outlet pipe is located, then the upper edge of the second printed circuit board is cut so as to provide direct communication between the outlet pipe and the tank. If the second printed circuit board is installed close to the wall of the tank on which the inlet pipe is located, an opening is made in the lower part of the second printed circuit board at the level of the orthogonal projection of the inlet pipe so that the inlet pipe enters the tank. If the second printed circuit board is installed close to the wall of the tank on which the inlet and outlet pipes are located, then the upper edge of the second printed circuit board is cut so as to provide direct communication between the exhaust pipe and the tank, and at the bottom of the second printed circuit board at the orthogonal projection of the inlet pipe is made a hole so as to ensure the entry of the inlet pipe into the tank.
В нижней части второй печатной платы выполнены ответные части разъемов данных 18 и питания 19 к концевым разъемам данных 15 и питания 16 соответственно. В верхней части второй печатной платы выполнена ответная часть 20 разъема данных, предназначенного для стыковки с концевым разъемом данных, расположенным на шлейфе или гибкой печатной плате, пропущенной через отверстие 9 в меньшей створке крышки, и разъем питания 21, предназначенный для подключения внешних кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки. Вторая печатная плата предназначена для подачи питания и передачи данных от расположенных в ее верхней части разъемов данных 20 и питания 21 на первую печатную плату, помимо этого она используется для установки дополнительных электронных компонентов, таких как, например, дополнительный коммутатор и др. В некоторых вариантах реализации изобретения в нижней части второй печатной платы размещены дополнительные нагревательные элементы 14.In the lower part of the second printed circuit board, the mating parts of the
Вычислительные узлы установлены внутри резервуара на первую печатную плату. Вычислительный узел состоит из монтажной печатной платы 22 (фиг.6). В нижней кромке монтажной печатной платы выполнен прямоугольный вырез так, что при установке ее на первую печатную плату прямоугольный вырез приходится на распределительную трубу. Монтажная печатная плата на лицевой и оборотной сторонах разделена на два отделения - узкое и широкое - продольным разделителем 23, выполненным в виде пластиковой планки.Computing nodes are installed inside the tank on the first printed circuit board. The computing node consists of a mounting circuit board 22 (Fig.6). A rectangular cutout is made in the lower edge of the mounting printed circuit board so that when it is installed on the first printed circuit board, the rectangular cutout falls on the distribution pipe. The printed circuit board on the front and back sides is divided into two compartments - narrow and wide - with a
В нижней части широкого отделения выполнена ответная часть концевого разъема данных 24 к концевому разъему данных 12, а в нижней части узкого отделения выполнена ответная часть концевого разъема питания 25 к концевому разъему питания 13.In the lower part of the wide compartment, the counterpart of the
По продольным краям узкого отделения монтажной печатной платы на ее лицевой и оборотной сторонах крепятся симметрично по два продольных держателя 26 в виде направляющих для фиксации съемной печатной платы 27, изображенной на фиг.7, на которой расположены блок питания 28 и не менее двух накопителей информации 29. При этом часть накопителей информации, расположенных на съемной печатной плате, установленной на лицевой стороне монтажной платы, подключены к материнской плате, смонтированной на лицевой стороне монтажной печатной платы, а другая часть накопителей информации подключается к материнской плате, смонтированной на оборотной стороне монтажной печатной платы. Аналогичным образом подключены накопители информации, расположенные на съемной печатной плате, установленной на оборотной стороне монтажной платы. Между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных. Каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме. В нижней части съемной платы выполнена колодка 30 разъемов питания и данных.Two
В нижней части узкого отделения монтажной платы выполнена колодка 31 разъемов питания и данных, предназначенная для состыковки с колодкой 30 разъемов питания и данных, расположенной на съемной печатной плате. Колодка 31 разъемов питания и данных соединена с разъемами питания и данных, выполненными в нижней части узкого отделения монтажной платы (не показаны), которые используются соответственно для трассировки питания и данных от блока питания и накопителей информации, расположенных на съемной печатной плате, к электронным компонентам материнской платы.In the lower part of the narrow compartment of the circuit board, there is a
В широком отделении монтажной платы на лицевой и оборотной сторонах монтируется материнская плата 32. Таким образом, на монтажную печатную плату устанавливаются две материнские платы и две съемные печатные платы.In the wide compartment of the circuit board, the
В верхней части широкого отделения монтажной печатной платы выполнен разъем данных 33, предназначенный для сцепления посредством гибкой платы или шлейфа (не показаны) с концевым разъемом данных 34, выполненным в верхней части материнской платы.In the upper part of the wide compartment of the printed circuit board, a
В верхней части материнской платы выполнен разъем данных 35, к которому подключен второй кабель данных, другой конец которого соединен с сетевым коммутатором 6. Сетевой коммутатор получает питание от разъема питания 21 на второй печатной плате при помощи кабеля питания.In the upper part of the motherboard there is a
На фиг.8 показан контур охлаждения серверной фермы, включающей один резервуар. Наружный конец выпускного патрубка через первый обратный запорный клапан 36 последовательно соединен первым напорным трубопроводом 37 с циркуляционным насосом 38, фильтром грубой очистки 39 и теплообменником 40. Теплообменник соединен обратным напорным трубопроводом 41 через второй обратный запорный клапан 42 с наружным концом впускного патрубка. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.On Fig shows the cooling circuit of the server farm, including one tank. The outer end of the exhaust pipe through the first
Между фильтром грубой очистки и теплообменником встроен запорный трехходовой электромагнитный клапан 43, третий патрубок которого соединен с первым концом второго напорного трубопровода 44. Второй конец второго напорного трубопровода 44 соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником 40 и вторым обратным запорным клапаном 42. Запорный трехходовой электромагнитный клапан 43 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику, и направления его посредством второго напорного трубопровода через третий патрубок трехходового разветвителя обратно в резервуар к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй напорный трубопровод и охлажденной жидкости из второго напорного трубопровода обратно в резервуар, минуя теплообменник. Для обеспечения отказоустойчивости параллельно циркуляционному насосу 38 установлен дублирующий циркуляционный насос (не показан).A three-way solenoid valve 43 is integrated between the coarse filter and the heat exchanger, the third pipe of which is connected to the first end of the
В другом варианте реализации изобретения серверная ферма представляет собой серверную ферму с n резервуарами. На фиг.9 изображена схема контура охлаждения серверной фермы, включающей n резервуаров. Серверная ферма состоит из n герметичных прямоугольных резервуаров 1, заполненных охлаждающей жидкостью, с установленными в них вычислительными узлами, первой печатной платой 10, второй печатной платой 17, распределительной трубой 5. Каждый резервуар снабжен крышкой 2. Каждый резервуар 1 посредством отводящего напорного трубопровода 45 через выпускной патрубок, первый обратный запорный клапан 36, циркуляционный насос 38 и фильтр грубой очистки 39 сообщается с выпускной коллекторной трубой 46, один конец которой заглушен, а второй соединен посредством первого трехходового разветвителя с первым общим напорным трубопроводом 47. В первый общий напорный трубопровод 47 далее последовательно подсоединены общий циркуляционный насос 48, общий фильтр грубой очистки 49 и теплообменник 40. С другой стороны теплообменник соединен с обратным общим напорным трубопроводом 50. Каждый резервуар 1 посредством подводящего трубопровода 51 через впускной патрубок и второй обратный запорный клапан 42 сообщается с впускной коллекторной трубой 52, один конец которой заглушен, а второй соединен посредством отвода с обратным общим напорным трубопроводом 50. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.In another embodiment, the server farm is a server farm with n tanks. Figure 9 shows a diagram of the cooling circuit of a server farm, including n tanks. The server farm consists of n tight
Между общим фильтром грубой очистки 49 и теплообменником 40 встроен запорный трехходовой электромагнитный клапан 43, третий патрубок которого соединен с первым концом второго общего напорного трубопровода 53. Второй конец второго общего напорного трубопровода 53 соединен с третьим патрубком второго трехходового разветвителя, встроенного между теплообменником 40 и отводом. Запорный трехходовой электромагнитный клапан 43 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику 40, и направления его через второй общий напорный трубопровод 53, сообщенный с третьим патрубком второго трехходового разветвителя, который, в свою очередь, сообщен посредством обратного общего напорного трубопровода 50 с впускной коллекторной трубой 52 и подводящими трубопроводами 51, к каждому из резервуаров к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй общий напорный трубопровод и охлажденной жидкости из второго общего напорного трубопровода обратно в резервуар к вычислительным узлам, минуя теплообменник. Для обеспечения отказоустойчивости параллельно общему циркуляционному насосу 48 установлен дублирующий циркуляционный насос (не показан).A three-way shut-off solenoid valve 43 is integrated between the common coarse filter 49 and the
Во время работы серверной фермы вычислительные узлы полностью погружены в охлаждающую жидкость. В одном варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан переливается в первый напорный трубопровод, соединенный с циркуляционным насосом. Циркуляционный насос через фильтр грубой очистки прокачивает нагретую охлаждающую жидкость по сообщенному с ним первому напорному трубопроводу к открытому запорному трехходовому электромагнитному клапану и теплообменнику. Теплообменник отводит тепло от поступающей нагретой жидкости. Из теплообменника охлажденная охлаждающая жидкость поступает в обратный напорный трубопровод, сообщенный со вторым обратным запорным клапаном и впускным патрубком, а затем по распределительной трубе подается обратно в резервуар к вычислительным узлам. Таким образом, образуется большой замкнутый контур циркуляции охлаждающей жидкости, начинающийся от вычислительных узлов, продолжающийся к циркуляционному насосу, теплообменнику и возвращающийся в резервуар обратно к вычислительным узлам.During the operation of the server farm, the computing nodes are completely immersed in the coolant. In one embodiment of the invention, the coolant heated by the computing units through the exhaust pipe and the first check valve is poured into the first pressure pipe connected to the circulation pump. The circulation pump through the coarse filter pumps the heated coolant through the first pressure pipe connected to it to the open shut-off three-way solenoid valve and heat exchanger. The heat exchanger removes heat from the incoming heated fluid. From the heat exchanger, the cooled coolant enters the return pressure pipe in communication with the second check valve and the inlet pipe, and then is fed back to the computing units via the distribution pipe. Thus, a large closed loop of coolant circulation is formed, starting from the computing nodes, continuing to the circulation pump, heat exchanger and returning to the reservoir back to the computing nodes.
Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Циркуляционный насос через фильтр грубой очистки подает охлаждающую жидкость в первый напорный трубопровод, а запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй напорный трубопровод, где она охлаждается, а затем через трехходовой разветвитель, второй запорный клапан и впускной патрубок охлаждающая жидкость поступает обратно в резервуар к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения начиная от вычислительных узлов, продолжая к циркуляционному насосу и возвращаясь обратно в резервуар к вычислительным узлам, минуя теплообменник.If the ambient temperature does not exceed 0 ° C, the shut-off three-way solenoid valve is closed. The circulation pump through the coarse filter delivers coolant to the first pressure pipe, and the three-way shut-off solenoid valve directs the coolant to the second pressure pipe, where it is cooled, and then through the three-way splitter, the second shut-off valve and the inlet pipe, the coolant goes back to the tank to computing nodes. Thus, the coolant circulates through a small closed cooling circuit starting from the computing units, continuing to the circulation pump and returning back to the reservoir to the computing units, bypassing the heat exchanger.
В другом варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан, сообщенные с каждым из резервуаров, переливается в отводящие напорные трубопроводы, соединенные с выпускной коллекторной трубой. Затем охлаждающая жидкость поступает в первый общий напорный трубопровод к общему циркуляционному насосу, который через общий фильтр грубой очистки подает ее в теплообменник. В теплообменнике нагретая охлаждающая жидкость охлаждается и подается по обратному общему напорному трубопроводу во впускную коллекторную трубу, затем по соединенным с ней подводящим трубопроводам подается через обратные запорные клапаны и впускные патрубки обратно в резервуары к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по большому замкнутому контуру охлаждения, начинающемуся от вычислительных узлов, продолжающемуся к теплообменнику и возвращающемуся обратно в резервуар к вычислительным узлам.In another embodiment of the invention, the coolant heated by the computing units through the outlet pipe and the first check valve connected to each of the reservoirs is poured into the discharge pressure pipes connected to the exhaust manifold pipe. Then, the coolant enters the first common pressure pipe to the common circulation pump, which through the general coarse filter delivers it to the heat exchanger. In the heat exchanger, the heated coolant is cooled and fed through the return common pressure pipe to the intake manifold, then through the supply pipelines connected to it, through the check valves and inlet pipes back to the tanks to the computing nodes. Thus, the coolant circulates through a large closed cooling circuit, starting from the computing nodes, continuing to the heat exchanger and returning back to the reservoir to the computing nodes.
Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Общий циркуляционный насос через общий фильтр грубой очистки подает охлаждающую жидкость в первый общий напорный трубопровод, при этом запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй общий напорный трубопровод. А затем через третий патрубок второго трехходового разветвителя посредством обратного общего напорного трубопровода, впускной коллекторной трубы и подводящих трубопроводов охлаждающая жидкость возвращается обратно к каждому из резервуаров к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения, минуя теплообменник.If the ambient temperature does not exceed 0 ° C, the shut-off three-way solenoid valve is closed. The common circulation pump through the common coarse filter supplies coolant to the first common pressure pipe, while the three-way shut-off solenoid valve directs the coolant to the second common pressure pipe. And then through the third branch pipe of the second three-way splitter, by means of the return common pressure pipe, the intake manifold pipe and the supply pipes, the cooling liquid is returned back to each of the tanks to the computing nodes. Thus, the coolant circulates through a small closed cooling circuit, bypassing the heat exchanger.
Температура окружающей среды, при которой возможна работа заявляемой серверной фермы, колеблется от -40°С до +40°С.The ambient temperature at which the operation of the inventive server farm is possible ranges from -40 ° C to + 40 ° C.
Серверная ферма получает питание от внешнего источника питания посредством кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки, одни концы которых соединены с внешним источником питания, а другие концы соединены с разъемом питания 21 на второй печатной плате.The server farm receives power from an external power source through power cables through the
В качестве охлаждающей жидкости используются синтетические или натуральные масла.As a cooling liquid, synthetic or natural oils are used.
Повышение плотности установки вычислительных узлов достигается за счет отсутствия индивидуального корпуса, в который заключается вычислительный узел, и индивидуального контейнера, в который заключаются одна или более материнских плат, приспособлений для охлаждения, используемых в известных решениях, например теплоотводящих плат и охлаждающих модулей, не использованием стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов и с монтажными и эксплуатационными промежутками. Кроме того, на монтажных печатных платах установлены материнские и съемные печатные платы с обеих сторон. Все это увеличивает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Помимо того, изобретением не предусмотрено использование стандартных вычислительных узлов, предназначенных для воздушного охлаждения, что сокращает размеры устанавливаемых в заявляемую серверную ферму вычислительных узлов.The increase in the density of the installation of computing nodes is achieved due to the lack of an individual case in which the computing node is located, and an individual container in which one or more motherboards are located, cooling devices used in known solutions, for example, heat-removing boards and cooling modules, without using standard server racks with a standard width of seats for computing nodes and with mounting and operating intervals. In addition, motherboards and removable printed circuit boards on both sides are installed on the circuit boards. All this increases the usable space that can be used to install additional computing nodes. In addition, the invention does not provide for the use of standard computing nodes designed for air cooling, which reduces the size of the computing nodes installed in the inventive server farm.
Функционирование при отрицательных температурах окружающей среды достигается за счет использования нагревательных элементов.Functioning at low ambient temperatures is achieved through the use of heating elements.
Возможность горячей замены блоков питания и накопителей информации достигается за счет подключения части накопителей информации, расположенных на съемной печатной плате, установленной на одной стороне монтажной печатной платы, к материнской плате, смонтированной на другой ее стороне, и организации зеркалирования данных между накопителями информации, подключенными к одной материнской плате. А также тем, что оба блока питания работают в параллельном режиме. А также тем, что блоки питания и накопители информации расположены на съемной печатной плате.The ability to hot-swap power supplies and information storage devices is achieved by connecting part of the information storage devices located on a removable printed circuit board installed on one side of the mounting printed circuit board to a motherboard mounted on its other side, and organizing data mirroring between information storage devices connected to one motherboard. As well as the fact that both power supplies operate in parallel. As well as the fact that power supplies and information storage devices are located on a removable printed circuit board.
Claims (15)
распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с впускным патрубком, установленным в нижней части стенки резервуара,
а выпускной патрубок установлен в верхней части стенки резервуара и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с циркуляционным насосом, фильтром грубой очистки и теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с впускным патрубком,
между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном,
крышка резервуара образована двумя створками с разной площадью поверхности и установлена с возможностью съема и подъема, причем большая створка установлена с обеспечением возможности съема и подъема в режиме остановки и работы серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных, причем гибкая плата или шлейф соединены с одним концом внешнего кабеля передачи данных, другой конец которого подключен к внешнему управляющему устройству, а сетевой коммутатор соединен с одним концом первого кабеля передачи данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки и подключен к внешнему управляющему устройству,
первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, а вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и разъемами данных выполнены нагревательные элементы,
вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки, перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы,
а верхняя ее часть соединена посредством разъема данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с одним концом внешнего кабеля питания, пропущенного через другое отверстие в меньшей створке крышки, посредством разъемов питания, при этом другой конец внешнего кабеля питания соединен с внешним источником питания,
причем сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания,
вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате,
материнская плата подключена к сетевому коммутатору посредством второго кабеля данных,
съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных,
широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных,
в нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы,
при этом половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных,
каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме.1. A server farm with an immersion cooling system, consisting of a sealed tank with computing units installed in it, consisting of a circuit board with a motherboard mounted on it, power supplies, storage media filled with coolant, equipped with a cover, guides for the vertical installation of computing nodes , inlet and outlet pipes communicating via a pipeline with a pump and a heat exchanger, characterized in that the server farm is equipped with a distribution a single pipe, two printed circuit boards, a network switch, and
a distribution pipe is installed parallel to the entire bottom of the tank and is formed by two perforated pipes parallel to each other, connected by a U-shaped connector, one end of the distribution pipe is plugged, and the second is connected to an inlet pipe installed in the lower part of the tank wall,
and the exhaust pipe is installed in the upper part of the tank wall and is connected through the first check valve to a circulation pump, a coarse filter and a heat exchanger, which, on the other hand, is connected via a check pressure pipe through a second check valve to the inlet pipe,
a coarse three-way solenoid valve is installed between the coarse filter and the heat exchanger, the third pipe of which is connected to the first end of the second pressure pipe, the second end of which is connected to the third pipe of the three-way splitter integrated in the return pressure pipe between the heat exchanger and the second check valve,
the tank lid is formed by two shutters with different surface areas and is installed with the possibility of lifting and lifting, and the large shutter is installed with the possibility of lifting and lifting in the stop mode and the server farm, on the inside of the larger shutter there is a network switch, and a hole is made in the smaller shutter for a loop or flexible printed circuit board having data connectors at the ends, the flexible board or loop connected to one end of an external data cable, the other end of which is connected connected to an external control device, and the network switch is connected to one end of the first data cable, the other end of which is brought out through an opening in a smaller leaf of the lid and connected to an external control device,
the first printed circuit board is installed parallel to the plane of the tank bottom under the distribution pipe, it has end data and power connectors, and data connectors are aligned along one edge, and power connectors are aligned along the opposite edge, between the power connectors and data connectors made heating elements
the second printed circuit board is mounted close to one of the walls of the tank, to which a smaller flap of the lid is attached, perpendicular to the first printed circuit board and joined edge to edge with the help of mates for the end connectors of data and power of the first printed circuit board,
and its upper part is connected via a data connector to a flexible printed circuit board or cable, passed through an opening in the smaller leaf of the lid of the tank, and to one end of the external power cable passed through the other hole in the smaller leaf of the lid, through power connectors, the other end of the external the power cable is connected to an external power source,
moreover, the network switch is powered by a power connector located in the upper part of the second printed circuit board, using a power cable,
computing nodes are installed using data and power connectors on the first printed circuit board parallel to the second printed circuit board and consist of a printed circuit board that is divided by a longitudinal divider into narrow and wide compartments, two longitudinal holders are mounted symmetrically on both sides of the narrow compartment on both sides in the form guides for fixing the removable printed circuit board, on which the power supply unit, information storage devices and the connector block of the power and data connectors are located, and mounts in a wide compartment on both sides I'm on the motherboard,
the motherboard is connected to the network switch via a second data cable,
the plug-in board is connected to the circuit board through the power and data connector blocks,
a wide compartment of the circuit board is connected via a flexible printed circuit board or a cable to the motherboard using data connectors,
in the lower edge of the mounting circuit board, a rectangular cutout is made for the passage of the distribution pipe,
in this case, half of the information storage devices located on the removable printed circuit board installed on one side of the circuit board are connected to the motherboard mounted on the same side of the mounting circuit board, and the remaining information storage devices are connected to the motherboard mounted on the other side of the mounting circuit board , between the storage devices connected to the same motherboard, a complete data mirroring is organized,
each power supply is connected to both motherboards, while both power supplies operate in parallel.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012127340/08A RU2496134C1 (en) | 2012-07-02 | 2012-07-02 | Server farm with immersion cooling system |
| PCT/RU2012/000816 WO2014007672A1 (en) | 2012-07-02 | 2012-10-09 | Server farm with an immersive cooling system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012127340/08A RU2496134C1 (en) | 2012-07-02 | 2012-07-02 | Server farm with immersion cooling system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2496134C1 true RU2496134C1 (en) | 2013-10-20 |
Family
ID=49357283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012127340/08A RU2496134C1 (en) | 2012-07-02 | 2012-07-02 | Server farm with immersion cooling system |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2496134C1 (en) |
| WO (1) | WO2014007672A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2632400C1 (en) * | 2016-05-20 | 2017-10-04 | Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации | Computer cluster with submerged cooling system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6807056B2 (en) * | 2002-09-24 | 2004-10-19 | Hitachi, Ltd. | Electronic equipment |
| EA200601819A1 (en) * | 2004-03-31 | 2007-08-31 | Белитс Компьютер Системс, Инк. | FLAT COOLING SYSTEM BASED ON THERMOSIFON FOR COMPUTERS AND OTHER ELECTRONIC DEVICES |
| US20080232064A1 (en) * | 2007-03-22 | 2008-09-25 | Fujitsu Limited | Cooling system for information device |
| US20110075353A1 (en) * | 2006-05-16 | 2011-03-31 | Hardcore Computer, Inc. | Liquid submersion cooling system |
| RU108662U1 (en) * | 2011-04-27 | 2011-09-20 | Учреждение Российской академии наук Институт программных систем им. А.К. Айламазяна РАН (ИПС им. А.К. Айламазяна РАН) | PARALLEL ACCESS DATA STORAGE SYSTEM |
| US20110247348A1 (en) * | 2010-04-12 | 2011-10-13 | Fujikura Ltd. | Cooling device, cooling system, and auxiliary cooling device for datacenter |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005316861A (en) * | 2004-04-30 | 2005-11-10 | Hitachi Ltd | Disk array device |
| US8139355B2 (en) * | 2010-05-24 | 2012-03-20 | International Business Machines Corporation | Memory module connector having memory module cooling structures |
-
2012
- 2012-07-02 RU RU2012127340/08A patent/RU2496134C1/en active
- 2012-10-09 WO PCT/RU2012/000816 patent/WO2014007672A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6807056B2 (en) * | 2002-09-24 | 2004-10-19 | Hitachi, Ltd. | Electronic equipment |
| EA200601819A1 (en) * | 2004-03-31 | 2007-08-31 | Белитс Компьютер Системс, Инк. | FLAT COOLING SYSTEM BASED ON THERMOSIFON FOR COMPUTERS AND OTHER ELECTRONIC DEVICES |
| US20110075353A1 (en) * | 2006-05-16 | 2011-03-31 | Hardcore Computer, Inc. | Liquid submersion cooling system |
| US20080232064A1 (en) * | 2007-03-22 | 2008-09-25 | Fujitsu Limited | Cooling system for information device |
| US20110247348A1 (en) * | 2010-04-12 | 2011-10-13 | Fujikura Ltd. | Cooling device, cooling system, and auxiliary cooling device for datacenter |
| RU108662U1 (en) * | 2011-04-27 | 2011-09-20 | Учреждение Российской академии наук Институт программных систем им. А.К. Айламазяна РАН (ИПС им. А.К. Айламазяна РАН) | PARALLEL ACCESS DATA STORAGE SYSTEM |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2632400C1 (en) * | 2016-05-20 | 2017-10-04 | Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации | Computer cluster with submerged cooling system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014007672A1 (en) | 2014-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2500012C1 (en) | Server farm with immersion cooling system | |
| US10729039B2 (en) | Liquid cooled rack information handling system having storage drive carrier for leak containment and vibration mitigation | |
| RU2559825C2 (en) | Server frame with immersion cooling system | |
| US10146231B2 (en) | Liquid flow control based upon energy balance and fan speed for controlling exhaust air temperature | |
| US9591787B2 (en) | Selective clamping of electronics card to coolant-cooled structure | |
| US8089764B2 (en) | Case and rack system for liquid submersion cooling of electronic devices connected in an array | |
| US10156873B2 (en) | Information handling system having fluid manifold with embedded heat exchanger system | |
| US8817474B2 (en) | Multi-rack assembly with shared cooling unit | |
| RU2500013C1 (en) | Liquid-cooling system for electronic devices | |
| CN112543579B (en) | Hybrid multi-function door design for electronics rack | |
| US20170181322A1 (en) | Scalable rack-mount air-to-liquid heat exchanger | |
| WO2017111992A1 (en) | Rack information handling system having modular liquid distribution (mld) conduits | |
| US20060067047A1 (en) | Modular liquid cooling of electronic assemblies | |
| RU2496134C1 (en) | Server farm with immersion cooling system | |
| US20240114667A1 (en) | Hybrid datacentre module | |
| US10897837B1 (en) | Cooling arrangement for a server mountable in a server rack | |
| EP3989694B1 (en) | Auto-connecting system for liquid cooled servers | |
| US11882670B2 (en) | Cooling system for single phase immersed servers | |
| US20240365502A1 (en) | Immersion cooling using cooling containers for an electronic device | |
| CN117242907A (en) | Computer cooling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB4A | Licence on use of patent |
Free format text: LICENCE Effective date: 20140520 |