Provedli jsem už řadu experimentů s olejovým chlazením serverů. Některé trvaly doslova pár minut a jindy zas šel celý projekt i několik let, abychom nasbírali dostatek dat potřebných pro dlouhodobý provoz. Výsledkem řady experimentů je naše druhé datacentrum, kde bude všech plánovaných 10.800 fyzických serverů chlazeno v olejových lázních pomocí obřího chladícího okruhu. Součástí je i projekt, který má dokázat (proof of concept), že odpadní teplo získané z olejového chlazení lze použít na vytápění vzdálených objektů. Ovšem ani u toho nekončíme, ještě tu máme projekt HUPS 😉
Historie olejového chlazení WEDOS
U WEDOS jsme s olejovým chlazením začali experimentovat v roce 2013. Věděli jsme, že by to mohlo fungovat, dokonce v mnoha ohledech překonat fyzikální limity běžného chlazení vzduchem. Na druhou stranu nám vrtalo hlavou, když to je tak skvělé a navíc i levné, proč to nikdo jiný komerčně nepoužívá?
Rok 2013
Spíše z hecu jsme si tak nechali na zakázku vyrobit plastovou vanu a dali do ní starší ale funkční server. Zalití serveru a naše bezprostřední reakce můžete vidět na videu 🙂
V rámci tohoto projektu měl být server potopený týden, abychom zjistili, jak to s ním dopadne. Nakonec se to protáhlo až do roku 2015, kdy jsme s projektem pokročili dále.
Potřebovali jsme prozkoumat stav serveru, který byl dva roky v běžném transformátorovém oleji. Popravdě byl jako nový. Nedal se ani zdaleka srovnat se servery, které jsou v serverovně chlazené vzduchem. Pochopili jsme, že olej bude mít velice příznivý vliv také na životnost všech komponent.
U dalšího projektu jsme tak začali řešit i impregnaci hardware s možností následného odmaštění, které by se mohlo hodit třeba pro reklamace.
Rok 2014 – 2015
Koncept olejového chlazení nám dával stále více a více smysl. Začali jsme tak hledat po světě reálné instalace. Jednu takovou měli na univerzitě ve Vídni, kde sloužila jako demonstrace toho, že to je technicky možné. Náš šéf se tam zajel podívat a po návratu dal zelenou další fázi projektu olejového chlazení.
Koupili jsme poloviční rack, který jsme kompletně rozebrali. Potřebovali jsme z něj nakonec jen kostru.
Na zakázku jsme si nechali vyrobit vanu z tvrzeného plastu a pak ještě záchytnou vanu, pokud by náhodou došlo k nehodě.
Dále bylo třeba vytvořit skutečný vodní chladící okruh s výměníky tepla, čerpadly, plně zálohovaný pro případ výpadku.
Dlouhé měsíce také zabralo hledání vhodného oleje. Klasický transformátorový olej byl extrémně mastný a měli jsme také obavu, zdali není příliš agresivní. Po dlouhém bádání jsme se nakonec rozhodli pro farmaceutický olej, který měl velmi dobré vlastnosti – není zdraví škodlivý, je prakticky nehořlavý (ačkoliv je uvedena třída IV., tak přímým ohněm jej nezapálíte), nijak nezapáchá, skvěle vodí teplo a životnost je 30 – 50 let.
Pro naše experimentování jsme si objednali pro jistotu 1.000 litrů 🙂
Celé chlazení jsme sestavili a připravili na Dny otevřených dveří 2015, kdy jsme měli v plánu utopit testovací servery, včetně jednoho úplně nového, který byl z produktové řady určené pro tehdejší služby NoLimit a VPS SSD.
Samozřejmě z utopení serverů máme video 🙂
Celé chlazení jsme mohli kontrolovat a ovládat na dálku. Vývojáři nám pro to naprogramovali kompletní systém.
Provedli jsme desítky testů a experimentů. Sledovali jsme chování jak hardware tak i software/firmware. Během několika měsíců jsme nasbírali velké množství dat, zkušeností a poznatků, které určily směr a vývoj olejového chlazení u nás.
Mnoho zjištění bylo pro nás zcela revolučních. Otevřeli jsme zcela novou “dimenzi”, kde věci fungují odlišně, stačí přijít na to, jak toho využít. To však bude spíše pro budoucí projekty 😉
Rok 2016
V roce 2016 už probíhala stavba našeho druhého datacentra, kde už bylo rozhodnuto, že všechny servery budou chlazeny v olejových lázních. Z nich pomocí vodního okruhu bude přes tepelné výměníky odváděno teplo do nedalekého městského bazénu.
Vzhledem k situaci na trhu, respektive kam směřuje vývoj serverů a softwaru, jsme přešli z konceptu velkých van pro jednotlivé servery na vany pro serverové skříně. Dnes už se neškáluje upgradováním jednoho serveru, ale přidáním více serverů. Jednotlivé servery mají své fyzické limity a navíc od určitých parametrů už výrazně roste cena, zatímco pokud umíte rozložit zátěž na více strojů, tak škálujete výrazně levněji a na fyzické limity hardware jen tak nenarazíte.
Pro tuto potřebu jsme přešli z hlubokých van s konstrukcí racku uvnitř v podstatě na běžnou vanu, kam se bude dát serverová skříň jen položit. Plast nahradil nerez hlavně z bezpečnostních důvodů – nehoří 🙂
Dále bylo rozhodnuto, že vsadíme na serverové skříně HPE Moonshot, které umožňují koncentrovat obrovský výpočetní výkon na velmi malém prostoru, ovšem za cenu, že potřebují extrémně chladit, což nám nevadilo. Od toho máme olej. Do každého HPE Moonshot se vejde 45 fyzických serverů a má 2 switche s uplinky až do 320 Gbps. Cena … jako rodinný dům 🙂
Každý HPE Moonshot se bude muset rozebrat a impregnovat. To zajistí lepší tepelnou vodivost a snadnější odmaštění.
Odmašťování jsme si také vyzkoušeli. Existují na to prostředky, které v kombinaci s vhodnou impregnací olej kompletně z hardware odstraní.
Výsledkem byl následující prototyp olejového chlazení 2, určený pro dlouhodobé testování HPE Moonshot.
Samozřejmě opět máme i video ze zalévání oleje 🙂
2017 – 2020
Následovali dlouhodobé testy, konzultace výsledků s výrobci hardware, chlazení, trubek, výměníků, čerpadel … Dokonce v oleji běželo i několik projektů, pro které jsme poskytli hardware zdarma.
Pro nás bylo důležité potvrdit, co už víme z předchozích experimentů a připravit podklady pro olejové vany v druhém datacentru.
Většina výzkumu a práce spojená s olejovým chlazením tak probíhala v souvislosti s vanami.
V roce 2019 jsme měli už horkého kandidáta viz. článek Jak pokračuje vývoj olejového chlazení: Olejová vana v4.3. Dokonce jsme jí měli už přímo u nás v DC2 na první zátěžové testy.
Bylo potřeba vyřešit jen pár úprav pro snadnější manipulaci se servery.
Nakonec však došlo k zásadnějším zásahům a výsledkem byla verze 5.1., která ovšem měla jeden vážnější konstrukční nedostatek.
V současné době tedy projekt olejového chlazení serverů čeká na novou vanu. Ovšem není to jediný projekt spojený s olejovým chlazením 😉
Projekt HUPS
Po úspěšném “utopení serverů” jsme pochopili, že chlazení olejem má velký potenciál do budoucna i nad rámec serverů. Proto jsme začali přemýšlet, co všechno by se vyplatilo ještě utopit.
A tak vznikl projekt HUPS (Hospodárná UPS). Ano, přesně tak. Už několik měsíců připravujeme utopení UPS. V prostorách serverovny DC2 máme rozebranou UPS a čekali jsme na vhodnou nádobu, kterou nám minulý týden dodali.
Bude to úplně nová výzva. Co přesně máme v plánu? Zvažujeme, že uděláme online přenos z potápění UPS. O podobném potápění UPS do oleje nikde nic nenajdete a tak zřejmě půjde o světovou premiéru.
Jsme v kontaktu s výrobcem v UPS z Francie a Itálie, kteří se na náš experiment těší. Nejprve chceme čisté potopení UPS do oleje a budeme doufat. V prvním kroku neplánujeme úpravy firmwaru a technické změny, které máme u serverů. Ano, tam máme například upravený firmware výrobce HPE přimo od vývojářů z USA. U UPS to nečekejte 🙂
Nejprve bychom chtěli utopit malou UPS 30KVA od firmy Socomec. Pokud vše bude v pořádku, tak jsme připraveni utopit 4 další UPS a to každou o velikosto 80KVA.
Přemýšlíme, že bychom vše streamovali online. Takýe se máte na co těšit. Jsme připraveni i na to, že se to nepovede 🙂