K našemu stávajícímu datacentru “Bunkr” jsme se rozhodli postavit ještě druhé datacentrum “Trezor”, kde je kompletně využita technologie chlazení serverů v olejové lázni. Odpadní teplo je pak odvedeno do městského bazénu. V současné době už jsou stavební práce dokončeny a pracujeme na vnitřní infrastruktuře. Koncem dubna jsme zafukovali optiku. Naučili jsme se spoustu nových věcí a samozřejmě pro vás, vše i zaznamenali.
Nejdříve v krátkosti o WEDOS DC 2 alias “Trezor”
Datacentrum WEDOS 2 alias “Trezor” je monolitická železobetonová stavba, která má 30 až 110 cm silné zdi. Nejsou to žádné panely, vše je odlito a vyztuženo až 2,5 cm silnými železnými tyčemi. Část datového sálu je navíc ve svahu, tedy v podzemí.
Jedná se o unikátní řešení, které je nejen velice úsporné, ale navíc je vyprodukované teplo efektivně využito. Servery a některé další technologie jsou chlazeny v olejové lázni a teplo je odváděno pomocí vodního chlazení. Na rozdíl od teplého vzduchu, který lze využívat velice omezeně, můžeme ohřátou vodu snadno odvést prostřednictvím potrubí, kam budeme chtít.
Je to první velký komerční experiment, který může mít dopad na budoucnost naší planety. V roce 2015 spotřebovala datacentra po celém světě 0,9 % elektrické produkce. V roce 2025 to bude 4,5 %.
Pokud by byla využita technologie, kterou používáme, mohla by tato čísla klesnout až o desítky procent. Navíc vyprodukovaným teplem by datacentra mohla zásobovat celá města a to zdarma! Pro datacentra je teplo odpad, kterého se nějak musí zbavit, přitom doma za něj každým rokem platíme víc a víc. Momentálně nemáme v plánu žádné patenty. Technologie, včetně výsledků, chceme prezentovat veřejnosti. Ale to si necháme na jiný článek 😉
Propojení datacenter
Naše datacentra jsou od sebe vzdálená 630 metrů vzdušnou čarou. Odděluje je skála a cca 50 metrů vysoký kopec, na kterém stojí zámek Hluboká s nádhernými zámeckými zahradami.
Abychom zajistili dostatečnou redundanci, rozhodli jsme se že první trasa povede okolo skály a druhá přes zámek.
U první trasy jsme zároveň brali v potaz napojení na trasu, která nám umožní připojit se do internetu přes Rakousko. V případě výpadku Prahy totiž český internet de facto přestane existovat (velká část .cz domén je zcela závislá na pražských datacentrech) a navíc všechny trasy vedou přes Prahu. My se proti takovému výpadku staneme odolnými – všechen provoz pojede přes zahraničí.
U druhé trasy jsme zvažovali dvě varianty. Provrtat se skrz skálu až k našemu druhému datacentru anebo jít přes nádherné zámecké zahrady. Na provrtání to však bylo moc daleko, takže nakonec jsme se dohodli a na zámek zavedeme optiku a mohou tam mít třeba 100 Gbps konektivitu. 🙂
Jak se kope výkop pro optiku
Před samotným kopáním se musí vše dobře naplánovat. Hlavně jakým dalším sítím se vyhnout, případně je využít. Samozřejmě musíte mít potřebná povolení od města a vlastníků pozemků. Hluboká nad Vltavou je turistické centrum jižních Čech, takže bylo nutné se hodně přizpůsobit. Nakonec jsme na různé etapy kopali čtyři roky. Využili jsme také spolupráci s energetickou společností e.ON, který potřeboval do země položit své kabely. Něco jsme k nim přihodili 🙂
Samotný optický kabel musí být chráněn mikrotrubičkou anebo chráničkou. Ta jej ochrání před vnějšími vlivy, jako je voda, tlak anebo například zvířata. Chráničky se pokládají do hloubky zhruba 60 až 100 cm.
Dno výkopu je vysypané pískem. Na něj se položí chránička a zasype se opět vrstvou písku. V některých případech je nutné výkop ještě vyztužit.
Nad písek je pak výstražná fólie. Ta slouží jako varování při dalších výkopových pracích. Když na ní bagrista narazí, tak ví, že pod ní jsou vedeny nějaké kabely.
Vedle chrániček jsme položili i měděný kabel, který nám umožní přesné zaměření celé trasy.
Zbytek výkopu se zakope hlínou a povrch uvede do stejného anebo lepšího stavu. V našem případě to bylo občas poměrně obtížné, protože jsme vedli výkop třeba přes zámecké zahrady. Jindy jsme zase museli udělat úplně nový chodník.
Pár zajímavostí:
- Kabely vysokého napětí jsou navíc ještě v betonových chráničkách.
- V některých případech nelze zakopat chráničky tak hluboko (například ve městech), kde se kříží s jinou trasou a je třeba přizpůsobit uložení chráničky (vyztužení).
Řízený protlak
Ne vždy můžete kopat, protože vám v cestě například stojí stavba. V našem případě do byl kostel. Tehdy se vám hodí využít stroje, které umí dostat chráničky podzemím.
Optické kabely
Co jsou optické kabely? To zase někdy příště…
A jaké optické kabely jsme použili k propojení datacenter my?
Pro propojení datacenter používáme na každé trase dva optické kabely. První z nich je 12 vlákno a část z toho použijeme pro připojení třetích osob na trase.
Pro každý subjekt na trase je vyhrazeno jedno vlákno, Minimálně 7 jich máme pro sebe. Mezi připojené patří například zámek Hluboká, městský úřad anebo několik hotelů. Každé z těchto vláken může u nás být připojeno na 100 Gbps port, ale předpokládáme, že to bude 1 Gbps. Takže můžeme s nadsázkou říct, že v Hluboké máme renesanční zámek s nejrychlejším internetem 🙂
Další optický kabel je “skromné” 96ti vlákno. To máme zafouknuté, tedy spíše zatažené, pro budoucí rozšiřování služeb a nasazení nových technologií. Teoreticky přes něj umíme mezi datacentry vytvořit konektivitu 9,6 Tbps a to zdvojenou 🙂 Navíc dnes existují technologie, které umějí po jednom vláknu poslat různé vlnové délky světla a tím přenosové kapacity zmnohonásobit… Například poměrně dostupné je řešení znásobení na 96x… Takže bychom mohli mít 96 vláken a každé “znásobit” na 96 a na každé osadit například (pro nás již běžných) 100Gbps… To ani nebudeme počítat.
To víte, nejsme žádný startup na rychlý prodej. Plánujeme rozvoj na 10 – 15 let dopředu. Máme velké plány a jdeme postupně kupředu. Nehodláme zamrznout na jednom místě a jen snít. I proto si všechno děláme sami. Sami si navrhujeme datacentrum podle TIER IV, stavíme jej, učíme se zafukovat optické trasy a experimentujeme s technologiemi, jako je olej. Baví nás to a vy s námi můžete být u toho ať už jako zákazníci anebo fanoušci 😉
Proč 12ti vlákno a ne víc?
Za ty roky provozu datacentra jsme pochopili, že jednou z nejdůležitějších věcí je umět co nejrychleji odstranit problém, který nastane. Svařovat optické vlákno není nic jednoduchého. Za ideálních podmínek zvládneme jedno vlákno do 5 minut.
I kdybyste chtěli z těch všech svařit jen 1 vlákno, tak jej musíte nejdříve poznat. To je daleko jednodušší u 12ti než u 96 🙂
Samozřejmě nemůžete venku nechat válet se optický kabel. Je třeba svařit jej celý, rychle dát do chráničky a zabezpečit (zakopat). 96tka je práce na celý den spíše dva, protože pracujete venku.
Proto jsme se rozhodli, že hlavní bude 12ti vlákno na každé trase a 96tka bude zatím spíše taková záloha.
Vše je dvakrát. Jednou je to celé (12 vláken a 96 vláken) přes kopec (od západu k východu) a podruhé (opět 12 vláken a 96 vláken) okolo kopce (jižní cesta). Nikde se to nepotkává, nikde to nemá souběh, nikde se to nekříží a do budov přichází každý z jiné strany…
Na každé trase máme stále ještě volnou jednu nebo dvě chráničky 40mm, kde můžeme zafouknout mikrotrubičky a do každé z nich dát dalších 96 až 144 vláken…
V Hluboké Nad Vltavou nám všichni vyšli vstříc a moc jim za to děkujeme. Je radost zde budovat vysokorychlostní internet.
Svařování optiky
Svařování optiky je precizní práce, kterou musí venku dělat zkušený člověk. Takové máme ve firmě 3. V Datacentru za ideálních podmínek je to jednodušší. To může provádět, kdokoliv z kolegů, který to umí.
Máme vlastní svařovačku optiky, abychom v případě problému nemuseli čekat na specializovanou firmu. Kdokoliv z kolegů, který se chce naučit svařovat optiku, tak může.
Kvalitní svařovačka optiky stojí stovky tisíc, ale my to bereme jako nutnost. Pokud chcete provozovat datacentrum, tak jí prostě potřebujete. Nám se vyplatí o to víc, protože provozujeme a udržujeme několik lokálních optických tras.
Zafukování kabelů
Když už máte všechno připravené a spočítané, je načase optický kabel dostat do chrániček a mikrotrubiček. K tomu se používá Zafukovačka. Jedná se o přístroj, který se pohání kompresorem. Ten roztáčí kola, která tlačí kabel dovnitř a zároveň udržuje uvnitř vzduch, tak aby se kabel vznášel a snižoval co možná nejvíce tření.
To se nám však ze začátku úplně nedařilo. Proto jsme zvolili taktiku odmotání kabelu dopředu a jeho rozložení na právě zafukovaném úseku. Zvláště v zámeckých zahradách jsme byli pro turisty zajímavou atrakcí.
Vše vypadá na první pohled velice jednoduše. Ve skutečnosti je však úspěšné zafukování podmíněno pořádnou přípravou.
Našim největším nepřítelem byla vlhkost. Jakmile narazíte na vodu, tak je konec. Proto je nutné nejdříve mikrotrubičku pořádně vysušit. O to se postaral výkonný kompresor. Následně jsme mikrotrubičkami prohnali obyčejné nastříhané houbičky na mytí nádobí.
Jako další jdou houbičky s lubrikantem, které mají celou trasu promazat. No a jak to vypadá, když houbičky dorazí, uvidíte na následujícím videu.
U mikrotrubiček to takový problém nebyl, ovšem u 40mm chrániček už jsme nebojovali s vlhkostí, ale rovnou s vodou. Tam náš malý kompresor nestačil a museli jsme si pořídit pořádného macka. Ten se do toho profukování pořádně opřel. No posuďte sami 🙂
Video není v nejlepší kvalitě. Narychlo jej zachytil náš šéf, když se šel podívat, jak to jde. Původně voda stříkala do výšky až 6 metrů 🙂
Skrz 40 mm chráničky se už zafukuje trochu jinak. Potřebujete silnější kompresor. Mnohem silnější. Ten jsme si zapůjčili a vyrobili jsme si vlastní řešení na zafukování. Celé jsme to poskládali z díly jednoho hobbymarketu za pár tisíc. Trochu jsme si s tím pohráli a nakonec to fungovalo skvěle. Zafukovali jsme současně oba kabely (12 vláken a 96 vláken) a to na vzdálenosti i přes 500 metrů v kuse. Chvilku nám trvalo, než jsme naši vlastní zafukovací technologii vylepšili, ale potom to šlo. Nakonec jsme zafukovali kabely o délce cca 1.700 metrů a oba současně.
Trochu jsme tomu pomohli tím, že jsme si zafoukli ocelové lanko. Nejprve jsme zkusili 1 mm, ale při protahování ho jeden z kolegů přetrhl (pozor na něho)… Takže jsme nakonec koupili lanko 2 mm. To jsme zafoukli pomocí silného kompresoru a následně jsme na toto lanko uvázali optické kabely. Připojili jsme naši technologii na zafukování a pustili kompresor a už to jelo. 2 kolegové odmotávali z cívek kabely a nestíhali. Byli nejvíce zpocení z celé sestavy několika lidí, kteří se na celé akci podíleli. Jeden obsluhoval kompresor, jeden “ládoval” kabely do chráničky. Dva odmotávali kabely z cívek. A dva lidí na druhé straně vyndavali kabely z chrániček a rovnali.
Celá naše WEDOS zafukovačka 2 kabelů současně do 40 mm chráničky stála několik hodin vymýšlení a experimentů a jinak jednotky tisíc korun. K tomu zapůjčení hodně silného kompresoru, který jsme si nakonec zapůjčili za tisíc korun za den. A vše jsme udělali sami a víme o každém detailu naší trasy.
Byl to takový teambuilding.
Bohužel nám nepřálo počasí a dělali jsme to za deště a v chladu. A nemáme k tomu dokumentaci. Což je škoda, protože to byl takový hezký kousek 🙂
Závěr
Další velká etapa stavby druhého datacentra je za námi. Teď když už je připojeno k internetu, můžeme pomalu začít s testovacím provozem. Naplnit první vany olejem, naložit do nich HPE Moonshoty a rozjet testování olejových služeb v nových podmínkách.
Doufáme že nám s tím vším pomůžete 😉