Dneska si vysvětlíme několik dalších detailů o TIER IV, aby bylo jasné co vše musíte splňovat, abyste mohli získat mezinárodně uznávanou certifikaci TIER IV.
V minulém díle seriálu jsme se věnovali tomu, co je pojem TIER obecně.
Pohádky nebo fakta
Dnes se budeme věnovat jednotlivým záležitostem, které je potřeba splnit, abyste mohli získat příslušnou certifikaci TIER. V různých diskuzních fórech se setkáte s mnoha a mnoha různými “pohádkami”, kdy někteří jedinci vysvětlují co musí a co nemusí datacentrum pro TIER splňovat. Velmi často to jsou informace vymyšlené a mnohdy pocházejí z agentury “jedna paní povídala”. Naše tvrzení vycházejí z oficiálních podkladů a materiálů od Uptime Institut.
U každé certifikace se vychází z několika veličin a příslušná certifikace je vystavena pro konkrétní datacentrum, které je charakterizované především svojí velikostí (v metrech čtverečních) a příkonem, který datacentrum musí zvládnout (na které je stavěné a to je v kW).
Vzhledem k tomu, že se při naší certifikaci chceme věnovat stupni TIER IV, tak naše texty zaměříme primárně na tento stupeň. Pokud některé informace nebudeme uvádět přesněji, tak se informace vztahují k tomuto stupni – TIER IV. Jednak musíme splňovat vše co vyžadují podmínky pro TIER I nebo TIER II nebo TIER III, ale zároveň musíme splnit několik dalších kritérií navíc.
TIER IV
Jedním z velmi důležitých rysů úrovně TIER IV je “Fault Tolerant” neboli tolerance vůči chybám. Tato vlastnost rozšiřuje “Concurrently Maintainable” z úrovně TIER III tak, že kritické prostředí musí svou činnost vykonávat automaticky dále i z důvodu neplánovaného výpadku. Dokonce i z výpadků kumulativních. Ano, vše musí být navíc zcela automatické.
U TIER IV datacentra musíte mít zajištěné to, že vše je zajištěné mnohonásobně (minimálně tedy 2x) na plnou kapacitu (100% hodnoty datacentra). U takového datacentra hovoříme o “větvi” A a větvi “B”. Všechny násobné systémy (například napájení, chlazení, konektivita) musejí být zcela nezávislé a tak nesmí jedna část být závislá na druhé. Všechny redundantní prvky musejí být nejen nezávislé, ale také fyzicky oddělené (jde nejen o fyzické oddělení, ale také o protipožární bezpečnost a ochranu před přenosem havárie z jednoho systému na druhý).
Všechny (i doplňkové) systémy a distribuční cesty musejí být fyzicky oddělené od všech ostatních, aby se předešlo vzájemným vlivům a dopadům.
Každá větev (napájení, chlazení, konektivity) musí být o kapacitě minimálně N (takže celé datacentrum je 2N nebo 2N+1 nebo 2N+2).
Jakákoliv komponenta se může porouchat nebo může být servisována a nesmí dojít k jakékoliv změně v provozu systému nebo k výpadku.
Jeden nedostatek = všechno špatně
V případě, že chcete docílit certifikace na příslušný stupeň, tak musíte splnit všechny požadavky. Pokud jakýkoliv požadavek nesplníte, tak nemůžete nikdy příslušný stupeň získat.
Tohle je podstatné, protože když uděláte v návrhu jednu chybu, tak celá investice je ztracena. Stačí chyby, které jsou zcela běžné a budeme se jim věnovat v dalších dílech seriálu. Jsou však i chyby, které jsou mnohem méně časté a zřetelné, ale i takové znamenají, že příslušného TIERu nedosáhnete.
Lidské chyby
Všechny systémy musejí fungovat automaticky a musejí eliminovat lidské chyby. Na první pohled si řeknete, že to je snadné, ale datacentra jsou plná poměrně složitých systémů a i obsluha musí být náležitě vyškolena. U TIER IV se lidským chybám předchází tím, že vše musí být zcela automatické a musí fungovat bez lidské pomoci. Lidský element je tak v podstatě jen dohled.
Pokud se podíváme na nějaké historické události problémů a výpadků v datacentrech, tak nakonec stejně skončíme u toho, že selhal lidský faktor. Někdy je podceněný návrh, jindy servis a jindy třeba pravidelná kontrola a testování. Jak z našeho vyprávění již víte, tak návrh připravujeme již několik let. Témeř 2 roky před stavbou a nyní více než rok během stavby. Téměř 2 roky jsme ve spojení s Uptime Institut a ještě stále máme co ladit.
Fyzické umístění datacentra
V rámci certifikace se posuzuje i fyzické umístění. Věřte, že vadí třeba to, že jste poblíž dálnice nebo významené železnice. Poblíž znamená vše do vzdálenosti 1,5 míle, tedy cca 2,4 kilometru. Zkuste takovou lokalitu najít v Praze. A to nesmíte být ani v cestě letadlům, kdy nesmíte být v leteckém koridoru. Pokud se však podíváte kudy nelétávají letadla na pražské letiště, tak v Praze moc lokalit na TIER IV datacentrum není. Pokud se podíváte jak je rozdělená ČR pomocí leteckých koridorů, tak zjistíte, že v ČR je skutečně málo lokalit, kde nelétají letadla nad datacentry. V tomhle všem je naše lokalita v Hluboké nad Vltavou naprosto ideální.
Dálnice, železnice nebo letadla nejsou jedinou hrozbou. Řeší se i lokalita z hlediska seizmických otřesů nebo třeba vulkánů. Tohle naštěstí v ČR moc řešit nemusíme. Stejně tak nemusíme řešit tornáda a jiné podobné záležitosti (tropické nebo sněhové bouře). Toho jsme ušetřeni.
Věřte tomu, že certifikace TIER se věnuje i povodňovým oblastem a rizikům záplav. I tomu jsme se tedy důkladně věnovali. Datacentrum nesmí být v lokalitě, kde hrozí povodeň – například stoletá voda. Naše současné datacentrum je v Hluboké nad Vltavou. Desítky metrů vysoko nad hladinou jakékoliv vodní plochy. Nové datacentrum stavíme v jiné lokalitě, která na první pohled vypadá jinak, ale vše jsme brali v úvahu. Nové datacentrum stavíme v lokalitě, kde v roce 2002 byla na části sousedního pozemku povodeň. V sousedství je náhon na vodní elektrárnu (jejíž elektřinu budeme využívat k provozu). Nejnižší místo naší nové stavby je více než 1 metr nad úrovní tisícileté vody a je to část naší kancelářské budovy, kde máme přednáškovou místnost. Kancelář máme o dalších cca 4,5 metru výše. Datový sál je sousední budova, která je umístěna výše a je z větší části zasypána pod zemí. Datový sál je z monolitického betonu a jak již bylo uvedeno, tak je pod zemí a tak zajištěn nejen proti tlakům, ale i proti jakékoliv vodě. Pokud by tedy voda stoupla o mnoho a mnoho metrů, tak nám nic nehrozí. Voda by musela stoupnout o cca 7 metrů (oproti tisícileté vodě), což je v českobudějovické pánvi obrovské množství vody a v takovém případě WEDOS nikoho zajímat nebude, protože v ČB bude na náměstí téměř 9 metrů vody. Celý datový sál je autonomní jednotka, dokonce s tím, že motorgenerátory budou uvnitř a máme zajištěné přístupové cesty přes zámecký kopec (60 metrů vysoko) pro zásobování (například naftou). Vlastníme i sousední pozemek. Současně s tím jsme služby schopni provozovat v současném datacentru. Popíšeme to ještě v dalších dílech seriálu. Podmínky TIER s umístěním našich datacenter nemají problém.
U lokality se posuzuje i okolí. V okolí nesmí být žádná rizika jako jsou továrny nebo chemické provozy nebo provozy, kde hrozí požár nebo výbuch.
Dokonce nelze certifikovat datacentrum, které není ve specializované budově. Nemůžete tedy mít datacentrum, které je součástí nepříklad nějakého kancelářského nebo výrobního komplexu. Musí se jednat o jednoúčelovou budovu.
Fyzická bezpečnost
Tohle je na samostatnou kapitolu a možná se tomuto tématu budeme ještě věnovat někdy příště. Určitě je špatně, když nemáte datový sál zajištěný třeba proti tomu, aby někdo “špatně zabrzdil” před budovou a “omylem” projel až k serverům.
Naší silnou stránkou je to, že současné datacentrum je krytem civilní obrany, z větší části skryto pod terénem. Jedná se o monolitickou stavbu se sílou betonu 45 centimetrů. To skutečně stavěli “soudruzi” v roce 1976 a v případě atomového výbuchu to jen poskočí.
Nové datacentrum je opět monolitickou stavbou. Síla betonu (nejvyšší třídy) je 30 centimetrů a jedná se o monolit a ne nějakou skládačku z panelů. Směrem k dopravním tepnám jsou další ochranné stěny a celkově máme stěny až 110 centimetrů silné! Tento datový sál je také z části pod zemí.
Dveře? V novém datacentru budeme mít skutečné trezorové dveře, které budou chránit přístup do bezpečných prostor a další trezorové dveře chránící vstup do datového sálu. Vyrábějí se pro nás skutečné trezorové dveře s certifikací. Dveře, které váží stovky kilogramů a jen tak je neotevřete a budete si na to muset pozvat “kasaře”. U nás v datacentru najdete i bezpečnostní mříže na oknech nebo 5 vrstev speciálních bezpečnostních folií a okenní rámy se zvýšenou bezpečností. Tak se chrání data. Vaše data. Do datových sálů nejsou žádné jiné vstupy nebo nemáme přístupy pro servis nebo stěhování technologií.
Kamery, přístupové systémy musejí být samozřejmostí. U nás používáme pro vstup RFID karty. V novém datacentru plánujeme autorizaci osob přes čtečku krevního řečiště, které jsou aktuálně považovány za jedno z nejbezpečnějších řešení. V novém datacentru chceme navíc použít systém, kdy vstup do datového sálu budou muset autorizovat současně 2 osoby – jedna přímo v datacentru a druhá mimo datacentrum. Co kdyby nás přepadli 🙂
Fyzické zapojení a kabeláž
Fyzicky oddělené musejí být tedy obě napájecí větve A a B. Nelze například mít napájecí kabely pod zdvojenou podlahou pro větev A a i pro větev B současně. Tomu se budeme ještě věnovat detailně v dalších dílech seriálu.
Zajímavé je to, že se napájecí větvě nesmějí v jednom prostoru ani křížit.
Obě napájecí větvě musejí být aktivní současně a každá při výpadku té druhé musí být schopna zajistit 100% provozu. Z toho vyplývá, že nikdy nikde nesmíte mít (za běžného provozu) zátěž větší, než 50%.
Konektivita
Důležité je to, aby konektivita do datacentra byla také zajištěna tak, že je fyzicky oddělená. Naprosto nepřípustný je například souběh optických tras nebo dokonce vstup optických tras do datacentra. NESMÍ být v jednom místě budovy nebo dokonce na jedné straně budovy. Optické trasy MUSÍ přicházet do budovy z různých stran budovy, nesmějí se nikde křížit a nesmějí být nikde v souběhu.
V budově řešíme optické trasy také tak, aby jedna větev jela fyzicky oddělené od druhé a to bez křížení a souběhu.
Možná byste se divili kolik nových datacenter vzniká s tím, že mají několik chrániček na optiku v jednom výkopu. Viděli jsme to na vlastní oči u nově budovaného datacentra. Stejně tak jsme viděli, že optika byla vedena po jedné straně silnice a druhá trasa po druhé straně silnice, což je samozřejmě lepší, než to mít v jednom výkopu. Jenže k našemu překvapení se obě trasy potom setkali v jedné křižovatce a jsou vedeny společně v jednom podvrtu. Potom stačí jedna nehoda, respektive jeden “šikovný bagrista” a celé datacentrum je bez konektivity.
Jak to chceme mít u nás? Do prvního datacentra máme aktuálně 2 trasy od Cetinu (O2), protože naše datacentrum je na jejich páteři. Trasy nemají souběh (kromě budovy). Před budovou se rozdělují na dva různé směry. Tohle víme, že TIER IV nesplňuje (do budovy je vstup optických tras pouze z jedné strany budovy). Tak již několik let máme třetí trasu, která vede zcela jinudy a je zakončena u ČDT. Až dokončíme nové datacentrum, tak situace bude malinko jiná. Stávající datacentrum bude mít 2 nezávislé trasy od Cetinu a k tomu 2 zcela nezávislé a fyzicky oddělené trasy do nového datacentra, kde bude fyzicky zakončena od ČDT. Ve stávajícím datacentru budeme tedy mít 4 nezávislé a oddělené trasy a v novém budou nezávislé a oddělené 3 trasy (již chystáme čtvrtou). Trasy budou bez souběhu a do budov budou “přicházet” každá z jiné strany budovy.
Po spuštění nového datacentra chceme mít 3 trasy do Prahy, každá 100 Gbps (budeme mít tedy 3 x 100 Gbps) a jednu záložní trasu na Slovensko (abychom předešli problémům v Praze). Trasa na Slovensko nepůjde přes Prahu, ale fyzicky zcela jinudy. Zakončení v Praze bude jako doposud – na 3 různých místech, ve 3 různých datacentrech.
Kdo z vás si troufá?
Kdo si troufá navrhnout podobné datacentrum? Uvedli jsem jen základní předpoklady. Už promýšlejte, jak má vypadat schéma zapojení, když se nesmí nikde nic křížit… 🙂
Na co se můžete těšit příště?
Příště si napíšeme další informace a detaily. Prozradíme i nějaké detaily z našeho zákulisí. Nakonec se dozvíte i o nejčastějších chybách nebo o ekonomice provozu takového datacentra. Ekonomika provozu bude na samostatnou kapitolu.
Vzhledem k tomu, že nás certifikace TIER IV baví a bereme jí jako jednu z největších výzev, tak si příště detailně probereme některé technické předpoklady, které musí TIER IV datacentrum splňovat.
Určitě se dostane i na reálné příklady, podle kterých pochopíte proč v ČR (a ani jinde ve střední Evropě – včetně Německa, Polska, Maďarska, Slovenska, Rakouska) doposud žádné datacentrum certifikaci TIER IV nemá. Pokud máte otázky, tak nám pište a my můžeme zohlednit odpovědi v dalších článcích.
Proč to celé děláme?
Důvodů je několik. Jsme největší hostingová společnost v ČR, v našem datacentru hostujeme nejvíce služeb v ČR a tak jsme si vědomi toho, že musíme vše směřovat k maximální spokojenosti našich klientů. Kvalita datacentra je pro náš další růst a rozvoj jednoznačně velmi důležitým faktorem a bez kvalitního zázemí to určitě nepůjde. )
Proto chceme mít 2 moderní datacentra, která budou splňovat ta nejnáročnější kritéria a celé si to chceme nechat takhle certifikovat. Nejdeme cestou toho, že nám někdo něco někde nějak nakreslí a někdo někde nějak rychle postaví. Jdeme cestou, že přípravám věnujeme obrovské množství času, chystáme to několik let v týmu několika lidí. Vše si na stavbě hlídáme a vše operativně rozhodujeme. Ve výsledku všechny provozní věci chceme řešit “in house”. Máme tedy například vlastní elektrikáře (dokonce 2). Takže víme o všem v naší budově. Vše si dokážeme vyřešit vlastními silami. Co nejrychleji a nejlépe.
Obě datacentra budou navenek působit jako jedno, ale ve skutečnosti půjde o 2 samostatné budovy, které budou schopny fungovat zcela odděleně nebo se nějak vzájemně v provozu doplňovat. Půjde o takový RAID datacenter.
Ano, ekonomicky nic z toho nedává smysl, ale my děláme vše pro maximální spokojenost našich klientů. To je prvořadý cíl. Děláme to, protože nás to baví. Ekonomická stránka je druhotnou záležitostí a jak říkáme: “Když budou klienti spokojeni, tak i ty zisky přijdou”. Jsme silná společnost, která jede bez úvěrů a závazků. Vlastníme datacentrum, infrastrukturu a nemusíme se “zpovídat nějaké bance”. Stavíme druhé datacentrum za desítky milionů korun a to opět bez jakékoliv pomoci třetích stran. Možná by šlo si peníze ponechat a koupit si za ně něco “pro radost”, ale nás baví tohle a nás baví spokojení klienti.
Plánované certifikace by měly být zárukou pro naše klienty, že jejich data jsou na tom nejlepším místě a že je o ně dobře postaráno.
Buďte s námi a sledujte jak se nám naše plány daří.