Koncem roku 2017 jsme pro službu NoLimit začali používat úplně nové řešení. Vše se přesunulo do cloudu a na nové servery, kde úsporné procesory už neznamenaly menší frekvenci CPU, ale že jedou a spotřebovávají elektřinu podle aktuálního požadovaného výkonu (umí se podtaktovat i přetaktovat). Navíc před webservery byl postavený proxy server, který uměl automaticky cachovat často používaný obsah.
Staré a nové řešení NoLimit
Rozdíl mezi starým a novým řešením byl co do výkonu obrovský. Rychlejší procesory byly znát hlavně u redakčních systému jako je WordPress. Postupně se také odladila konfigurace, vyzkoušela řada úprav i software. Něco mělo vliv na rychlost, něco spíše na stabilitu.
Možná se to nezdá, ale na službě NoLimit se neustále pracuje a vylepšujeme jí. Například o prázdninách se přesunula data všech webů na HPE 3PAR StoreServ Storage, což je úložiště, které využívá AI pro optimalizaci výkonu a předpovídání problémů. Tato úložiště zvládají 3 miliony IOPS s odezvou pod 1 ms. Hewlett Packard Enterprise u nich garantuje dostupnost dat až neuvěřitelných 99,9999%. Škálovat se dají až na 80 PB jeden systém. Důvodem bylo hlavně ulehčit si správu a zvýšit stabilitu. Naměřili jsme však i menší celkové zrychlení, protože se ulevilo zákazníkům, kteří potřebují provádět náročné diskové operace.
Samozřejmě se objevila i řada problémů, které jsme postupně překonali a mohli vše posunout dál. Zatímco jsme za první rok provozu snad neměli na žádném novém serveru s NoLimit dostupnost 100 %, protože všude se pořád něco ladilo, tak u starých to bylo naopak. Pokud nebyla dodržena 100% dostupnost, tak důvodem byla buď plánovaná odstávka (výměnná HW) anebo problém byl někde jinde (síť, útoky na infrastrukturu atd.).
Ono udržet 100% dostupnost u služeb, kde se nic nemění a nikam se neposouvají je jednoduché. Jenomže když chcete pokrok a posouvat vše dál, tak se bez odstávek a občas i výpadků neobejdete. Však to znáte: “Kdo nic nedělá, nic nezkazí.”
Jak zmigrovat desítky tisíc služeb
O migraci na nové řešení jsme psali už před více jak dvěma roky. Problémy byly dva. Vývoj stále něco vyvíjel a kolegové službu i infrastrukturu posouvali dál a dál. Občas se něco zásadního i změnilo. Druhý problém byl, že u nás všichni předpokládají že vše musí jít bez odstávek. Takže když už se začalo nějaké řešení navrhovat, tak bylo hodně složité, protože u bezvýpadkové migrace je nutné myslet na opravdu hodně věcí. Webhosting je navíc celkem komplexní služba a staré a nové řešení jsou navíc zcela odlišné.
Jenomže neustále oddalování vedlo k tomu, že starý NoLimit se stával opravdu starým. Zákazníkům chyběly novější verze PHP a co si budeme říkat, hlavně redakční systémy a jejich pluginy jsou dnes daleko náročnější než před pěti lety. Už to bylo znát na výkonu, zvláště u administrace, kde nemáte tolik možností jak cachovat obsah.
Vedení společnosti tak bouchlo do stolu, vývoji bylo vysvětleno, že menší odstávka nevadí a z migrace se stala priorita číslo jedna.
Proběhlo několik testovacích migrací o prázdninách, ovšem s plnou migrací se začalo až po prázdninách.
14. října 2021 kolega, který má službu NoLimit na starosti ohlásil úspěšné dokončení migrace.
Celkem tedy bylo přesunuto 45 tisíc služeb ze 127 serverů o celkové velikosti 170 TB dat.
Jednalo se o služby z let 2010 – 2017, takže tam někdo mohl něco mít individuálně nastavené. Proto dostala také podpora a CMS specialisté za úkol projít všechny weby, kterým se změnil status na WEDOS OnLine z těchto serverů.
Ano díky službě WEDOS OnLine sami sledujeme všechny weby našich zákazníků. Měříme u nich dostupnost i rychlost odezvy. Pracujeme tak nejen z daty ze serveru, ale i tím jestli na nich opravdu fungují jednotlivé weby zákazníků. Monitoring probíhá jak z našich datacenter, tak i ze světa.
Díky tomu jsme mohli oslovit jednotlivé zákazníky a nabídnout jim pomoct s řešením.
Mimochodem WEDOS OnLine také ukázal o kolik se zrychlily v průměru weby po přesunu a ten rozdíl je tam opravdu velký. Jedná se o hodnotu TTFB (Time to first byte), tedy dobu za jakou vrátí server prohlížeči první data ze serveru.
Samozřejmě nešlo vše bez problémů
Jednalo se o opravdu velkou akci a vše nešlo úplně bez problémů. Mimo problému s individuálním nastavením webů některých zákazníků, jsme postupně narazily i na další problémy, které jsme však operativně řešili a vyřešili. Poslední aktuální byl vyřešen 20.10.2021 v brzkých ranních hodinách.
Tedy když se něco objeví, neodkládáme to a řešíme. Lidské kapacity i zkušené lidi na to máme.
Od té doby mají servery již opět 100% dostupnost. A nyní už to platí u všech serverů. Nových a i starých.
Budoucnost NoLimit
Ještě počítáme, že se něco objeví, a tak jsme pro jistotu ve střehu. Vše je detailně monitorováno a sleduje i co nám píšete.
Až se situace uklidní, tak nás čekají další výzvy.
Chceme ještě domigrovat databáze na úložiště 3PAR. Následně plánujeme ke každému úložišti přidat sekundární úložiště, které bude v druhém datacentru a bude “držet” synchronní (on-line) kopii dat. Takže data budou současně zapsána na 2 úložiště v různých datacentrech. To je kvalitativní a preventivní posun, který je u podobných služeb naprosto výjimečný i z celosvětového hlediska. V době, kdy se všechno zdražuje, tak my investujeme a službu neustále vyvíjíme.
Nemluvě o tom, že napájení v druhém datacentru je z vodní elektrárny 🙂 , teplo bude využité pro vyhřívání městského koupaliště a naší kancelářské budovy. V prvním datacentru máme vlastní řešení chlazení a tak se jedná o nejúspornější datacentrum v ČR. Druhé je založené na olejovém chlazené a to posouvá hranice ještě na lepší úrovně. Jedná se o celosvětový unikát. Tak náš hosting je zelený, asi jako hrášek.
Máme vyhlédnuté a dokonce i otestované nové technologie, které by NoLimit mohli posunout o hodně dál. Některé z nich však mají placené licence, takže je otázkou zdali půjdeme cestou příplatkové služby anebo úplně nové služby.
Rádi bychom tyto nové technologie přidali i do WMS, kde to bude jednodušší. Licence se většinou vážou na systémové prostředky a WMS má vždy vyhrazený hardware. Mimochodem u WMS by to službu posunulo pro specifické účely neskutečně dopředu. Milionová návštěvnost by nebyla žádné číslo. Víme to, protože jsme to mohli otestovat na webu, který podle oficiálních měření patří mezi několik desítek nejnavštěvovanějších webů v ČR. Navíc většina jeho návštěvnosti je nárazová 🙂
Dále se zvažuje nové a výkonnější řešení pro proxy server. V kombinaci s připravovanou službou WEDOS AnyCast a WEDOS CDN už se pomalu nebojíme ani celosvětových výzev. Ono to možná půjde vše rychleji než jsme původně plánovali 😉
Ještě tam máme v plánu další vylepšení, ale o tom zase příště.
Závěr
Takže teď je vše zmigrováno a můžeme jít dál. Všichni zákazníci už mohou používat například PHP 8, rychlejší procesory, disky, proxy server a mnoho dalších vylepšení, které jsme za ty roky u nového řešení pro NoLimit připravili.
Teď se můžeme konečně pohnout dál. Máte se rozhodně na co těšit 🙂
Pokud se chcete dozvědět více ze zákulisí služby NoLimit, tak o ní měl na posledním Ajťákobraní přednášku přímo kolega, který stojí za jejím vývojem.