Náš systém CML (Centrální Monitoring Logů) shromažďuje nepřetržitě data ze všech serverů a dalších zařízení v naší síti a v reálném čase je vyhodnocuje. Denně se jedná o 600 – 700 GB dat. Slouží primárně pro účely dohledání chyb a problémů. Ovšem využíváme je například i pro naše ochrany. Co kdybychom z nich ale udělali třeba infografiku?
Jaká data jsou použita
Následující data jsou sestavena z 521.314.847 vygenerovaných stránkách v období za 1 týden od neděle 12.04.2020 do soboty 18.04.2020 na službách NoLimit (staré i nové servery) a WMS. Jen pro zajímavost celkový provoz byl za tuto dobu 2.001.258.362 requestů.
Je to tedy průměrně cca 862 vygenerovaných stránek za sekundu. V noci výrazně méně, přes den výrazně více. Ale to není vše. Dnes se níže dozvíte několik dalších zajímavostí…
Přes polovinu požadavků například blokujeme, takže se nezobrazí koncovému robotovi (nebo útočníkovi) a nejsou v níže uvedených statistikách zahrnuty. Každá stránka se skládá z různých částí a ty také logujeme. Logujeme tak průměrně desítky tisíc záznamů každou sekundu. Ve špičce je to mnohem více a v noci naopak méně.
Jak rychlé jsou stránky na WEDOS?
Občas někde zazní, že jsou weby u nás pomalé. Když to s námi někdo řeší, tak většinou zjistíme, že nemá správně nastavené cachování, stránce brání ve vykreslení nějaký prvek třetí strany anebo používá nějaké rozšíření, co komunikuje s třetí stranou a ta je pomalá.
Jaký je tedy u WEDOS průměr pro všechny stránky ať už se jedná o cachovanou php stránku, skript co parsuje data anebo vyhledávání v eshopu?
Čas v grafice je v ms a udává za jak dlouhou server poskytl obsah návštěvníkovi. V reálu je tak ještě třeba přičíst pár ms pro komunikaci v rámci ČR a SR anebo pár desítek ms pro komunikaci v rámci Evropy.
Průměr vygenerování stránky serverem
Jak je vidět, tak stránky na starších serverech NoLimit jsou v průměru pomalejší 759 ms, protože zde jsou využívány slabší procesory pro webserver i databázi a serverové SSD.
Nové NoLimit, které už jedou v cloudu na HPE Moonshot jsou rychlejší o zhruba 11,3%. 7 denní průměr je 673 ms. Vaše skripty mají k dispozici 3,8 GHz procesory a velmi rychlé NVMe SSD disky.
Zákazníků na WMS jsou zatím jen desítky, proto jsou data hodně zkreslená. WMS má vždy vyhrazený výkon hardwaru a tak tam nedochází tolik k ovlivnění jinými uživateli. I tak vychází průměr 403 ms.
Median vygenerování stránky serverem
S průměrem rychlosti stránky na webhostingu je to však jak s průměrným platem. Pár lidí má o hodně více než ostatní a pak to vypadá, že všichni mají v průměru hodně 🙂
Daleko více prozradí median, tedy skutečná prostřední hodnota.
Median už vypadá jinak. Stačí aby byl neoptimalizovaný redakční systém a už jde průměr rychle nahoru. Desítky vteřin spotřebují i skripty, které volají zákazníci pravidelně přes CRONy, například automatické zálohování, import/export dat anebo údržba mohou trvat i minuty.
To je vidět i na této grafice. Překvapivě medián webů je rychlejší na starých NoLimit (107 ms) než na nových NoLimit (208 ms). Jak je to možné? Na starších NoLimit jsou převážně zkušenější zákazníci, kteří buď nepoužívají redakční systémy, mají své řešení na míru, anebo si je redakční systémy ještě instalovali ručně sami. Umí si je optimalizovat a ve výsledku i s pomalejšími procesory dokážou dosáhnout vyšších rychlostí.
Když se podíváme na 7 denní graf s medianem u nových Nolimit, tak vidíme špičky, když je nárazový provoz. Celkově je však graf spíše vyrovnaný. Nové NoLimit jsou hodně naddimenzované a navíc jim pomáhají proxy servery (viz. dále).
Naopak na starších serverech vidíme vesměs podobný provoz každý den. Zkušenější uživatelé provádí v noci údržby, zálohují, importují data a další náročně procedury. Přes den pak provoz kopíruje běžný zájem lidí o stránky. Na starším NoLimit už navíc nepřibývají noví zákazníci.
Proxy servery
Nové NoLimit a WMS mají k dispozici proxy servery, které mohou využít. Tyto proxy servery dokáží odbavovat velice rychle požadavky, protože si uloží vygenerovanou stránku a pak jí zákazníkům servírují přímo. Není nutné je tedy znovu generovat na serveru. Proxy servery však většinou zákazníci využívají nepřímo prostřednictvím rozšíření pro své redakční systémy.
Na následujícím grafu vidíte, za jak dlouho v průměru odbaví proxy server požadavek na stránku. Do průměru je započtena jak doba čekání na první vygenerování, tak i uložená stránka.
Spíše median tak prozradí, jak velkou rychlost může proxy server poskytnout. 208 ms sever vs 148 ms proxy, to je téměř 29 % rychlejší.
Zákazníci, kteří náš proxy server umí využívat mají stránky vygenerované opravdu rychle, ale popravdě něco tomu ještě chybí…
Pracujeme teď na Proxy v2.0, která bude postavená na NGINX a hlavně bude anycast s body po celém světě. Tam je cílem vracet stránky rychlostí mrknutím oka (pod 100 ms) a to kdekoliv na světě 😉
Největší weby na NoLimit a WMS
NoLimit byl už v době spuštění nadstandardně naddimenzovaný webhosting. Zatímco u většiny konkurenčních nabídek jste v roce 2011 nedokázali kvůli parametrům pořádně rozjet WordPress, tak NoLimit pro něj nabízel ideální parametry za 15 Kč/měsíc (měli jsme při rozjedu WEDOS zaváděcí ceny).
Díky redakčním systémům jako je WordPress jsem vyrostli, a proto jsou pro nás prioritou teď i do budoucna. Hlídáme si jak u nás fungují a jestli zvládnou utáhnout často obří návštěvnost. Máme pro pomoc s redakčními systémy vyškolené CMS specialisty s roky praxe, optimalizujeme naše služby a upravujeme nastavení našich ochran na míru CMS. Nebojíme se ani pořádně sáhnout do nastavení a navýšit parametry, aby NoLimit byl pro oblíbené redakční systémy stále nejlepší volbou.
Kolik ale ve skutečnosti utáhne NoLimit, pokud se o weby starají profesionálové, kteří UMÍ 😉
Na následujícím grafu vidíte TOP 20 webů na NoLimit podle počtu zobrazení za 7 dní.
Ano, rekordman má 30.887.648 zobrazení za týden, tj. 4.412.521 za den anebo 183.855 za hodinu, celkem tak ze všech týdenních zobrazení všech webů dělá 5,93 %. A ano jede na NoLimit, jen má příplatkovou službu Extra 🙂
Další nám zůstali trochu pozadu, tak se podíváme na ten samý graf s logaritmickou stupnicí.
Jak vidíte, tak abyste se dostali do TOP 20 na WEDOS NoLimit anebo WMS, tak musíte překročit hranici 700 tisíc impresí za týden. Ale pozor .html stránky, dokumenty a multimédia do toho nepočítáme 😉
S výjimkou jednoho webu, který je na WMS, jsou všechny na NoLimit. Dokonce některé nemají ani extra. Asi nepřekvapí, že většina je na WordPress. Takže nevěřte tomu, že WordPress je jen na malé osobní stránky 🙂
Mimochodem všechny naše firemní WEDOS weby jedou na WordPress. Dokonce u nás je na NoLimit jeden z předních českých eshopů s cca miliardovým obratem a jede také na WordPress.
Takže až se vás někdo příště zeptá, jestli NoLimit utáhne 10 tisíc návštěv, tak mu můžete říct: “Pokud umíš optimalizovat weby, tak za hodinu několikrát” 😉
Na co se tento týden útočilo
Samozřejmě na našich NoLimit by nikdy nešlo provozovat takto velké weby, pokud bychom všechny nechránili před útoky. Útočníci, roboti co sbírají marketingová data a spousta dalších neřádů vytváří neskutečné množství zátěže. Více jak polovina všeho provozu už dnes tvoří “bordel”, který když odfiltrujeme tak nikomu nechybí.
Bez ochran by každý web navštívilo za den stovky až tisíce robotů a automatických skriptů. To je neskutečná zátěž.
Postupem času jsem postavili robustní sérii ochran, které různými způsoby chrání weby našich zákazníků. Největší a nejnákladnější je DDoS ochrana. Za ty roky jsme jí zdokonalili a vylepšili natolik, že občas zapomínáme, že jí máme, i když na nás směřuje útok o síle 44,5 Gbps.
Za ní je velmi rychlá filtrace na bází blacklistů, greylistů a whitelistů. Ta čerpá data z CML. Pokud se nějaká IP adresa chová podezřele, tak dostane ban. Tato ochrana je neustále rozšiřována a její podíl na blokování závadného provozu roste.
Toto filtrování se mění naprosto dynamicky a reaguje na aktuální hrozby. Někoho jen přibrzdíme, jiného zablokujeme. Někoho na pár sekund, jiného na minuty a jiného na hodiny a některé “loupežníky” trvale. Vše jede automaticky a nepřetržitě a každou minutu to vyhodnocuje data a podle toho mění pravidla.
A pak tu je IPS/IDS ochrana. Ta už přímo filtruje nešifrovaný (HTTP) provoz. Skládá se z více jak 20 tisíc pravidel a slouží jako poslední barikáda. Umí rozeznat obecný i konkrétní útok a zastavit jej. Využíváme také data z veřejných i soukromých databází známých zranitelností. Bohužel nechrání HTTPS provoz, což bude řešit Proxy v2.0.
A na co se tento týden nejvíce útočilo? Podle dat z předsunuté filtrace a IPS/IDS to byla hlavní stránka. Tam toho blokujeme nejvíce.
Pro přehlednost se podíváme ještě na graf s logaritmickou stupnicí.
Jak vidíte na grafu, tak většina útoků směřuje na WordPress. Jedná se o hodně známé bezpečnostní díry, kterou jsou velmi masivně zneužívané. Nejnebezpečnější útoky však nenajdete v žádných grafech nahoře. Útočníci si hlídají, aby nebyli moc vidět. Umí rozložit útok napříč časem i servery. Útočí třeba 1x za 7 minut na 1 web na 1 IP adrese. My to vidíme, protože stahujeme všechna data na jedno místo ze všech serverů.
Závěr
Z obrovského množství dat vidíme hodně zajímavé informace. A takto postupně analyzujeme a využíváme nejen k ochraně před útočníky, ale chceme třeba brzo pomoci klientům s tím, aby se nenechali šidit od reklamních sítí… Nebudete totiž věřit, že až přes 90 % všech online reklam jsou vlastně naprosto neúčinné odliky a prokliky robotů nebo omylů. A pokud za online reklamu platíte, tak tím v mnoha případech jen vyhazujete peníze oknem – naše vlastní zkušenost. Ale o tom až zase příště.
Tak co říkáte na naší první komentovanou infografiku? Pokud se vám líbí, můžeme připravit další, detailnější a nejen o webech u WEDOS. Máme třeba dost velký vzorek (téměř 20 % .cz domén), abychom vám dokázali ukázat, jak je na tom český Internet 🙂
V infografice jsou jen webhostingy a WMS. Nejsou tam žádné dedikované nebo virtuální servery nebo jiné služby.
Anebo radši něco temnějšího? Backdoory, DDoS útoky, 0-day exploity 😉