Publikováno Od admin

Nová IDS/IPS ochrana u WEDOS

[gtranslate]

Několik měsíců jsme pro vás připravovali IDS/IPS ochranu. V březnu jsme jí spustili do ostrého provozu. Dnes vám jí představíme.

Úvodem bychom se chtěli omluvit za komplikace v posledních týdnech, které jsme mohli některým klientům způsobit. Jako vysvětlení posíláme následující článek. 

Když jsme byli v druhé polovině roku 2014 cílem silných DDoS útoků (v desítkách Gbps), bylo jediným řešením vybudovat vlastní ochranu anebo se spolehnout na naše dodavatele konektivity. Nikdo z dodavatelů neměl zkušenosti s tak silnými útoky a tak jsme měli pouze možnost udělat vše vlastními silami. Rozhodli jsme zmobilizovat naše síly, investovat miliony do přestavby síťové infrastruktury a zakoupení nových prvků. Začátkem roku 2015 už jsme věděli, že jsme udělali dobře.

Tisíce hodin práce a milionové investice se vyplatily. I když DDoS útoky zesílily do takové míry, že naši dodavatelé konektivity by už nám nepomohli, naše ochrana dokáže vše zastavit. Samozřejmě trvalo ještě dlouhé měsíce, než jsme jí odladili do stavu jako je dnes. Jinými slovy útoky pod 10 Gbps už bedlivě nesledujeme na monitoringu, jen se podíváme na záznam v logu. Ve většině případů se totiž žádný neobvyklý provoz nedostane k našim serverům a nijak neohrozí služby.

Jen pro představu uvedeme to, že jsme od konce října 2014 měli již přes 210.000 DDoS útoků. To je za 17 měsíců průměrně přes 12.000 útoků měsíčně, což je průměr přes 400 za den. Každý týden tam nejdeme útoky přesahující 10 Gbps a prakticky každý den útoky nad 5 Gbps.

Náš obchodní úspěch a růst začal zajímat (kromě útočníků) i různé dodavatele. Vzhledem k množství hostovaných webových stránek jsme velmi zajímavým zákazníkem i pro bezpečnostní firmy z celého světa, které nás začaly oslovovat s nabídkou různé spolupráce. Někomu jde o sběr dat, někomu jde o prodej vlastního řešení a někomu o obojí. Přestavba a zdokonalení síťové infrastruktury, testování exkluzivního software i hardware nám otevřely nové možnosti. Uvědomili jsme si, že v dnešní době můžeme nabídnout našim zákazníkům daleko více. Tu nejmodernější ochranu jakou lze nabídnout – IDS/IPS.

Co je IDS/IPS ochrana

IPS (Intrusion Prevention Systems) a IDS (Intrusion Detection Systems) je ochrana, která hlídá naprosto všechen provoz mezi serverem a klientem. V reálném čase jej dokáže monitorovat, kompletně vyhodnocovat a v případě potřeby i cokoliv online blokovat. Samozřejmě obousměrně. Dokáže tak útoky zjistit, zabránit jim, ale funguje i jako prevence. Rozsah a možnosti IDS/IPS jsou velice obsáhlé. Umí například smazat zavirovaný email, zablokovat přetěžování vašeho webu, ale také zastavit pokus o zneužití zranitelnosti nultého dne (zero-day exploit) a to dokonce pokud ještě ani nebyla nikým nahlášena. Hledá totiž specifické řetězce pro různé typy útoků, které se v normálním provozu nevyskytují. Pokud je detekuje, tak okamžitě jedná.

Proč jí všichni potřebujeme

V dnešní době výrazně narostl počet open source redakčních systémů a eshopů. Stačí využít náš instalátor aplikací a na dvě kliknutí máte vlastní magazín, diskuzní fórum anebo eshop. Nemusíte mít žádné znalosti programátora. Nepotřebujete ani webmastera, který by se vám o všechno staral. A tady nastává problém. Všechny tyto open source řešení potřebují pravidelnou údržbu, zvláště aktualizaci. Útočníci totiž hledají jakoukoliv skulinku, aby dostali škodlivý kód na vaše stránky. Nedělají to lidé, ale jejich roboti, kteří zvládají projít stovky stránek za vteřinu.

V každém open source řešení se navíc jednou za čas objeví závažná chyba. Na aktualizaci často máte jen jeden den v horším případě několik hodin. Pokud to nestihnete včas, váš web navštíví robot, který bezpečnostní díru zneužije a nahraje vám někam nenápadný backdoor, přes který může útočník web ovládat. Ani po aktualizaci pak už nejste v bezpečí.

Stačí tedy odjet někam na dovolenou na pár dnů a můžete mít napadený web. Takové případy řešíme pravidelně.

Nemusí se však jednat jen o open source řešení. S neošetřenými vstupy se musí vypořádat každý programátor. Ohlídat si vše není nic jednoduchého.

Naše nová IDS/IPS ochrana má za úkol ochránit vás všechny. Neumí vše, ale většinu známých bezpečnostních chyb řeší.

Co naše IDS/IPS ochrana zatím umí

V současné době IDS/IPS ochranu ladíme. Není to nic snadného, ale věříme že velká (finanční a časová) investice se vyplatí.

Momentálně chrání vaše služby před:

  • Přirozeně vypadajícími DoS, které naše DDoS ochrana nemůže detekovat (například zneužití XML-RPC).
  • SQLi útoky
  • Brute force útoky na přihlašovací formuláře.
  • Roboty, kteří schválně přetěžují vaše stránky.
  • Roboty, kteří vkládají do komentářů škodlivý kód (XSS)
  • Viry v emailech a i běžném HTML (FTP) provozu (ale zatím ladíme vhodný model provozu).
  • Zranitelnostmi ve známých open source CMS a eshopech.
  • Útoky zneužívající zero-day exploit (známé i potenciální).
  • Různým skenováním aplikací.

Zároveň jsou naše servery chráněné před zneužitím různých chyb v redakčních systémech, které mohou mít za následek přetížení serveru nebo například vyčerpání RAM anebo výkonu CPU.

Mimo příchozích útoků monitoruje a blokuje i odchozí. Dokážeme tak v případě napadení webu, zablokovat odchozí útoky a minimalizovat případné škody. Většinou k tomu dojde automaticky tak, že IDS/IPS ochrana spojení mezi útočníkem a cílem automaticky blokuje (resetuje probíhající spojení).

Máme také detailnější přehled o tom, co se v síti děje, což nám do budoucna otevírá cestu ke zlepšení našich služeb. Například monitoring služeb pro vás, nad úrovní serveru.

IDS/IPS ochrana je pro klienty zdarma a nic pro její aktivaci nemusíte dělat

Vedení WEDOS Internet, a.s. prozatím rozhodlo, že nová ochrana IDS/IPS je pro všechny naše zákazníky se službou webhosting NoLimit zdarma. Je aktivovaná automaticky nad úrovní fyzického serveru, takže se o nic nemusíte starat. Věříme, že poslouží ke zlepšení našich služeb a hlavně vám ušetří spousty starostí. Neustále pracujeme na zlepšování našich služeb a věříme, že IDS/IPS ochrana je dalším velkým krokem kupředu.

IDS/IPS ochrana u WEDOS

Aktuálně máme nastavené a použité komerční řešení, které chceme doplnit o open source. Celkové náklady na nasazení odhadujeme na několik jednotek milionů korun.

Proces testování probíhal od konce léta 2015. Přípravy pro nasazení jsme průběžně dělali ledna až března letošního roku. Nebylo to nic jednoduchého a obnášelo to hodně úprav v topologii naší sítě. Ještě nějaké úpravy uděláme v dubnu (a některé zřejmě dokončíme až v květnu). Do ostrého provozu jsme vše spustili v březnu. O tom všem, co jsme museli řešit při implementaci, napíšeme příště.

V dalším článku uvedeme jak u nás nasazení IDS/IPS probíhalo. Nebylo to jednoduché ani snadné. V některých případech to přineslo i menší komplikace našim klientům. Za tyto komplikace se ještě jednou omlouváme, ale věříme, že přínos IDS/IPS ochrany bude tak velký, že se to vyplatí.

Několik základních čísel

V naší síti hostuje nejvíce webů v České republice. Zároveň hostujeme nejvíce virtuálních serverů a to vše přináší nápor na bezpečnost naší sítě a aplikací v naší síti. Když jsme začali s IDS/IPS „koketovat“ a začali jsem první testy, tak jsme zjistili až neuvěřitelné skutečnosti.

Do naší sítě směrovalo každou hodinu například:

  • průměrně přes 37.000 útoků na prolomení hesla ve WordPressu, což je přes 10 pokusů za sekundu
  • zhruba stejný počet pokusů byl o prolomení dalších hesel (maily nebo jiné redakční systémy)
  • průměrně přes 1.000.000 různých bezpečnostních problémů, což je přes 279 pokusů za sekundu
  • z toho přes 183.000 mělo kritickou úroveň, tj. nešlo o varování nebo nízkou úroveň, což je cca 51 pokusů za sekundu, které jsou nebezpečné pro klienty
  • ze zhruba 100 IP rozsahů z celého světa přicházelo cca 73% závadného provozu a tak po omezení a zpřísnění kontroly vůči těmto rozsahům jsme počty útoků snížili na zhruba čtvrtinu

Další čísla uvedeme příště.

Pro zajímavost ze zákulisí

Některé naše webservery byly pod neustálým (nebo často se opakujícím) útokem, jehož cílem bylo přetížit konkrétní webserver. Jak takový útok probíhal? Z různých IP adres byly na konkrétních serverech volány postupně všechny možné domény hostované na konkrétním serveru (podle cílové IP) a na nich byly volány určité necachované URL známých redakčních systémů (různé administrace, xmrpc2 apod.).

Útok probíhal z různých IP adres a rozsahů, přičemž z každé IP adresy tak, aby nebyl počet přístupů z jedné IP (nebo jednoho rozsahu) nějak nápadný. Navíc se nejednalo o přístupy na jednu doménu, ale na různé domény. Takže vše bylo rozložené v čase a z různých zdrojů a na různé cíle tak, že to nevzbuzovalo žádnou pozornost. Výsledkem bylo to, že na některých webových serverech jsme měli i přes 50 přístupů za sekundu, které byly na necachované stránky a měly přístup (a zápis) do databáze.

Nejednalo se tedy o klasický DDoS útok, ale o novější a méně nápadnou a hůře zachytitelnou formu útoků, kdy tato zbytečná zátěž způsobovala komplikace na serverech a zpomalení běhu některých webů. IDS/IPS ochrana pomohla tuto (pro nás novou) formu útoků odhalit a filtrovat.

Co dále s IDS/IPS

Aktuálně máme IDS/IPS ochranu nasazenou na všechny webhostingy. Chceme ji rozšířit o další vylepšení a některé výstupy (statistiky) chceme přidat do zákaznické administrace. Tohle však zřejmě budou služby za příplatek. Jedná se totiž o logování velkého množství dat.

Pokud IDS/IPS ochranu ochranu zkombinujeme s DDoS ochranou, tak budou vaše weby i weby vašich klientů u nás velmi dobře chráněné.

O nasazení IDS/IPS u VPS teprve diskutujeme a nevíme, zda ji budeme nabízet nebo ne a pokud ano, tak za jakých podmínek. U VPS je to tak, že část klientů o tuto ochranu nemá zájem a část naopak ano. Uvidíme jak to vymyslíme technicky a obchodně. Můžete nám napsat váš názor do diskuze pod tímto článkem. Budeme jen rádi.

A na co se můžete těšit příště?

Příště napíšeme o tom, co jsme museli řešit za komplikace při nasazování. A nakonec možná prozradíme, jak máme vše zapojené a na čem všem to jede.

Abychom Vás nalákali, tak musíme napsat také informace o tom, jak probíhá stavba našeho nového (druhého) datacentra, které bude mimořádné nejen fyzickou bezpečnostní, ale také ekologickým a úsporným provozem, protože servery budou chlazené v olejové lázni. Jakmile druhé datacentrum spustíme, tak chceme nabízet služby s garancí vysoké dostupnosti, kdy bude možné mít data současně v obou datacentrech, na obou místech chráněné pomocí DDoS ochrany a IDS/IPS. V případě výpadku jedné lokality by váš web jel automaticky a bez výpadku z druhé lokality. O tom všem až příště. Vývoj všech novinek a stavba druhého datacentra nás nyní zaměstnávají natolik, že málo píšeme o tom, co se u nás děje.