12. narozeniny aneb rok plný velkých změn a projektů

WEDOS má za sebou další úspěšný rok. Rostli jsme jak v počtu služeb, zákazníků, obratu, serverů, tak i kolegů. Jsme poslední velká česká hostingová společnost, která navíc posouvá hranice. Ať už jsou to technologie (olejové chlazení), anebo nadnárodní projekty (WEDOS Global). Samozřejmě nejde vše tak rychle, jak bychom si přáli, ale jdeme kupředu a to je hlavní. A jsme rádi, že u toho můžete být s námi.

Společnost

Společnost WEDOS Internet, a.s. jsme v minulých letech začali “dělit” na menší společnosti. Jednotlivé dceřiné společnosti budou mít právně a účetně na starosti svou část služeb. Aktuálně pod WEDOS Internet, a.s. spadá:

  • WEDOS.cz, s.r.o
  • WEDOS Pay, s.r.o.
    • bude mít na starosti novou platební bránu a fakturaci
    • v budoucnu by mohla mít tyto funkce i jako samostatný produkt
  • WEDOS WHOIS Domain Privacy Protection, s.r.o.
    • připravena bránit vaše soukromí nejen u domén 🙂
  • WEDOS Energy, a.s.
  • WEDOS Property, s.r.o
    • bude mít na starosti správu datacenter

Tímto to však nekončí. S projektem WEDOS Global si uvědomujeme, že bude nejspíše nutné založit v některých strategických zemích lokální pobočky. Ačkoliv by se mělo jednat spíše o správní celky, tak je možné, že pokud v daná země bude například dobrým zdrojem budoucích IT kolegů, že si tam zřídíme kanceláře.

Válka na Ukrajině

Veřejně jsme odsoudili invazi ruských vojsk na území Ukrajiny. Nabídli jsme hostování i kybernetickou ochranu zdarma pro weby Ukrajinců, spustili registraci domény .com.ua a s několika dobrovolníky/organizacemi domluvili spolupráci ve formě hostingových služeb zdarma.

V důsledku invaze jsme také zaznamenali zvýšené množství útoků na naše zákazníky. Něco z toho byl i hacktivismus, který cílil na weby, které útok buď, obhajovali anebo se snažili prezentovat pohled ruské strany.

Rozhodli jsme se k tomuto tématu sepsat pár článků, poslat upozornění e-mailem a využít naše sociální sítě.

Kybernetická ochrana

V posledním roce jsme se intenzivně věnovali vývoji ochran proti kybernetickým hrozbám. Souviselo to hlavně s plánovou službou WEDOS Global, jejíž součástí bude i WEDOS Global Protection (WGP) – stačí nasměrovat na WGP a chráníme vám vše, ať už u nás máte hosting anebo využíváte služeb konkurence.

Nejen samotné útoky, ale i hrozby jsme více do detailů analyzovali. Po vypuknutí války na Ukrajině se pro některé z nás toto stalo prioritou a věnovali jsme tomu opravdu velké množství času. Výstupem některých hrozeb jsou články na našem blogu, které tyto hrozby a útoky velice detailně popisují.

Tento rok v březnu jsme opět přepisovali knihy rekordů DDoS útoků – Prozatím nejsilnější DDoS útok roku 2022 přepisuje rekord z minulého roku. Nicméně tomu předcházeli pořádně silné útoky už v únoru – Únorové noční DDoS útoky přesahovaly 133 Gbps, špičkově 300 Gbps.

My jsme tyto útoky ustáli, nicméně už byly tak silné, že to otřáslo řadou ISP. Většina nemá ani zdaleka konektivitu jako my. Přesto od nich odchází útoky z napadených zařízení. Dnes dokáže silný útok vytvořit nejen napadený server, počítač, ale i chytrá televize anebo lednička. Schválně si srovnejte, jaké máte připojení doma dnes a jaké jste měli před 5 anebo 10 lety. Kolik nových zařízení má přístup k internetu a jaké procesory používají. Za 5 – 10 let se všechno posunulo strašně kupředu.

Můžeme navyšovat konektivitu, posilovat infrastrukturu, ale tady v ČR jednou utlučou nás anebo budou pravidelně přetěžovat další poskytovatele. Proto jedinou cestou je vyrazit do světa. Přesunout boj na lokální bojiště po celém světě přímo tam, kde vznikají. A přesně to bude mít za úkol decentralizovaná celosvětová síť WEDOS Global.

Na ČR už to je prostě moc a tak jediným řešením je vydat se do světa postavit předsunuté ochrany. Právě to je primární cíl naší celosvětové sítě WEDOS Global, kterou se snažíme budovat s nejvyšší prioritou.

Centralizované seznamy

Už roky pracujeme se všemi daty ze všech serverů. Ty stahujeme na jedno centrální místo a vyhodnocujeme. Díky tomu jsme schopni dohledávat i nenápadné, ale rozsáhlé útoky. Data se využívají například k tvorbě dočasných filtrů, které blokují problémový provoz (brute force útoky, některé L7 flood útoky atd.).

WEDOS Global Protection však bude potřebovat určitá data stahovat přímo do lokálních bodů.

Proto také padlo rozhodnutí, že se vytvoří centralizované seznamy, kde budou například útočící IP adresy podle druhu anebo naopak whitelistované seznamy IP adres (roboti vyhledávačů, služby potřebné k aktualizaci, monitoring dostupnosti atd.) Tyto centralizované seznamy pak budou moct kterékoliv oddělení používat pro svou službu a zároveň je na jednom místě budeme udržovat aktuální.

Jedná se také o sjednocení a zjednodušení řady procesů, které teď máme. Pomůže to i kolegům z podpory, protože na jednom místě najdou, co je blokováno a z jakého důvodu.

Zatím tyto seznamy používáme hlavně pro velký SYN filtr, kam se dávají hodně problémové IP adresy k blokování. Až budou všechny weby zákazníků za WEDOS Global Protection tak se to rozdělí. Něco se stále bude blokovat úplně, na něco se dá jen captcha a na něco jen javascriptový redirekt.

ISO certifikace

Certifikáty jsou zárukou, že nejen naše služby, infrastruktura, ale i procesy ve firmě odpovídají mezinárodním standardům. Na webové stránky si může napsat kdokoliv cokoliv, ale zdali to tak opravdu je může posoudit jen nezávislá třetí strana důkladným auditem. Náš poslední audit, který proběhl v březnu 2022, trval 2 dny. Na celou akci se připravujeme celoročně, ale měsíc před ISO samozřejmě intenzivněji.

V současné době máme následující ISO certifikace:

  • ISO 9001 (systém managementu kvality)
  • ISO 14001 (systém environmentálního managementu)
  • ISO 27001 (systém managementu bezpečnosti informací)
  • ISO 27017 (soubor postupů pro opatření bezpečnosti informací pro cloudové služby)
  • ISO 27018 (soubor postupů na ochranu osobně identifikovatelných informací ve veřejných cloudech)

U 9001 a 14001 se jednalo o audit dozorový, který se musí dělat každý rok, jestli vše splňujeme. U ostatních probíhala celková recertifikace.

Všechny certifikáty včetně popisu najdete na našem webu wedos.cz/certifikace.

300 tisíc zákaznických účtů

V červenci byl u nás vytvořen zákaznický účet z pořadovým číslem 300000. Máme zákazníky po celém světě. V zákaznické administraci najdete i mapu, kde jsou služby podle adresy majitele.

Valná hromada 2022

Jsme jednou z posledních velkých českých hostingových společností, která nemá zahraničního vlastníka. Podíl ve WEDOS navíc má více jak stovka drobných akcionářů, kteří nám už od začátku věřili. Jsme hrdí, že je každý rok u nás můžeme přivítat a prezentovat jim, jak se posouváme kupředu.

V pondělí 1. 8. 2022 proběhla v budově našeho druhého datacentra WEDOS DC2 řádná valná hromada, které se mohl účastnit každý akcionář WEDOS. Probíral se jak rok 2021, tak i budoucnost WEDOS.

Shrnutí valné hromady najdete v samostatném článku.

Datacentra

Naše vlastní privátní datacentra jsou něco, co nás dělí od konkurence a dává nám velkou výhodu. Sami jsme si je navrhli a postavili, takže víme doslova o každém kabelu.

WEDOS DC1 je tradičně vzduchem chlazené datacentrum, kde je důraz kladen na redundanci a úsporná řešení.

WEDOS DC2 je světovým unikátem. Vše je už od začátku stavěno, aby servery mohly být chlazeny v olejové lázní a odpadní teplo se dalo znovu použít. Přitom už od začátku počítáme s oficiální certifikací TIER IV Operational Sustainability, která je určená pro datacentra, kde na prvním místě je naprostá odolnost proti poruchám, kterou zaručuje redundance všech částí infrastruktury. Vše musí být nejen odolné proti výpadkům, ale navíc i servisovatelné za plného provozu.

WEDOS DC3 je plánováno jako areál budov, kde budeme mít 2 tradiční vzduchem chlazená datacentra, 2 kancelářské budovy a 1 velký sklad. Na celou stavbu už máme konečně všechna potřebná stavební povolení.

WEDOS DC1 “Bunkr”

K žádným zásadním stavebním úpravám v našem prvním datacentru snad poprvé za jeho existenci nedošlo 🙂

Upravovali jsme hlavně interní síť, aby bylo vše robustnější a odolnější proti výpadkům.

WEDOS DC2 “Podskalí”

Aktuální fotka datacentra WEDOS DC2

Z venku už se toho na WEDOS DC2 moc nezměnilo. Tedy až na reklamní plachtu, kde je napsáno, že sháníme další zaměstnance.

Naopak uvnitř se pořád něco děje. Vylepšujeme konferenční místnost, ve které už proběhla i první akce třetí strany – Konference kybernetické bezpečnosti – IT experti pro budoucnost. Konferenci pořádala Jihočeská hospodářská komora (viz. níže v textu v sekci konference).

V datovém sále se vše připravuje na spuštění hned několika olejových van, kde ještě nepojedou data zákazníků, ale zatím jen některé naše věci. Blíží se zima, a tak bude třeba kanceláře vytápět odpadním teplem.

V technickém předsálí máme teď takový sklad Moonshotů, kde se jich za poslední rok vystřídalo zhruba 50. Stále jsou jich tam desítky. Připravujeme je na zaslání do vybraných datacenter jako body pro WEDOS Global.

V jedné místnosti v datovém sálu pak probíhají testy a vývoj olejového chlazení UPS (viz. níže).

WEDOS DC3 “Kravín”

Vzhledem k rostoucím cenám materiálu a práce jsme se rozhodli projekt třetího datacentra dočasně pozastavit. Aktuálně jej nepotřebujeme, DC2 je stále prázdné.

Stavět chceme a máme na to i peníze, ale ne za každou cenu. Věříme, že situace bude příznivější a pak postupně začneme. Stavební povolení máme. Jako první je v plánu budova skladů, následně budova s datovým sálem a kanceláře, pak další budova s datovým sálem a kanceláře. Pořadí se samozřejmě může změnit podle našich aktuálních potřeb.

WEDOS DC3 bude areál o pěti budovách. Chceme jej využít jako další místo pro odkladiště dat, hardware, který nebudeme chtít utopit v oleji a počítáme i s nabídkou serverhousingu. V kancelářských budovách bychom rádi vyhradili místo i pro kanceláře třetích stran. Ve WEDOS DC3 tedy budete moct mít vlastní hardware i vlastního ajťáka 🙂

Technologie

Olejové chlazení serverů

V dubnu jsme instalovali olejovou vanu verze 6.1. Jedná se stále o testovací řešení. Jsou tam poměrně velké úpravy, takže si budeme důkladně ověřovat, jestli všechno funguje. Budeme dělat spoustu měření, analyzovat data a ladit regulaci. Nicméně nic nebrání tomu, aby tam už šly nějaké naše projekty, které vyžadují hodně výpočetního výkonu.

Co se týká úprav oproti předchozí verzi, tak se primárně jednalo o optimalizaci průtoku oleje servery. Také jsme se vrátili od řešení 3 plášťové vany k jednoplášťové. Došlo k přepočítání hlavního potrubí a převaření ventilů na vyšší průřez. Řešili se také kosmetické věci, jako přemístění madel víka a design.

Olejem chlazená UPS

Velký technický pokrok se podařil našim kolegům z vývoje olejového chlazení. V pátek 19.08.2022 úspěšně utopili v oleji UPS o výkonu 30 KW. UPS mají režii 6 až téměř 30 % (podle zátěže) a většina toho se promění na odpadní teplo, které musíte z datacentra odstranit (uchladit třeba klimatizací). Pokud je UPS v oleji, odkud teplo odvádíte vodním okruhem, tak máte ohřátou vodu až na 50 stupňů. Toto teplo lze využít na vytápění, ohřev vody… prostě cokoliv.

Výhodou jsou nízké pořizovací náklady, nízké provozní náklady a vysoká účinnost. Pokud dlouhodobé testování dopadne dobře, tak máme v plánu utopit UPSky o celkovém výkonu 360 KW.

A naše kolegy z vývoje čeká další velká výzva.

HPE 3PAR StoreServ Storage 8450

Většina našich systémů a zákaznických služeb už tahá data z úložišť na HPE 3PAR StoreServ Storage 8450. Za poslední rok jsme udělali opravdu velký pokrok ve vývoji, ale k tomu se postupně dostaneme.

Co je HPE 3PAR StoreServ Storage 8450

HPE 3PAR StoreServ Storage 8450 je úložiště, které využívá AI pro optimalizaci výkonu a předpovídání problémů. Tato úložiště zvládají papírově až 3 miliony IOPS s odezvou pod 1 ms. Hewlett Packard Enterprise u nich garantuje dostupnost dat až neuvěřitelných 99,9999 %. Škálovat se dají až na 80 PB jeden systém.

V reálném provozu se nám podařilo dosáhnout něco pod 1 milion IOPs.

Nicméně hlavní výhoda oproti všem předchozím řešením je, jak se dokáže vypořádat se špičkami. Například pokud jsme měli na jednom serveru více zákazníků, kteří měli skripty náročné na diskové operace a spustili to naráz, tak se celý server zpomalil a vyskočil technikům na monitoringu. Obdobně například při rozsáhlém útoku.

Po přechodu na 3PAR a měsících optimalizace jsme se dostali do stavu, že server se velice rychle “vzpamatuje”.

V kombinaci s přesunem stovek služeb zákazníků, jejichž weby jsou často pod útokem anebo jsou citlivější na útoky, za WEDOS Global Protection prakticky přetížené servery neřešíme. To nám například umožnilo navýšit počet PHP vláken u NoLimit ze 7 na 25, což vedlo k dalším spokojenějším zákazníkům.

Individuální řešení pro WEDOS pro ochranu dat

Toto úložiště jsme si zvolili jak pro naše, tak i uživatelská data. Velkou zásluhu na tom má i společnost Hewlett Packard Enterprise, která nám některé věci vyvíjí a upravuje na míru. Stará se také o kompletní servis, včetně diagnostiky problémů.

Bez jejich na míru vytvořeného řešení bychom tak jednoduše nemohli připravovat nové plánované služby ochrany dat (vícenásobné snapshoty dat v různých lokalitách s ochranou dat proti ransomware).

Aktuálně se pro vybrané služby testují snapshoty disků:

  • Každé 4 hodiny a držíme je 24 hodin (celkem 6 zálohy)
  • Snapshot se dělá v noci, každých 24 hodin a držíme je 7 dní (celkem 7 záloh)
  • Snapshot se dělá každý víkend a držíme je 4 týdny (celkem 4 zálohy)

V plánu jsou také testy odkládání offline záloh do lokality třetí strany a uvažujeme o dlouhodobých zálohách (3 až 6 měsíců zpětně). Zákazníkům bychom toto řešení mohli nabídnout ke stávajícím službám.

Nicméně nejedná se o tradiční zálohování, které si budete moct na vyžádání nechat obnovit. Je to určeno pro zákazníky, kteří chtějí mít data chráněná nad rámec běžných opatření – budou mít garantováno to, že my zálohujeme v určitých intervalech a jakou formou. Toto bude podloženo smluvně, a oni to pak budou moct prokázat svým zákazníkům anebo státním institucím, pokud to vyžaduje například zákon.

Tradiční obnovení záloh také zvažujeme, ale bude to jiná služba. Vyberete si v zákaznické administraci ze všech záloh, které u nás máte (včetně těch chráněných) a kliknete na obnovení. Něco půjde hned a na některé (třeba offline chráněné) si budete muset i několik hodin počkat.

HPE 3PAR StoreServ Storage 8450 u WEDOS

Celkem máme v datacentru 13 krát HPE 3PAR StoreServ Storage 8450, z toho aktivně nasazených 12 a pro vývoj 1.

Aktuálně jsou všechny ve WEDOS DC1. Se spuštěním provozu ve WEDOS DC2 se přesune minimálně jeden systém 3PAR do druhého datacentra, který bude sloužit k ukládání záloh.

Další systém 3PAR, který bude sloužit pro offline zálohy, umístíme do vybraného datacentra třetí strany. V určitý čas se připojí k síti, stáhne si zálohy a zase se odpojí. Zálohy se nebudou dát zvenku smazat. Technicky už to máme vymyšlené. Spíše teď to je otázkou realizace, a jak to vyřešit obchodně.

HPE Moonshot 1500

Systém HPE Moonshot 1500 je taková serverová skříň, která obsahuje 45 fyzických serverů, 2x switch, 2x síťová karta, 4x zdroj a 5x větrák. Jedná se o řešení vyvinuté Hewlett Packard Enterprise pro náročná cloudová řešení. Velkou výhodou je, že si vše nakonfigurujete a připravíte a pak už jen zapojíte do racku. Představte si, kolik by trvala instalace 45 serverů a 2 switchů. Všechno to namontovat, natahat kabely a propojit.

Jako servery do Moonshotů aktuálně používáme HPE ProLiant m710x s procesory Intel E3-1585Lv5 3 GHz (3,7 GHz v turbo) a 64 GB RAM DDR4. V každém jsou 4 NVMe SSD.

Celý systém je velice odolný. Každý větrák má 2 rotory, ale server funguje, i pokud 1 rotor odejde. Zdroje jsou 4, ale vše nastartuje jen se 2. Moonshot je funkční dokoncei na 1 zdroj v nouzovém režimu (procesory se podtaktují), ale nelze takto zapnout.

Kvůli WEDOS Global jsme jich od našich posledních narozenin nakoupili desítky. Máme jich i dost v zásobě pro případ mimořádné energetické krize. Dokázali bychom je poslat do některého z DC, kde máme domluvenou spolupráci, a je zde levná elektřina. Rozjet tam náročné služby třeba jen na pár měsíců. Vše bychom dokázali možná i bez ztráty paketu 🙂

Moonshoty jsou také ideální na potopení do oleje. Máme u nich speciálně na míru upravený firmware. Všechny olejové vany v DC2 jsou konstruované pro ně.

WEDOS Global

WEDOS Global využívá technologii BGP anycast, která umožňuje, aby na dotaz návštěvníka odpověděl vždy jemu nejbližší server. Na rozdíl od běžného řešení, kdy odpověď zná jen 1 server po celém internetu.

Tato technologie se využívá například pro anycastDNS anebo CDN. Obojí máme v plánu 🙂

Podstatou WEDOS Global je tedy rozmístění serverů po celém světě tak, aby zachytávaly provoz v dané lokalitě.

V našem případě se bude jednat o serverové skříně HPE Moonshot 1500, které obsahují 45 fyzických serverů a 2 switche. Díky dvěma integrovaným síťovým switchům (4 x 40GE a 8 x 10 GE porty) s full duplex připojením (obousměrné) může být jeden HPE Moonshot připojen až 320 Gbps konektivitou,. Počítáme, že využijeme jen polovinu a zbytek bude na redundanci. Nový plně osazený HPE Moonshot 1500 stojí zhruba jako rodinný dům.

Do každé lokality pošleme 1 – 2 Moonshoty. Počet záleží na provozu, který tam očekáváme a dalších službách, která tam budeme provozovat. V každém případě počítáme se škálováním dle potřeby i na více Moonshotů.

Budování WEDOS Global

Jak nám šlo budování se můžete dočíst v souhrnných článcích:

Aktuální stav WEDOS Global

  • Evropa
    • 🇳🇱 Amsterodam
    • 🇪🇸 Barcelona (2x) – Vše připraveno čekáme na cross connect
    • 🇨🇭 Curych
    • 🇫🇮 Helsinky
    • 🇨🇿 Hluboká nad Vltavou
    • 🇬🇧 Londýn
    • 🇪🇸 Madrid
    • 🇫🇷 Paříž
    • 🇨🇿 Praha
    • 🇸🇪 Stockholm
    • 🇦🇹 Vídeň
    • 🇵🇱 Varšava
  • Asie
    • 🇭🇰 Hongkong – Máme na místě, čekáme na kabely a cross conect
    • 🇸🇬 Singapur (2x) – ještě řešíme poslední detaily ve smlouvě
    • 🇯🇵 Tokyo – HPE Moonshot už je na cestě

Ve všech lokalitách domlouváme minimálně 80 Gbps linku, ale ve většině to bude 120-160 Gbps. Předpokládáme, že budeme mít 40 Gbps od Telia (přejmenovala se od března), 40 Gbps od někoho dalšího (většinou Cogent). 20 Gbps od místního peeringu, 20 Gbps na vlastní propoje mezi našimi body. A potom 40 Gbps rezerva na cokoliv (většinou další peering nebo přímý propoj k někomu). Uvidíme podle potřeb v jednotlivých lokalitách.

WEDOS Global Protection

WEDOS Global Protection (WGP) je první službou, která jede na WEDOS Global. Aktuálně už máme připravený a spuštěný web wedos.global. Nejedná se ještě o konečnou verzi. Jak službu posouváme stále kupředu, tak objevujeme i nové možnosti jak jí posunout dále.

První verze administrace, a co všechno bude WGP umět, jste mohli vidět a přečíst si v článku Nakouknutí do administrace WEDOS Global Protection. Pokud se ztrácíte v odborných pojmech, tak jsme pro vás připravili názorné video.

Naším cílem je poskytnout opravdu komplexní ochranu webu s nutností minimálního množství nastavování. V podstatě zákazník by si měl u domény nastavit DNS WEDOS Global, následně v administraci u domény nastavit (potvrdit), kam má směřovat a tím má hotovo.

Ochrana je z velké části postavená na našich zkušenostech a hlavně datech z předchozích a právě probíhajících útoků. Pro ČR a SR nemá nikdo jiný tolik konkrétních dat jako my. Postupně ale sbíráme i další. Věříme, že za pár měsíců budeme mít nejvíce konkrétních dat pro střední Evropu a později celou Evropu. Nejedná se jen o data, co přes ochrany tečou, ale i co to konkrétně dělá a jaký to má dopad na daný web.

S tímto objemem dat není problém navrhnout roboty, kteří vám budou hlídat web podle lokality zdroje provozu. Později třeba zkusíme i nějaké to strojové učení a AI, dat máme dost;)

Aktuálně WGP chrání kolem 600 domén, které by bez WEDOS Global Protection prostě nemohly normálně fungovat. Postupně za WGP schováváme i jednotlivé části našich služeb.

WEDOS OnLine

WEDOS OnLine už nějaký pátek jede. Máme přes 1100 uživatelů přímo a dalších téměř 18 tisíc jej využívá prostřednictvím příplatkové služby EWM k doménám. Celkem provádí všichni uživatelé WEDOS OnLine přes 81 tisíc aktivních kontrol. To jsou podle nás velmi hezké výsledky na to, že službu nijak zvlášť nepropagujeme a vlastně je ještě stále ve vývoji 🙂

Původní koncept služby s placenými tarify jsme nakonec zahodili a rozhodli se jej změnit na kredity, které budeme fakturovat zpětně. Nicméně koncept tarifu zdarma bude zachován. Každý registrovaný uživatel bude získávat měsíčně určité množství kreditů zdarma.

Status stránka

Všechny weby našich zákazníků, IP adresy VPS a naše služby monitorujeme prostřednictvím WEDOS OnLine. Data jsou pak v reálném čase roztříděna, vyhodnocena a zobrazována na naší status stránce. Pokud se například značné procento webů na určitém serveru zpomalí anebo je nedostupné, tak se zobrazí varování na status stránce a zároveň přijde technikům upozornění, ať situaci prověří. Dokážeme tak i řadě problémům předejít. Technici navíc mají ještě vlastní nástroje monitorování.

Na status stránce, vidíte v jakém stavu jsou jednotlivé servery i služby, jednotlivé části naší infrastruktury včetně grafů přenosů dat.

Zakládáme si na otevřenosti a problémy netajíme. Důkazem toho je i naše status stránka, kde jsou jakékoliv problémy zobrazovány ihned v reálném čase.

Status stránka také demonstruje, co všechno WEDOS OnLine už umí. Podobnou status stránku si můžete udělat také a úplně zdarma. Ušetří vám náklady i řadu starostí, protože v případě problému vaši zákazníci nejdříve zkontrolují právě status stránku, místo aby kontaktovali přímo zákaznickou podporu. Na status stránce navíc můžete psát aktualizace a další informace, takž vše bude centralizované.

Mimochodem velmi se nám osvědčila například u plánovaných odstávek služeb. Sice je posíláme e-mailem, ale část zákazníků je přehlédne.

Hostingové služby

Domény

Nové domény v nabídce

Od našich posledních narozenin přibylo do naší nabídky 57 domén. Nové koncovky přidáváme podle zájmu našich zákazníků a složitosti domluvit spolupráci s registrem. Jakmile uzavřeme spolupráci většinou můžeme rovnou nabídnout i další doménové koncovky, které mají v nabídce.

Velkou výhodou vlastní akreditace a přímé spolupráce je přístup k různým promo akcím a lepším cenám na první rok. Pokud váš registrátor využívá prostředníka, tak ten si často rozdíl mezi akční cenou a běžnou prostě nechá.

Pokud je to možné, tak tyto akce nabízíme rovnou našim zákazníkům. Aktuálně tak máme z 370 domén 191 v akci anebo je možné je získat za výhodnější cenu.

A co se týká nových doménových koncovek, tak například v dubnu 2022 jsme přidali .ac (Ascension), .sh (Svatá Helena) a .io (Britské indickooceánské území). O doménu .io jste nám hodně psali, protože je oblíbená hlavně mezi vývojáři a využívá ji i řada technologických startupů.

V červnu 2022 přibyla i velice žádaná doména .cloud.

Pojištění domény

Od roku 2021 jsme společně s Pojištění.cz a Slavia pojišťovna připravovali společný produkt – Pojištění domény. Ten se nám podařilo dotáhnout do konce a spustit 8. srpna 2022. Jedná se o jeden z prvních produktů pojištění digitálního majetku, který může využít každý.

Služba se skládá ze samotného pojištění domény proti krádeži (s plněním 1 milion anebo 3 miliony Kč), dále asistenční IT služby a v případě dražší varianty jsou také součástí asistenční služby právní pomoci. Ty vám pomohou například v případě právního sporu o doménu, zneužití jména/ochranné známky, zajištění/zablokování domény z rozhodnutí státních orgánů atd.

Je to úplně nový druh produktu. Aktuálně jej nabízíme formou příplatkové služby k doméně, která musí být registrovaná u nás. Vše si ale řeší Pojištění.cz a Slavia pojišťovna. Co máme první statistiky, tak dražší variantu kupují firmy, levnější fyzické osoby. Začátkem září byl poměr 2:1 (na 2 Jistota připadala 1 Jistota EXTRA + Právník).

Prozatím nemáme informace, že by někdo pojistku uplatnil. Na to je ale brzy 🙂

Včasné Varování a Monitoring (EWM) pro domény

Tato služba nám dělá radost. Mezi zákazníky je velice oblíbená a postupně si na ni zvykají. Nejnižší tarif není určen k hlídání dostupnosti webu, ale spíše hlídá technické aspekty hostingu.

Vyšší tarify už jsou komplexním monitoringem webu, kde se hlídá vše, co by mohlo mít negativní dopad na web samotný.

Více o EWM se dozvíte na našem webu: wedos.cz/ewm

ICANN akreditace

Máme vlastní ICANN akreditaci a podepsané smlouvy jak se společnostmi, které zajišťují technické zázemí, tak i přímo s firmami, které jednotlivé doménové koncovky provozují (doménové registry). Registrujeme tedy domény přímo, bez prostředníků a umíme vyřešit všechny technické i administrativní problémy.

I díky tomu je naše obchodní oddělení v neustálém kontaktu s doménovými registry, kde domlouváme pro naše zákazníky ty nejlepší ceny a akce.

V Česku jsou pouze dvě společnosti, které mají ICANN akreditaci. Je to poměrná náročný proces, který je spojený s řadou závazků. Prostě akreditovanou registraci domén nemůže dělat kdokoliv 🙂

.cz doména u WEDOS

Doména .cz je u WEDOS stále nejoblíbenější. Hostujeme také nejvíce .cz domén. Dokonce více jak tři další konkurenti v pořadí. Je pravda, že po Covid boomu, který na krátko probudil zájem o e-commerce, je teď vidět všeobecná stagnace.

Společně s CZ.NIC jedeme několik propagačních kampaní. Logo WEDOS a .cz domény jste tak mohli vidět například v ZOO Hluboká, kde jsme pro návštěvníky připravili soutěž. U vstupu jste dostali soutěžní kartu a tužku. Pak jste museli obejít stanoviště a vyplnit správné odpovědi.

NoLimit, NoLimit Extra a LowCost

Migrace služeb na nové úložiště

Do roku 2017 jsme provozovali služby sdíleného webhostingu na serverech, kde byl kladen důraz hlavně na dostatečný počet vláken, tedy aby webhostingy utáhly co možná největší provoz. Doba však pokročila a my jsme přešli na výkonnější servery s rychlejšími procesory, ty dokázaly odbavit požadavky několikrát rychleji. Vše jsme navíc přesunuli do cloudu, takže rozložení zátěže nebyl problém.

Služby do října 2017 tak byly zřizovány ještě na starém řešení. V říjnu 2021 jsme spustili měsíce plánovanou migrační akci, kdy jsme přesunuli 45 tisíc služeb ze 127 serverů, celkem 170 TB dat, na nové řešení. Zákazníci na nich okamžitě zaznamenali zrychlení webů, což nám ukázal i WEDOS OnLine, který používáme k monitorování webů zákazníků.

Co chybělo, bylo přesunutí některých databází. To jsme dokončili až v listopadu 2021. Databáze na webhostingu mámě většinou replikované v režimu Master-Slave, což je drahé, ale velice efektivní řešení, pokud se něco pokazí. Místo obnovy ze zálohy většinou stačí jen přehodit Slave za Master.

Pro účely migrace byla zvolena metoda, že Master jel na serverech a Slave na úložišti HPE 3PAR StoreServ Storage 8450, kam se měly migrovat. Stačilo tedy jen přehodit Slave za Master a bylo hotovo. Zákazníkům už vše jelo z 3PAR.

Koncept Master-Slave jsme zachovali i u 3PAR. Aktuálně máme všechny databáze na různých úložištích (master je na jiném, než slave).

Upgrade NoLimit, NoLimit Extra a vznik LowCost

V prosinci jsme si sedli nad naší nejoblíbenější službu sdíleného webhostingu NoLimit. Vyhodnotili jsme aktuální stav, kde jsme brali v potaz, jaké skripty (CMS) naši zákazníci nejvíce provozují, na co si stěžují, vliv nových technologií (rychlejší procesory, lepší a efektivnější úložiště, výkonnější ochrany atd.), samozřejmě i cenu, náklady a mnoha dalších faktorů.

Padlo důležité rozhodnutí, kam chceme službu dále směřovat. NoLimit byl často vnímán jako levný webhosting, který kvůli tomu, že je levný toho asi moc neutáhne, což byl i častý argument. To je ale nesmysl. Služba byla naddimenzovaná a navíc provozována na výkonném hardware. Měli jsme stovky zákazníků, kteří na ní provozovali weby s desítkami tisíc návštěvníků za den. Samozřejmě to vyžadovalo mít správně optimalizované skripty (hlavně využívat cache).

Rozhodli jsme se, že:

  • nechceme už být za každou cenu nejlevnější na trhu
  • zvedneme klíčové parametry tak moc, že zákazník těžko bude hledat srovnatelnou konkurenci
  • zvedneme další parametry tak, aby šly nainstalovat a provozovat i velmi náročné redakční a e-commerce řešení

V pondělí 10. ledna 2022 jsme provedli plánovaný upgrade služby NoLimit. Řada parametrů byla navýšena na dvojnásobek a výkon NoLimit dokonce o 257 %. Oproti původnímu plánu jsme navíc zvedli i počet PHP vláken u služby NoLimit Extra.

ParametryNoLimitNoLimit Extra
PHP vláken7 → 2510 → 30
PHP memory_limit256 MB → 512 MB512 MB → 1024 MB
PHP upload_max_filesize128 MB → 256 MB256 MB → 512 MB
PHP post_max_size128 MB → 256 MB256 MB → 512 MB
Maximální velikost pro databáze1 GB → 2 GB2 GB → 5 GB
Vylepšení klíčových parametrů a navýšení výkonu NoLimit a NoLimit Extra

Zároveň byl vytvořen tarif LowCost, který odpovídá cenou starému NoLimit (s příplatkovou službou SNI) a jsou zachovány klíčové parametry pro ty, kteří chtějí výkonnou službu, jako byl starý NoLimit za super cenu.

Výsledek se dostavil poměrně rychle. Zvláště profesionálové, kteří už mají zkušenosti s hostováním webů, k nám začali přesouvat náročnější projekty. Zatímco předtím jsme měli jen jednotky webů, které jen občas překonaly sto tisíc návštěv za den (viz. článek 20 webů s největší návštěvností na NoLimit, NoLimit Extra a WMS za 24 hodin v úterý 18.01.2022), tak teď jich máme desítky. Dokonce jsou u nás i weby, které mají občas přes 1M návštěv za den.

Během března se ještě vychytávali mouchy na síti, které dělaly problémy. V květnu pak bylo pár posledních případů, kde bylo nutné provést menší úpravy. Nicméně od května jede NoLimit, NoLimit Extra a LowCost bez problémů. Potvrzují to i statistiky podpory. Podporu vytěžují převážně administrativní dotazy a dotazy zákazníku, kteří svou službu k nám přesouvají (je to přes 90 % dotazů).

Jinak všem všechno v pohodě šlape a jsou spokojení. Prakticky zmizely dotazy ohledně rychlosti. Jediné, co je nové službě vyčítáno, je vyšší cena.

Na druhou stranu stále máme resty, které jsou v to do listu (například DKIM, některé PHP knihovny atd.). Postupně se k tomu ale dostáváme a řešíme je. Třeba o prázdninách proběhlo přidání nových verzí PHP (ne jen bezpečností aktualizace, ty děláme když je třeba) a MariaDB.

Dotažení šifrování

Během dubna 2022 kolegové proladili šifrování, aby weby zákazníků na NoLimit, NiLimit Extra, LowCost a WEDOS WebSite mohly mít na SSL testu zelená Áčka.

Aktuálně je na všech NoLimit (Extra), LowCost a WebSite, které používají naše proxy servery k dispozici TLS 1.3 s “vyladěným” šifrováním. TLS 1.1 a starší jsou všude vypnuté.

Pro ty, kdo si proxy servery v zákaznické administrace vypnuli, je k dispozici pouze TLS 1.2. Zanedlouho však budou všechny weby s našimi DNS přesunuty pod WEDOS Global Protection a tam je už odladěné TLS 1.3.

Migrační skripty

V listopadu 2021 jsme spustili nové migrační skripty, které Vám pomohou s přesunem dat od konkurence.

Migrační skript dat z FTP Vám automaticky zkopíruje přes FTP data od konkurence k nám a vytvoří Vám funkční web na doméně, kterou od nás dostanete zdarma. Na této doméně si vyzkoušíte, zda-li vše funguje jak má a jestli je vše tak rychlé, jak slibujeme. Pokud budete spokojeni, stačí dokončit migraci a nasměřovat doménu.

V naší znalostní bázi najdete i detailní návod krok za krokem, jak automatickou migraci dat provést.

Migrační skript e-mailových schránek využívá protokol IMAP. Přes ten si stáhne e-maily od konkurence na naše servery. A to buď do nově vytvořených e-mailových schránek, anebo už existujících. Můžete si takto nejen e-maily přenést, ale i zkopírovat do jiné schránky u nás.

I pro migraci e-mailů máme detailní návod v naší znalostní bázi.

Oba tyto skripty jsou k dispozici zdarma v zákaznické administraci.

WEDOS WebSite

WEDOS WebSite jsme se bohužel za poslední rok nevěnovali tolik, kolik by si zasloužil. Přitom je to velice oblíbená služba se slušným potenciálem. Aktuálně je aktivních zhruba 3300 služeb, z toho téměř 30 % je placených. Situace se však teď obrací, chceme velkou část značně předělat a rozšířit.

Denně na něm vznikají nové weby a my se snažíme vybírat ty nejzajímavější, které dáváme mezi ukázky, a pokud má majitel webu zájem, uděláme s ním i rozhovor.

V květnu 2022 tak přibyl další úspěšný příběh. Advokáti Doskočil & Štindlová používají WebSite k představení své kanceláře, poskytovaných služeb a akvizici nových klientů, kteří potřebují odbornou právní pomoc. Jako u ostatních příběhů i součástí tohoto je rozhovor.

Díky WEDOS WebSite si můžete rychle a snadno vytvořit vlastní moderně vypadající web. Jakmile je hotový a publikovaný, o nic dalšího se nemusíte starat. O všechny aktualizace a zabezpečení se postaráme my.

VPS HDD a VPS SSD

V důsledku nárůstu cen elektrické energie jsme u VPS HDD a VPS SSD poprvé museli navýšit ceny od jejich spuštění. U VPS HDD to bylo poprvé od roku 2010 a VPS SSD od roku 2014.

V roce 2019 jsme platili za elektřinu 36 EUR za MWh. V květnu se průměrná cena pohybovala na 250 – 300 EUR za MWh. U VPS je právě cena elektřiny klíčová.

Cena modulů u VPS HDD vzrostla o 25 %, cena příplatkových služeb zůstala stejná.

Cena běžných modůlu VPS SSD se zvedla o 33 %. U balíčku profi o 15 %. Cena dalších příplatkových služeb zůstala stejná.

S navýšením ceny většina zákazníků počítala. Někteří nám i psali, že to čekali dříve.

Zároveň jsme u služeb VPS HDD a VPS SSD navýšili sdílenou konektivitu na 1 Gbps. Prošli jsme si statistiky a po četných úpravách a vylepšeních síťové infrastruktury tomu nic nebrání. Konektivity máme nakoupeno dostatek a síťová infrastruktura je extrémně naddimenzovaná.

VPS ON

Dokončení migrace na HPE 3PAR StoreServ Storage 8450

V listopadu 2021 jsme část prvních VPS ON migrovali ze serverových úložiště HPE 3PAR StoreServ Storage 8450 k ostatním. Jednalo se o společnou akci s webhostingy, ale na rozdíl od nich to nešlo tak jednoduše.

Povedlo se nám to u velké části udělat bez odstávky. U části zákazníků byly odstávky však nutné. Celkově se migrovalo několik tisíc aktivních a živých VPS ON a WEDOS Cloud. Odstávku si vyžádalo cca 1 %.

Odstávky jsme tedy naplánovali. Komu ze zákazníků nevyhovoval čas odstávky, tak se mohl s techniky domluvit na individuálním čase.

Je zajímavé se na to dívat s odstupem času. Dnes už jsme s HPE 3PAR StoreServ Storage 8450 pokročili natolik, že bychom to zvládli daleko lépe a efektivněji.

Navýšení cen

V květnu jsme kvůli narůstajícím cenám elektřiny museli přistoupit ke zdražení služby VPS ON. VPS ON běží na serverech HPE ProLiant m710x, což jsou jednotlivé žiletky HPE Moonshot 1500, na 3 GHz (3,7 GHz v turbo) procesorech Intel E3-1585Lv5. Cílem bylo dosáhnout co největšího výkonu. Ovšem ve výsledku pak procesory spotřebují o polovinu elektřiny více.

Proto bylo také navýšení cen u procesorů nejvyšší (o 50 %). U prostoru za 1 GB SSD byla zvednuta cena o 33 %. Důvodem je změna zálohování, která vyžaduje více kapacity (2x redundance dat). Nové úložiště nám také umožní zvednout maximální kapacitu disků z 480 GB na 2048 GB.

Naopak jsme snížili cenu RAM o 5 %.

Stejně jako u VPS HDD a VPS SSD byla navýšena sdílená konektivita z 200 Mbps na 1000 Mbps. S tím, že do budoucna počítáme i s balíčkem vyhrazené konektivity.

WMS

WMS umožňuje našim zákazníků vytvářet si a spravovat webhostingy NoLimit na vyhrazeném hardware. Mají tedy celý výkon jen pro sebe. Někdo to využívá na desítky instalací WordPress, jiný na hodně navštěvovaný web a pár zákazníků značně kreativně.

Podobně jako NoLimit jede i WMS na serverech HPE ProLiant m710x s výkonnými procesory, které jsou však náročné na elektřinu. Nicméně na rozdíl od VPS ON tam díky modulům nevzniká zbytkový neprodaný výkon. Cena tak vzrostla “jen” o 33 % na CPU a 33 % za 1 GB SSD.

Podobně jako u VPS ON jsme navýšili konektivitu z 200 Mbps na 1000 Mbps.

WEDOS Cloud

Už máme vše odladěné a tím, že jsme ho zmigrovali také na HPE 3PAR StoreServ Storage 8450, tak běží také již v ostrém provozu. Uvidíme ale jak se službou dál. Nechce se nám propagovat službu, u které nevíme, jestli ji nebudeme muset za pár měsíců opět zdražit.

Zdražení WEDOS Cloud

WEDOS Cloud vychází z VPS ON, respektive jednotlivé VM jsou v podstatě VPS ON, proto je zdražení stejné.

Cena za CPU narostla o 50 %, u disku o 33 %. Důvody jsou stejné. Cena RAM klesla o 5 %.

Sdílená konektivita byla navýšena z 200 Mbps na 1000 Mbps. V plánu jsou také balíčky vyhrazené konektivity.

Maximální velikost úložiště (NVMe SSD) bude navýšena ze současných 1 TB na 2 TB.

Dedikované servery

Dedikované servery jsme museli také zdražit. Aktuálně se nám moc nevyplácí. Navíc jsou s nimi starosti a zabírají místo. Není tak v plánu rozšiřovat nabídku.

WEDOS Disk

WEDOS Disk je super služba v tom, že prostě funguje 🙂

Často dostáváme dotazym jestli bychom WEDOS Disk nechtěli vylepšit. Přidat nové protokoly, zvednout velikost anebo rychlost. Popravdě ne. Tak jak funguje, vyhovuje nám a i zákazníkům, kteří ji používají.

Možná se ale příští rok dočkáte WEDOS Disk 2 🙂

WEDOS CD

WEDOS CD byl dlouhou dubu mimo centrum dění. Vývojáře i techniky jsme potřebovali jinde.

Během dubna proběhla velká plánována aktualizace, která vyřešila řadu problémů. Museli jsme pak udělat ještě pár plánovaných odstávek k dotažení detailů, ale výsledek stojí za to.

Tato aktualizace vyřešila mimo jiné problém s nahráváním velmi velkých souborů (testovali jsme 200 GB soubory), WebDAV a (ne)fungování klienta na některých OS. Využívá se poslední verze NextCloud a vše jede na serveru s PHP8. Podle zátěžových testů, je vše několikrát rychlejší než předtím.

WEDOS VIP

V rámci WEDOS VIP nabízíme individuální služby pro zákazníky, kteří u nás utratí měsíčně více jak 20 tisíc Kč bez DPH. Většinou je poptávka po dedikovaných serverech s většími/jinými disky anebo vyhrazená konektivita.

Objevují se však i poptávky na tisíce testů ve WEDOS OnLine anebo individuální ochranu před DDoS útoky. Tohle vše bude.

Komunita

Pro komunitu našich fanoušků píšeme články na blogu a snažíme se publikovat zajímavosti na sociálních sítích. Od tohoto roku přibyly i podcasty, kde jsou zatím jen strojově namluvené články. Už se ale ozval jeden kolega, který říká, že to nemůže poslouchat a že nám to namluví 🙂

Velká část komunity je také na našem komunitním fóru help.wedos.cz. Někdo pomáhá protože, se chce něco nového naučit, někdo šetří body na odměny a někoho to prostě baví.

Bohužel se nám nedaří pro komunitu uspořádat nějakou pořádnou akci. Tento rok byl v plánu Den otevřených dveří, ale aktuálně nestíháme.

Ajťákobraní

Ajťákobraní 1.0

Po 6 letech jsme u nás opět uspořádali menší konferenci. Nesla název Ajťákobraní 1.0 a měla za cíl získat nám nové kolegy, což se povedlo. Náš kolektiv se pěkně rozrostl 🙂

Ajťákobraní 1.0 trvalo celkem 3 dny, měli jsme na ní 16 našich vlastních přednášek. Jejich záznam najdete na našem YouTube kanále.

Ajťákobraní 2.0

Už známe termín AjťákoBraní 2.0. Bude se konat v sobotu 17.09.2022 opět v našem druhém datacentru WEDOS DC2 v Hluboké nad Vltavou.

Více informací se dozvíte na našem webu wedos.cz/ajtakobrani

Konference kybernetické bezpečnosti – IT experti pro budoucnost

Koncem dubna se v našem druhém datacentru WEDOS DC2 uskutečnila Konference kybernetické bezpečnosti – IT experti pro budoucnost. Konferenci pořádala Jihočeská hospodářská komora ve spolupráci s ALEF NULA, a.s. My jsme poskytli naši konferenční místnost, vybavení a připravili exkurzi.

Na konferenci přednášel i náš vývojář, který má na starosti projekt WEDOS Global.

Jakub představuje WEDOS Global na konferenci kybernetické bezpečnosti – IT experti pro budoucnost a další může být ta Vaše!, která se konala v našem datacentru WEDOS DC2.

V našem druhém datacentru můžeme poskytnout zdarma prostory a vybavení pro zajímavé konference, ideálně s počtem účastníků do 35. K dispozici je kvalitní projektor, zvukotechnika a není problém pořídit záznam s pomocí až 4 kamer v místnosti. Vše je připravené i na streamování přes Facebook a YouTube.

Pokud potřebujete více informací, tak nám napište přes kontaktní formulář.

Přednášky na školách a konferencích

Řada z nás měla nějakou přednášku na školách anebo se účastnila nějaké konference. Začali jsme zase jezdit ven s naší stěnou a stánkem jako za starých časů 🙂

Snad toho v dalším roce bude více…

WEDOS na BarCampu 2022 v Ostravě

Partnerský program

Náš partnerský program wedos.as je důležitou součástí naší propagace. Pomáhá nám prosazovat naší značku a služby ve velmi konkurenčním prostředí. Máme kvalitní služby za velmi dobré ceny a věříme, že osobní doporučení je ta nejlepší reklama. Proto také máme jedny z nejvyšších provizí na trhu. Celkem už jsme k březnu 2022 vyplatili více jak 20 milion Kč. Přímo na blogu našeho partnerského programu je tomu věnován i článek Spustili jsme nový web a překonali hranici 20 milionů ve vyplacených provizích.

Náš partnerský program dostali na starost dva kolegové, kteří s ním za posledního půl roku opravdu pohnuli kupředu. Celý web od textů až po design kompletně předělali. Postupně jej plní užitečným obsahem, jak více a efektivněji vydělávat. Spustili VIP klub s několika úrovněmi, pro ty nejaktivnější partnery. Připravují soutěže, rozhovory a další obsah.

WEDOS Podcasty

Nemáte čas na čtení našich článků? Co si je poslechnout jako podcast cestou do práce? Podcasty jsme přidali v červenci 2022. Najdete je na Apple Podcasts, Spotify a Google Podcasts.

V budoucnu přibudou i rozhovory se zaměstnanci jednotlivých oddělení a našimi obchodními partnery, záznamy vybraných přednášek a možná i nějaká pravidelná show, která se bude věnovat nejen odborným IT tématům.

A co nás čeká v 13. sezóně WEDOS Internet, a.s.?

13. sezóna bude opravdu něco. Ve firmě došlo k řadě změn, které mají zefektivnit vývoj nových a rozšiřování stávajících služeb. Už je nás prostě hodně a chtělo tomu dát řád.

Více se také budeme věnovat tomu, co chce trh a naši zákazníci, protože řádu náročných úkolů, které tomu bránily, máme úspěšně za sebou. Jsou věci, které se udělat museli. Teď máme hotovo a můžeme se věnovat budoucím projektům.

WEDOS půjde konečně do světa. WEDOS Global je celosvětová síť, ale i služba. Není vázána na náš hosting, ten můžete mít, kde vám vyhovuje. Klidně i doma v pokoji na vašem počítači. WEDOS Global je tu od toho, aby zabránil útokům a vše zrychlil. Výsledky vidíme a jsou úžasné. A to je teprve začátek. Jakmile máte celosvětovou decentralizovanou síť, tak na ni můžete postavit cokoliv.

Spustíme první zákaznické služby v našem druhém datacentru WEDOS DC2. Pojedou na serverech v olejové lázni. Bude to tak ekologické, jak jen půjde. Navíc odpadním teplem budeme vytápět městský bazén.

Samozřejmě jak moc příští rok se vším pokročíme, bude také záležet na tom, kolik seženeme dalších kolegů. Pěkně jsme se rozrostli, ale nestačí to. Chceme růst a expandovat. Práce je u nás dost 🙂

Závěr

To je pro dnešní 12. narozeniny asi vše. Pokud bychom měli napsat detailně, co vše se za poslední rok stalo, tak by tento článek byl 5x tak dlouhý 🙂

Byla to pěkná jízda za poslední rok a těšíme se na ten další.