Plánované odstávky a výpadky serverů Český hosting

Dnes v době mezi 14:00 a 15:00 byl mimo provoz webserver Kochanski, okolnosti výpadku šetříme.

Dnes jsme vyřešili problém, který čas od času v několika posledních dnech způsoboval uzavření spojení (zhruba 1 z 5) z webmailu na imap server.

Dnes od 15:50 do 16:15 byl mimo provoz webserver Abel, problém způsobil administrační skript, přijměte prosím naši omluvu.

Od 19:50 do 20:11 nebyl dostupný webserver Kochanski.

Dnes v noci kolem 1:00 došlo na zhruba 10 minut k výpadku připojení k databázovému systému MySQL pro webserver Kochanski. Příčinou byla chyba v aplikaci jednoho z klientů.

Výpadek trval od 9:16 do 9:52, v 9:57 jsme ještě provedli restart serveru. Od 9:58 je server opět v provozu. Na serveru je před pádem systému patrný nárůst teplot u všech kontrolovaných senzorů, je to však rozdíl pouze několika stupňů. Nasadili jsme jádro z nové řady, systém budeme sledovat.

Od 19:47 do 20:39 byl mimo provoz poštovní server. Okolnosti tohoto a minulého výpadku zkoumáme, je to pravděpodobně problém technického vybavení (hw).

Dnes v noci od 0:49 do 1:57 nebyl v provozu poštovní server.

Dnes od 10:11 do 10:48 nebylo možné odesílat emaily přes náš SMTP server, který je určený pro zákazníky. Příčinou je chyba v námi (na serveru) používaném antiviru clamav - problém s vlákny.

Dnes ráno od 5:42 do 6:44 byl mimo provoz server, který zajištuje stránky klientské sekce a nového webmailu. Výpadek měl také webserver Kochanski, od 6:01 do 6:35.

V době mezi 18:46 a 19:50 byl nedostupný webserver na stroji Abel. Ostatních služeb se výpadek nedotkl.

Dnes před 21. hodinou jeden z klientů přetížil databázový server pro webserver Kochanski, výpadek trval několik minut.

Od 14:50 řešíme výpadek webserveru Kochanski. Služba byla uvedena do provozu v 15:20, šetříme příčiny výpadku.
Známe pravděpodobnou příčinu výpadku, nejedná se o nic vážného. Pro omezení možnosti dalších komplikací bude upravena konfigurace serveru.

Od 11:03 do 11:16 dnes nebyl kvůli administrační chybě dostupný apache na webserveru Kryton, omlouváme se.

Jeden z klientů dnes kolem 11:20 kvůli špatně napsanému skriptu na několik minut přetížil apache na webserveru Abel.

Dnes zhruba od 8:38 do 9:30 nebyly dostupné některé stránky umístěné na serveru Kochanski. Příčinou je pravděpodobně chyba v modulu mod_php, která se projevila i na jiných serverech (zamykání souborů). Hledáme nejvhodnější řešení.

Dnes měl náš poskytovatel připojení, společnost Casablanca INT s.r.o., opět výpadek, kromě krátkých intervalů nebyly servery dostupné od 18:50 do 19:20. Výpadek se mezi 19:30 a 19:45 opakoval.

Vyjádření technického oddělení spol. Casablanca INT:

Vážený zákazníku,

dne 9. srpna 2005 v době od 18:50 do 19:40 došlo k masivním DDoS útokům na některé ze zákaznických technologií umístěných v jednom z Casablanca HC. Tento útok způsobil lokální výpadky konektivity, které byly způsobeny přetížením jednoho z aktivních prvků sítě.

Technickým zásahem dohledových techniků se podařilo útok zastavit a v celá situace byla stabilizována.

Děkuji za pochopení a za způsobené problémy se velice omlouvám.

Dnes v 16:40 vypadlo na 15 minut připojení serverů, zjišťujeme, zda je závada na jednom z našich přepínačů, nebo byl problém na straně poskytovatele připojení.
Problém byl na staně poskytovatele připojení, toto je vyjádření zaměstnance spol. Casablanca INT s.r.o.:

Vážený zákazníku,

dnes 3. srpna 2005 v době od 16:40 do 16:50 došlo k několika krátkodobým, lokálním výpadkům konektivity, které byly způsobeny poruchou jednoho přepínače (switche). Včasným technickým zásahem se podařilo závadu odstranit a v tuto chvíli je celá situace již stabilizována a zcela bez problému.

Děkuji za pochopení a za způsobené problémy se velice omlouvám.

Dnes asi od 10:30 čelí náš poštovní server velkému množství spamu. Z toho důvodu může být pošta doručována se zpožděním. O situaci budeme dále informovat.
Došlo k problémům se spamovými blacklisty, rychlost doručování se vrátila na standardní úroveň v podvečer.

Dnes kolem 12:45 došlo k přetížení databázového serveru Kocour jedním z uživatelů, v této době bylo možné zaznamenat prodloužení doby vyřízení SQL dotazů.

Dnes došlo ve 14:10 k asi desetiminutovému výpadku webserveru abel, jedná se o problém se zamykáním souborů, do kterých php ukládá sezení.

Dnes v noci bude na několik minut odstaven z provozu poštovní server, bude upravena jeho konfigurace.
Odstávka proběhla v 0:23, trvala 2 minuty.

Přibližně od 6:12 do 6:32 nebyly servery dostupné kvůli výpadku připojení na straně poskytovatele, společnosti Casablanca INT. Podle telefonického vyjádření pracovníka společnosti šlo o problém s přepínačem (switch).

Výpadek se opakoval, v době od 6:45 do 7:37 nebyly servery dostupné. Čekáme na vyjádření od společnosti Casablanca INT. Tyto dva výpadky se netýkaly poštovního serveru, který ještě nebyl do nové serverovny přemístěn.

Vyjádření spol. Casablanca INT.:

Vážený zákazníku,

dnes 23.06.05 v době od 06.00 do 09:00 došlo k sérii krátkodobých výpadků, které byly způsobeny poruchou jednoho z aktivních prvků sítě. Několika technickými zásahy se podařilo nahradit problémové zařízení a v tuto chvíli je celá situace již stabilizována.

Naši administrátoři a dodavatel technologií nyní analyzují příčinu selhání a podnikají nezbytné technické kroky, aby k podobné situaci v budoucnu již nemohlo dojít.

Děkujeme za pochopení a za způsobené problémy se velice omlouváme.

Dnes po 17. hodině došlo k výpadku apache na webserveru abel, příčinu zjišťujeme.
Poslední dva výpadky webserverů pravděpodobně souvisejí s nastavením parametrů síťového stacku nebo problémy uvnitř samotného démona apache. Bude provedena revize hlídacích psů a problém budeme dále řešit.

Ve 14:50 došlo k výpadku poštovního serveru, na serveru jsou problémy s disky. Běh serveru by mohl být obnoven do 15:05 hodin.
Běh serveru byl obnoven, na serveru je delší fronta nedoručené pošty, v následujících hodinách lze očekávat opožděné doručování.

Dnes od 13:45 do 14:30 nefungovaly některé weby umístěné na serveru Kryton. Příčinou byla chyba v Apache.

Dnes cca ve 12:50 došlo k silnému přetížení databázového serveru Kocour jedním z klientů, které vedlo ke zhoršení odezvy tohoto stroje na cca 15 minut. Problém byl vyřešen, s klientem jsme se rozloučili.

Poštovní server je nyní (14:50 hod.) již několik hodin pod silnou zátěží, problémy jsou způsobené množstvím spamu. V nočních hodinách dojde k restartu serveru, pracujeme na zlepšení stávající situace.
Noční odstávka tvala 5 minut, od 0:12 do 0:17.

V posledních minutách (18:15) dochází ke zhoršení odezev všech našich serverů. Problém je na straně poskytovatele připojení a podle vyjádřění pracovníka společnosti by měl být během několika minut vyřešen.

V posledních dnech čelí poštovní server masivním spamovým vlnám, proto může docházet k opožděnému doručení emailů, zpoždění může dosáhnout i několika hodin. Na řešení stávající situace usilovně pracujeme.

Minulý týden byly naším poskytovatelem připojení avizovány práce na energetické síti:

Vyjádření spol. Casablanca INT.:

Vazeni zakaznici,
dne 3.5.2005 (utery) mezi 9:30 a 10:00 dojde k prepojovani energetickych okruhu ze strany PRE a kratkodobemu preruseni hlavniho napajeni. Tento vypadek bude pokryt zaloznim generatorem a nedojde k zadnemu omezeni provozu zakaznickych technologii.
S pozdravem
technicke oddeleni
Casablanca INT s.r.o.

K omezení provozu zákaznických technologií bohužel došlo, jeden ze záložních zdrojů našeho poskytovatele uvedené přepojování okruhů nepřestál. Na tento záložní zdroj byl zřejmě připojen router pro webserver Abel a databázový server pro servery Kryton a Abel. U těchto serverů jsme v době od 9:40 do 9:45 zaznamenali výpadek konektivity.

Dnes kolem 15. hodiny opět došlo k přetížení serveru Abel, po viníkovi pátráme.
Dnes, 27.4., jsme se rozloučili s klientem, který své stránky používal k nelegálnímu sdílení hudby a způsoboval neúměrnou zátěž serveru Abel.

Dnes odpoledne kolem 14:40 došlo k několikaminutovému přetížení serveru Abel jedním z klientů.

Dnes asi v 9:00 došlo k havárii UPS v serverovně. Z toho důvodu byl cca v době od 9:00 do 9:10 nedostupný webserver Abel a od 9:00 do 9:35 databázový server.

Dnes přibližně v době od 3:00 do 4:00 byl mimo provoz webserver Abel a databázový server. Podle vyjádření pracovníků společnosti Casablanca Inc. byl příčinou problém s UPS.

Zpráva od spol. Casablanca INT:

Vazeni zakaznici,

dnes 14.03.05 v cca 02.00 doslo k poruse jednoho ze zaloznich energetickych systemu v Casablanca HC. Nasledkem toho bylo preruseno napajeni casti elektrickych pripojek.

Jeden ze zaloznich zdroju musel byt z duvodu dalsich moznych komplikaci odstaven a tato cast site zustava zalohovana pouze motorgeneratorem. Na odstraneni zavady se intenzivne pracuje a k prechodu na plne zalohovany provoz dojde jeste dnes v odpolednich hodinach. O dalsim postupu jako i o obnoveni plne zalohy Vas budeme informovat.

Za zpusobene problemy se velice omlouvame.
[...]

Po obnovení napájení naběhly všechny postižené systémy s výjimkou databázového systému PostgreSQL, jehož činnost byla obnovena v 6:10 ráno.

Dnes v době cca od 15:55 do 16:45 byl nedostupný server Kryton. Příčinu zjišťujeme.

Od 14:34 do 14:49 bylo mimo provoz připojení na databáze a webserver Abel. Podle telefonického vyjádření poskytovatele šlo o problém s přepínači v serverovně.

Dnes od 11.30 do 11.47 nebylo možné odeslat emaily s přílohou přes primární mail server, důvodem byl drobný problém s antivirem.

Dnes asi v 9:05 došlo na několik minut ke krátkému intenzivnímu přetížení databázového serveru jedním z klientů, problém byl rychle vyřešen.

V noci proběhne asi dvacetiminutová odstávka webserveru kryton, výměna hardware.
Výměna proběhla bez problémů, server byl mimo provoz od 2:42 do 3:37, náhradní server byl vyměněn za původní. Poruchy tohoto původního serveru byly způsobeny vadnou pamětí. Poškozené moduly byly nahrazeny za otestované ECC moduly bez chyb. Byla provedena kontrola souborových systémů.

Dnes cca od 13:50 do 14:15 nastal problém v síti poskytovatele připojení naších serverů. V té době byly všechny naše servery nedostupné. Pokud se podobné problémy budou opakovat i po plánovaném přesunutí do racku (podle vyjádření připojovatele by k těmto problémům docházet nemělo), změníme poskytovatele připojení.

Vyjádření od spol. Casablanca INT:

Vazeni zakaznici,
dnes 25.1.2005 v cca 14:00 doslo k problemu v ceskem peeringovem centru NIX, ktery se dotknul nekolika operatoru vcetne Casablanca INT. Pricinu teto situace stale jeste analyzujeme, nicmene z nasi strany byla behem 15ti minut techniky znovu cela sit zprovoznena. Mensi vypadky a nedostupnost nekterych siti mohly trvat do 15.15, kdy doslo k prechodu na bezny provoz.
Za zpusobene problemy se velice omlouvame.

Dnes v cca 14:20 došlo z HW důvodů k výpadku serveru Kryton, který poskytuje webservery pro část klientských domén. Výpadek si vyžádal zásah na místě v serverovně.
V 14:45 bylo zjištěno, že došlo zřejmě k poškození raid pole. Na odstranění závady intenzivně pracujeme.
16:10 probíhá rekonstrukce diskového pole. Server bude opět v provozu do 30 minut, všechna data by měla být v pořádku.
16:40 provoz webserveru byl obnoven

Dnes od 17:15 do 18:00 byl mimo provoz webserver Kryton. Příčinou byla panika jádra.

Od 14:45 do 15:05 byly dnes všechny servery nedostupné. Příčinou byla porucha v serverovně společnosti Casablanca.

Vyjádření od spol. Casablanca INT:

... dnes pred 15. hodinou doslo k problemu na jednom nasem hranicnim routeru. Tento problem zpusobil velkou ztratovost vetsiny destinaci v NIXu trvajici asi 15 minut. Za zpusobene problemy se omlouvame....

Od 18:50 do 19:10 se výpadek opakoval, podle telefonického vyjádření pracovníka spol. Casablanca INT šlo o stejný problém.

Webový server Kryton byl dnes od 13:15 do 14:00 mimo provoz. Příčinou byla panika jádra, pravděpodobně způsobená ovladačem jedné ze síťových karet, pracujeme na lokalizaci chyby. Síť byla připojena přes kartu s jiným čipem a byla provedena kontrola souborových systémů.

Včera odpoledne byl kryton několik minut mimo provoz, bylo nutné server restartovat.

V těchto dnech zároveň pracujeme na přesunutí části domén na druhý webserver.