V posledních dnech začal Google prostřednictvím nástroje Search Console (nedávno zvaný Webmaster Tools) mnoha webům rozesílat upozornění, že Googlebot nemá přístup k souborům CSS a JS.

Proč jste tuto zprávu obdrželi a je to důvod k obavám?

Google již v říjnu minulého roku vydal aktualizované pokyny pro webmastery, kde vysvětluje, že aby mohl robot vašemu webu plně porozumět (tedy číst jej stejně jako běžný návštěvník), měl by mít plný přístup nejen k HTML kódu, ale i dalším prvkům, jako jsou obrázky, CSS styly a soubory JavaScript. A právě přístup robota k CSS stylům a JS souborům bývá často zakázán v souboru robots.txt. Týká se to např. WordPressu, Joomly, Presty, starých Shopcentriků a dalších webových a e-shopových řešení. Blokování těchto zdrojů by přitom dle Googlu mohlo vést „k horšímu než optimálnímu hodnocení“ vašeho webu.

Nemusíte se obávat, že by se po obdržení zprávy ze Search Console začal výkon vašeho webu v organickém vyhledávání nějak zásadně propadat. Přeci jen se jedná o téměř 10 měsíců staré doporučení, na které až nyní Google pouze hromadně upozornil. Nicméně povolením přístupu k požadovaným zdrojům můžete teoreticky výkon naopak vylepšit. Řešení je navíc velmi jednoduché, stačí jen následovat kroky, které vám Google radí přímo v zaslaném upozornění. Pokud máte přístup na server, kde jsou nahrané zdrojové soubory vašeho webu, nebo flexibilního webmastera, nezabere oprava více než pár minut.

Společně si tyto kroky projdeme na praktickém příkladu jednoho z našich klientů.

Odblokování přístupu robotů k *.css a *.js souborům

• Identifikace blokovaných zdrojů

V první řade zvolíme v nástroji Search Console možnost „Načíst jako Google“. Buď se proklikneme tlačítkem přímo ze zmiňované zprávy, nebo tuto volbu najdeme v levém sloupci pod záložkou „Procházení“. Textové pole necháme nevyplněné (chceme otestovat homepage) a klikneme na tlačítko „Načíst a vykreslit“.

obrázek 1

Po načtení dat by se ve stavovém řádku měl objevit status „Částečně“, což značí, že se robot nedostal ke všem potřebným zdrojům umožňujícím plné vykreslení stránky. Pokračujeme kliknutím na stavový řádek.

obrázek 2

Zde již vidíme, že robot nedokázal vykreslit stránku tak, jak ji vidí návštěvník ve svém prohlížeči, ale vidí převážně jen HTML kód. Ve spodní části stránky pak najdeme konkrétní soubory, ke kterým se robot nedostane.

obrázek 3

Zajímají nás ty soubory, které jsou nahrány na našem webu, respektive ty, které vedle sebe mají nápis „Nástroj na testování souborů robots.txt“. Ostatní soubory jsou externí a s těmi nic nemusíme, a vlastně ani nemůžeme dělat.

Klikneme např. na tlačítko „Nástroj na testování…“ hned v prvním řádku a dostaneme se do příslušného nástroje, který nám ukáže aktuální obsah souboru robots.txt a zároveň červeně vyznačí, kterým zápisem je daný css soubor blokován.

obrázek 4

Vidíme, že robot má zakázaný přistup do celé složky /css/, ve které se právě nachází námi zvolený a několik dalších blokovaných souborů s koncovkou .css. Ostatní blokované soubory (javascripty) se pak nachází ve složce /js/. Budeme se tedy zabývat pouze těmito dvěma řádky.

• Testování souboru robots.txt

Nyní otestujeme, při jakém zápisu v souboru robots.txt přestanou být dotyčné soubory blokovány. Testovací úpravy můžete provádět přímo v okně s obsahem souboru. Změny nejsou trvalé, takže se nemusíte bát, že byste např. omylem nevratně smazali jiný zápis.

Máme v zásadě dvě možnosti:

1. Zcela vymažeme zápis blokující přístup robota do složky /css/ a v pravém spodním rohu klikneme na tlačítko „Otestovat“.

obrázek 5

Vidíme, že tlačítko se změnilo na „Povoleno“, tzn., že testovaný soubor již není blokován a roboti k němu mají volný přístup.

1. Druhou možností je zaměnit „Disallow: /css/“ za zápis „Allow: /*.css“, který je ostatním zápisům nadřazený a říká, že všechny soubory s koncovkou .css (i mimo složku /css/), budou pro roboty přístupné. Opět otestujeme.

obrázek 6

Vidíme, že i tento způsob je funkční.

Nyní však vyvstává otázka, jaký způsob úpravy souboru robots.txt je pro váš web vhodnější. Záleží to především na tom, v jaké složce se blokované soubory nachází, a jestli jsou tam pohromadě s dalšími soubory, ke kterým chcete přístup stále blokovat. Pokud si nejste jisti nebo máte tu možnost, úpravu konzultujte s webmasterem či jiným specialistou.

Jelikož víme, že ve složkách /css/ a /js/ se nachází pouze soubory, ke kterým robota můžeme bez obav pustit, rozhodli jsme se pro první metodu a smazali oba řádky, které nám blokovali přístup ke všem označeným souborům (viz obrázek č. 3).

• Úprava a nahrání nové verze souboru robots.txt

Nyní je potřeba „natvrdo“ upravit soubor robots.txt, znovu jej nahrát a informovat Google o této změně. Soubor se zpravidla nachází v kořenovém adresáři na serveru, kde máte nahraná všechna data k vašemu webu. V této fázi, pokud nemáte přístup k souborům vašeho webu, budete potřebovat asistenci webmastera či jiné příslušné osoby.

Alternativně si soubor robots.txt můžete stáhnout přímo v Search Console kliknutím na tlačítko „Odeslat“ (obr. 7) a následně volbou „Stáhnout“ ve vyskakovacím okně (obr. 8).

obrázek 7

Jakmile budete mít soubor stažený, proveďte vámi vybranou změnu zápisu, která odblokuje přístup k potřebným zdrojům, soubor uložte a nahrajte jej zpět do kořenového adresáře domény.

Nyní v Search Console opět vyvolejte vyskakovací okno kliknutím na tlačítko „Odeslat“, zvolte možnost „Zobrazit nahranou verzi“ a zkontrolujte, jestli je obsah souboru robots.txt opravdu aktualizovaný (tzn., jestli jste jej na server nahráli správně). Pokud je vše v pořádku, zbývá Google o této aktualizaci informovat. To učiníte kliknutím na tlačítko „Odeslat“, opět ve stejném vyskakovacím okně.

obrázek 8

Až se objeví hláška oznamující úspěch, zavřete vyskakovací okno a obnovte stránku (např. pomocí zkratky Ctrl + R). Mělo by dojít k aktualizaci časového údaje o poslední verzi souboru robots.txt. Pokud se tak nestane ihned, chvíli počkejte a stránku obnovte znovu.

obrázek 9

Jakmile se časový údaj aktualizuje a vy uvidíte vámi změněný zápis souboru robots.txt, zbývá již jen poslední krok…

• Ověření opravy pomocí nástroje Načíst jako Google

Opět tedy přejdeme do nástroje Načíst jako Google a zopakujeme postup z bodu 1). Nelekejte se, pokud se ve stavovém řádku opět objeví status „Částečně“ – to je pravděpodobně způsobeno blokovanými externími zdroji. Důležité je, aby výsledek vypadal následovně:

obrázek 10

Nyní vidíme, že Googlebot vidí webovou stránku stejně, jako koncový uživatel ve svém prohlížeči, a měl by tedy (podle Googlu) plně rozumět jejímu obsahu. Třikrát hurá! 🙂 Sami jsme zvědavi, jestli tato změna uspokojí Google natolik, aby weby našich klientů např. posunul výše ve výsledcích vyhledávání. Situaci budeme monitorovat a v případě zajímavých zjištění vás určitě budeme informovat.

Stále se vám nedaří příslušné soubory odblokovat, nebo nevíte, který způsob zápisu do robots.txt je pro váš web vhodnější? Napište nám do komentáře, rádi vám poradíme! Pokud se chcete poradit s odborníkem nebo si nechat od nás soubor robots.txt zkontrolovat, napište našim specialistům na info@acomware.cz.