Test robots.txt
Ověřte svůj soubor robots.txt a zkontrolujte pravidla procházení
O robots.txt
Soubor robots.txt říká robotům vyhledávačů, ke kterým stránkám mají a nemají přístup na vašem webu.
Základní syntaxe
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Běžné direktivy
- User-agent: Určuje, pro kterého robota platí pravidla (* = všichni)
- Disallow: Blokuje přístup k určeným cestám
- Allow: Explicitně povoluje přístup (přepisuje Disallow)
- Sitemap: Ukazuje na vaši XML sitemapu
Osvědčené postupy
- Umístěte do kořene: vasestranka.cz/robots.txt
- Neblokujte CSS/JS soubory (škodí SEO)
- Používejte pro testovací weby nebo admin oblasti
- Zahrňte odkaz na sitemapu
- Testujte před nasazením
Bezpečnostní poznámka
Robots.txt NENÍ bezpečnostní opatření. Škodlivé roboty ho ignorují. Používejte správnou autentizaci pro citlivý obsah.
Často kladené otázky
Je robots.txt povinný?
Ne, ale je doporučený. Bez něj jsou všechny stránky implicitně procházitelné. Používejte ho pro blokování admin oblastí, testovacích webů nebo duplicitního obsahu.
Zastaví robots.txt všechny roboty?
Ne, je to pokyn, který etičtí roboti dodržují. Škodlivé roboty ho ignorují. Nikdy se nespoléhejte na robots.txt pro bezpečnost.
Můžu blokovat konkrétní vyhledávače?
Ano, používejte direktivy User-agent. Například: "User-agent: Googlebot" pro Google, "User-agent: Bingbot" pro Bing.
Co se stane, když zablokuji příliš mnoho?
Blokování CSS/JS souborů může škodit SEO. Blokování celých sekcí může skrýt cenný obsah před vyhledávači.
Je robots.txt povinný pro SEO?
Není povinný, ale doporučuje se. Bez něj jsou všechny stránky výchozně procházitelné. Pomocí robots.txt blokujte testovací prostředí, admin panely nebo duplicitní obsah před indexováním. Zablokování nesprávných stránek může výrazně poškodit vaše SEO.
Zastaví robots.txt všechny roboty?
Pouze dobře chující se roboty ho dodržují — včetně všech hlavních vyhledávačů (Google, Bing, Yahoo). Škodlivé roboty a scrapery robots.txt zpravidla ignorují. Jedná se o direktivu pro procházení, nikoli bezpečnostní opatření.
Mohu blokovat konkrétní vyhledávače v robots.txt?
Ano. Použijte pojmenované direktivy User-agent: 'User-agent: Googlebot' cílí na Google, 'User-agent: Bingbot' cílí na Bing. Pomocí 'User-agent: *' aplikujte pravidla na všechny roboty. Specifičtější pravidla User-agent mají přednost před pravidlem se zástupným znakem.
Co se stane, když zablokuji v robots.txt příliš mnoho?
Blokování CSS, JavaScript nebo obrázkových souborů brání Googlu ve správném vykreslování vašich stránek, což může poškodit hodnocení. Blokování celé složky /static/ nebo /assets/ je běžná chyba. Vždy testujte změny robots.txt pomocí nástroje pro kontrolu URL v Google Search Console.
Chcete automatické monitorování?
Získejte nepřetržité monitorování s okamžitými upozorněními při zjištění problémů.
Vyzkoušet zdarma