robots.txt co to

Robots.txt – jaką rolę pełni ten plik dla Google i SEO?

Autor:Bartek Gąsior Publikacja: Zaktualizowano:

Plik robots.txt to prosty plik tekstowy umieszczony w katalogu głównym domeny, który pełni rolę instrukcji dla robotów indeksujących – mówi im, które zasoby witryny mogą skanować, a do których mają zablokowany dostęp. Choć wygląda niepozornie, robots.txt pozwala skutecznie zarządzać tym, jak wyszukiwarki Google i inne boty poruszają się po Twojej stronie. To jeden z fundamentów technicznego SEO, który warto dobrze rozumieć.

Robots.txt a robots exclusion protocol

Robots exclusion protocol to standard, na którym opiera się działanie pliku robots.txt. Definiuje on składnię dyrektyw oraz zasady, jakich roboty wyszukiwarek powinny przestrzegać. Protokół nie jest wymuszony technicznie – Googlebot i inne boty przestrzegają go dobrowolnie, z szacunku dla reguł ustalonych przez właściciela witryny. W praktyce jednak wyszukiwarki Google stosują się do tych zaleceń konsekwentnie.

Plik tekstowy robots.txt jest dostępny publicznie pod adresem: https://twojadomena.pl/robots.txt. Każdy może go odczytać – w tym konkurencja – dlatego nie należy traktować go jako narzędzia do ukrywania poufnych treści.

Potrzebujesz wsparcia w obszarze pozycjonowania?

Umów konsutlację z freelancerem SEO

Dlaczego robots.txt a SEO to ważny temat?

Roboty indeksujące mają przydzielony tzw. crawl budget – ograniczoną liczbę podstron, które mogą przeskanować w danym czasie. Plik robots.txt pozwala ten budżet wykorzystać efektywnie: zamiast marnować crawl na strony z wynikami wyszukiwania wewnętrznego, duplikaty czy zasoby administracyjne, możemy skierować Googlebota tam, gdzie naprawdę zależy nam na indeksowaniu.

Co istotne – zablokowanie strony w robots.txt nie usuwa jej z indeksu Google, jeśli już się tam znalazła. Do tego służy dyrektywa noindex w kodzie HTML. Robots.txt blokuje jedynie dostęp robota, nie jego wiedzę o istnieniu adresu URL.

Podstawowa składnia i reguły w pliku

Plik tekstowy robots.txt ma prostą strukturę. Każda reguła składa się z pary: User-agent(wskazuje, którego robota dotyczy instrukcja) oraz dyrektyw Disallow i Allow(definiują, co jest zablokowane lub dozwolone).

Przykładowy plik robots.txt dla witryny WordPress może wyglądać tak:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /katalog/prywatny/

Sitemap: https://twojadomena.pl/sitemap.xml

Dyrektywy zawarte w pliku działają od góry do dołu. Gwiazdka w polu User-agent oznacza wszystkich robotów. Dodanie adresu sitemap na końcu pliku to dobra praktyka – Google Search Console i Googlebot mogą dzięki temu łatwiej odkryć strukturę witryny.

Jak utworzyć plik robots.txt?

Istnieje kilka sposobów tworzenia pliku robots.txt, w zależności od środowiska i potrzeb:

  • Manualnie na serwerze – najprostsza metoda. Wystarczy w edytorze tekstu (np. Visual Studio Code) utworzyć plik o nazwie robots.txt, zapisać go w kodowaniu UTF-8 i wgrać do katalogu głównego serwera (zwykle /public_html/ lub /www/). Plik musi być dostępny pod głównym adresem domeny.
  • Za pomocą wtyczki WordPress – CMS WordPress nie generuje domyślnie pliku robots.txt na dysku, ale wytwarza go wirtualnie. Popularne wtyczki SEO, takie jak Yoast SEO czy Rank Math, umożliwiają edycję zawartości pliku bezpośrednio z poziomu panelu administracyjnego. To wygodne rozwiązanie dla użytkowników nieznających FTP.
robots.txt dzięki wtyczce Rank Math
Wtyczka Rank Math SEO pozwala utworzyć w robots.txt w panelu WordPress

Co powinien zawierać dobrze skonfigurowany plik?

Dobrze przygotowany plik robots.txt wspierający SEO powinien:

  • blokować dostęp do stref administracyjnych (np. /wp-admin/), wyników wyszukiwania wewnętrznego, stron z parametrami sesji i duplikatów treści,
  • zezwalać na dostęp do wszystkich podstron z wartościowym contentem, obrazków i skryptów niezbędnych do renderowania,
  • wskazywać adres sitemap, co ułatwia robotom Google indeksowanie całej struktury witryny,
  • nie blokować CSS i JS – Google musi widzieć stronę tak jak użytkownik, żeby poprawnie ocenić jej jakość.

Może Cię zainteresować: Słownik pojęć SEO

Blokowanie dostępu a indeksowanie – ważna różnica

Częstym błędem jest zablokowanie w robots.txt podstron, które jednocześnie mają wygenerowany tag noindex. To zbędne i może wręcz zaszkodzić – jeśli robot nie może wejść na stronę, nie odczyta dyrektywy noindex i… może ją mimo to zaindeksować na podstawie linków zewnętrznych. Reguły w pliku robots.txt i tagi noindex pełnią różne funkcje i powinny być stosowane świadomie.

Robots.txt a SEO – podsumowanie

Plik robots.txt to pozornie prosty, ale strategicznie ważny element każdej witryny. Właściwie skonfigurowany wspiera SEO poprzez efektywne zarządzanie crawl budgetem, ochronę przed indeksowaniem niechcianych zasobów i usprawnienie komunikacji z Googlebota. Niezależnie od tego, czy tworzysz go manualnie na serwerze, korzystasz z wtyczki WordPress, czy weryfikujesz ustawienia w Google Search Console – warto poświęcić mu chwilę uwagi i regularnie go testować.

Podobne wpisy