28 kwietnia 2025

Wzorcowy plik robots.txt dla WordPress (SEO)

Plik robots.txt – co to jest, do czego służy i jak go edytować

Co to jest plik robots.txt?

Plik robots.txt to niewielki plik tekstowy umieszczany w głównym katalogu Twojej strony internetowej (tzw. root serwera, np. https://twojadomena.pl/robots.txt).
Służy do komunikacji z robotami indeksującymi (crawlerami) wyszukiwarek internetowych (np. Googlebot, Bingbot). Za jego pomocą właściciel strony może określić, które części witryny mogą być indeksowane, a które powinny zostać pominięte przez roboty.

Krótko mówiąc:
➡️ Plik robots.txt zarządza tym, co wyszukiwarki mogą, a czego nie powinny widzieć na Twojej stronie.

Dlaczego plik robots.txt jest ważny?

  • Ochrona zasobów: Pomaga ograniczyć dostęp do miejsc technicznych strony (np. zaplecze /wp-admin/), które nie są przydatne dla użytkowników ani wyszukiwarek.
  • Poprawa SEO: Dzięki świadomemu zarządzaniu indeksowaniem możesz zwiększyć koncentrację robotów na wartościowych treściach (np. artykułach, produktach) zamiast na nieistotnych podstronach.
  • Optymalizacja budżetu indeksowania (crawl budget): W przypadku dużych stron warto kontrolować, jak dużo zasobów roboty zużywają na analizę witryny, aby szybciej i lepiej indeksowały najważniejsze strony.
  • Wskazywanie mapy witryny (sitemap): Ułatwia wyszukiwarkom odnalezienie kompletnego spisu stron witryny.
  • Bezpieczeństwo: Może utrudnić indeksowanie wrażliwych folderów lub plików.

Jak edytować plik robots.txt?

Istnieje kilka sposobów:

1. Edycja ręczna przez serwer FTP lub panel hostingowy

  • Zaloguj się do swojego serwera FTP lub przez panel zarządzania (np. cPanel, DirectAdmin).
  • Odszukaj katalog główny Twojej strony (public_html, htdocs lub /).
  • Jeśli plik robots.txt istnieje, możesz go pobrać, edytować i zaktualizować.
  • Jeśli go nie ma – możesz utworzyć nowy plik tekstowy o nazwie robots.txt.

Ważne: Zadbaj, aby plik zapisać jako czysty tekst (UTF-8, bez formatowania Worda).

2. Edycja za pomocą wtyczek WordPress

Wtyczki SEO takie jak Yoast SEO lub Rank Math umożliwiają wygodną edycję pliku robots.txt bezpośrednio z kokpitu WordPressa.

Yoast SEO:

  • Przejdź do → SEO → Narzędzia → Edytor plików.
  • Tam znajdziesz opcję edycji pliku robots.txt.

Rank Math:

  • Przejdź do → Rank Math → SEO Analysis → Robots.txt.
  • Możesz tam wygodnie dodać lub zmodyfikować zasady.

➡️ Edycja przez wtyczkę jest bezpieczniejsza i łatwiejsza dla początkujących użytkowników, ponieważ wtyczki sprawdzają poprawność formatu i ostrzegają przed potencjalnymi błędami.

Na co uważać edytując robots.txt?

  • ❌ Nie blokuj zasobów CSS/JS, jeśli nie masz pewności — strona może źle wyglądać lub działać w podglądzie Google.
  • ❌ Nie blokuj całej witryny przez przypadek – wpis Disallow: / oznacza całkowitą blokadę wszystkiego!
  • ✅ Zawsze testuj zmiany – używaj narzędzi typu Google Search Console → Tester pliku robots.txt aby sprawdzić, czy plik działa poprawnie.
  • ✅ Zaktualizuj link do mapy witryny jeśli zmienisz domenę lub strukturę.

Przykładowy zalecany plik robots.txt

# Sekcja ogólna: dotyczy wszystkich robotów
User-agent: *
# Blokujemy panel administracyjny WordPress – te strony nie powinny być indeksowane
Disallow: /wp-admin/
# Zezwalamy na plik admin-ajax.php (wykorzystywany przez motywy i wtyczki do AJAX)
Allow: /wp-admin/admin-ajax.php
# (Opcjonalnie) Blokujemy pliki systemowe WordPress dla bezpieczeństwa
Disallow: /wp-includes/
# (Opcjonalnie) Blokujemy strony wyników wyszukiwania (wewnętrzna wyszukiwarka)
Disallow: /?s=
# (Opcjonalnie) Dla sklepów WooCommerce – blokujemy strony koszyka, kasy i konta użytkownika
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Zezwalamy na pliki statyczne (CSS, JS, obrazy) dla poprawnego renderowania strony przez roboty
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.gif$
Allow: /*.webp$
Allow: /*.svg$
# Wskazujemy mapę witryny wygenerowaną przez wtyczkę SEO (np. Yoast SEO lub Rank Math)
Sitemap: https://www.example.com/sitemap_index.xml

Wyjaśnienia poszczególnych sekcji

  • Sekcja ogólna (User-agent) – Ustawienie User-agent: * oznacza, że poniższe reguły dotyczą wszystkich robotów indeksujących. Dzięki temu nie musimy definiować osobnych zasad dla poszczególnych wyszukiwarek – każda z nich zastosuje się do podanych niżej reguł.
  • Panel administracyjny (/wp-admin/) – Polecenie Disallow: /wp-admin/ blokuje dostęp robotów do całego panelu administracyjnego WordPress. Strony zaplecza (logowanie, edycja itp.) nie zawierają treści przeznaczonych do indeksowania, więc dla dobra SEO i bezpieczeństwa wykluczamy je z crawlowania. Dodatek Allow: /wp-admin/admin-ajax.php zezwala jednak na indeksowanie pliku AJAX, który bywa wykorzystywany przez motywy i wtyczki (np. do wczytywania dynamicznej zawartości na stronach). Dzięki temu blokada wp-admin nie utrudnia robotom dostępu do ważnych funkcji działających przez AJAX.
  • Pliki systemowe WordPress (/wp-includes/) – Linia Disallow: /wp-includes/ (oznaczona jako opcjonalna) służy zablokowaniu dostępu do wewnętrznych plików systemowych WordPress. Wprawdzie same te pliki nie powinny pojawiać się w wynikach wyszukiwania, jednak niektórzy administratorzy dodają tę regułę dla porządku lub drobnej poprawy bezpieczeństwa (ukrycie struktury strony przed botami). Należy jednak pamiętać, że katalog wp-includes zawiera również skrypty JS czy inne zasoby potrzebne do renderowania strony – dlatego w kolejnych regułach zadbaliśmy, aby nie blokować plików .css, .js czy obrazów.
  • Wyniki wyszukiwania wewnętrznego – Reguła Disallow: /?s= blokuje indeksowanie stron wyników wyszukiwarki wewnętrznej WordPress (?s=zapytanie). Takie strony nie przedstawiają unikalnej wartości dla SEO (zawierają duplikaty treści w formie wyników wyszukiwania użytkownika), więc zwykle wyklucza się je z indeksu. Ta sekcja jest opcjonalna – jeśli Twoja witryna nie udostępnia wyszukiwarki lub chcesz inaczej zarządzać tymi stronami, możesz ją pominąć.
  • Strony koszyka, kasy, konta (sklep WooCommerce) – Dla sklepów internetowych opartech na WooCommerce wskazane jest zablokowanie stron typu koszyk, finalizacja zamówienia (kasa) czy panel klienta przed indeksowaniem. W powyższym przykładzie pokazano Disallow: /cart/, /checkout/ oraz /my-account/, które odpowiadają domyślnym URL-om WooCommerce w języku angielskim (koszyk, kasa, moje konto). Tego typu strony nie zawierają treści produktowych – są to strony funkcjonalne – więc nie ma potrzeby, by pojawiały się w wynikach Google. Jeśli Twój sklep używa polskich slugów (np. /koszyk/, /zamowienie/ czy /moje-konto/), dostosuj te reguły odpowiednio do faktycznych adresów w Twojej witrynie.
  • Pliki statyczne (CSS, JS, obrazy) – Sekcja z kilkoma regułami Allow zapewnia, że roboty mogą pobierać kluczowe zasoby statyczne. Nie blokujemy (a nawet explicite zezwalamy na) pliki stylów .css, skrypty .js oraz obrazy (.png, .jpg, .gif, .webp, .svg itp.), ponieważ są one niezbędne do prawidłowego wyrenderowania i zrozumienia strony przez wyszukiwarki. Dzięki temu Google i inne wyszukiwarki mogą zobaczyć stronę tak jak użytkownik (w pełni ukształtowaną graficznie), co jest dobrą praktyką SEO – nie należy ukrywać przed robotami plików odpowiadających za wygląd i interaktywność strony.
  • Mapa witryny (Sitemap) – Na końcu pliku podajemy lokalizację mapy witryny poprzez Sitemap: .... Wskazujemy tutaj URL do pliku sitemap_index.xml wygenerowanego przez wtyczkę SEO (np. Yoast SEO lub Rank Math). Dzięki temu roboty wyszukiwarek łatwo odnajdą mapę witryny zawierającą spis wszystkich ważnych podstron. Upewnij się, że adres ten jest poprawny dla Twojej domeny (wstaw własną domenę zamiast example.com). Dodanie mapy witryny w robots.txt ułatwia indeksowanie – crawler od razu wie, gdzie szukać kompletnych informacji o strukturze strony.
  • Zgodność z wtyczkami SEO (Yoast, Rank Math) – Powyższy wzorzec robots.txt jest zgodny z zaleceniami popularnych wtyczek SEO. Zarówno Yoast SEO, jak i Rank Math domyślnie nie blokują w robots.txt żadnych istotnych treści ani zasobów – przedstawione reguły to dobra praktyka wspierana przez te narzędzia. Wtyczki te generują również własne mapy XML (jak wspomniany wyżej sitemap_index.xml) i często automatycznie dodają odpowiednią linię do robots.txt. Dodatkowo, Yoast i Rank Math pozwalają zarządzać indeksowaniem pewnych typów stron poprzez meta tagi (np. noindex dla stron kategorii, tagów czy stron sklepowych), dlatego w naszym pliku nie blokujemy takich sekcji – pozostawiamy to w gestii wtyczek i ich ustawień SEO. Taki układ zapewnia, że nie zablokujemy przypadkiem wartościowej treści, a jednocześnie chronimy i ukrywamy przed robotami elementy techniczne witryny.