Plik robots.txt to krótki plik tekstowy, w którym mówisz robotom wyszukiwarek, których adresów Twojej strony nie pobierać. Nie podnosi pozycji w Google, ale jeden błędny wiersz potrafi odciąć od wyników całą stronę. Poniżej znajdziesz, jak działa, jak go skonfigurować i jakich błędów unikać.
Najważniejsze w skrócie
- Plik robots.txt mówi robotom wyszukiwarek, których adresów strony nie pobierać. Nie usuwa stron z wyników Google i nie chroni danych.
- Strona zablokowana w robots.txt może nadal pojawić się w Google bez opisu, a jej metatag noindex pozostaje dla robota niewidoczny.
- Google czyta w robots.txt tylko pola user-agent, disallow, allow i sitemap; wpisy crawl-delay i noindex pomija.
- Błąd serwera pod adresem /robots.txt albo reguła Disallow: / przeniesiona z wersji testowej potrafi wstrzymać pobieranie całej strony przez Google.
- W robots.txt osobno decydujesz o robotach wyszukiwania AI, np. OAI-SearchBot, oraz o robotach zbierających treści do trenowania modeli, np. GPTBot i Google-Extended.
Czym jest plik robots.txt?
Plik robots.txt to zwykły plik tekstowy w katalogu głównym domeny, który określa, do których adresów strony mogą zaglądać roboty wyszukiwarek. Google opisuje go jako narzędzie do zarządzania ruchem robotów, przede wszystkim po to, żeby nie przeciążały serwera.
Plik zawsze leży pod tym samym adresem: domena z dopiskiem /robots.txt, np. https://www.twojadomena.pl/robots.txt. Możesz go otworzyć w przeglądarce na każdej stronie, także u konkurencji, bo jest publiczny.
Najprostszy plik wygląda tak:
User-agent: *
Disallow: /koszyk/
Sitemap: https://www.twojadomena.pl/sitemap.xml.
Pierwszy wiersz mówi, do kogo kierujesz reguły (gwiazdka oznacza wszystkie roboty). Drugi zakazuje wchodzenia do katalogu koszyka. Trzeci wskazuje mapę strony. Robot, który przestrzega tych reguł, np. Googlebot, nie pobierze adresów z katalogu /koszyk/.
Jak roboty czytają plik robots.txt?
Robot sprawdza robots.txt, zanim zacznie pobierać strony z danej domeny. To, co z niego wyczyta, zależy od odpowiedzi serwera, a nie tylko od treści pliku. Tak opisuje to dokumentacja Google:
2xx (plik jest dostępny)czyta reguły i je stosuje
3xx (przekierowanie)idzie za przekierowaniem przez co najmniej pięć kroków; dłuższy łańcuch traktuje jak brak pliku
4xx, np. 404 (poza 429)uznaje, że pliku nie ma, więc może pobierać wszystko
5xx (błąd serwera)przez 12 godzin wstrzymuje pobieranie strony i ponawia próby; potem przez 30 dni używa ostatniej poprawnej wersji pliku, a gdy jej nie ma, nie stosuje ograniczeń
Plik robots.txt, który zwraca błąd serwera, potrafi więc zatrzymać pobieranie całej strony. Jego dostępność warto pilnować tak samo jak dostępności strony głównej.
Kilka zasad technicznych z tej samej dokumentacji:
- plik nazywa się dokładnie robots.txt i leży w katalogu głównym, nie w podkatalogu;
- reguły działają tylko dla protokołu, hosta i portu, pod którymi leży plik;
- plik musi być zapisany w kodowaniu UTF-8;
- Google czyta pierwsze 500 KiB pliku, a resztę pomija.
Jakie polecenia obsługuje Google?
Google obsługuje w robots.txt cztery pola: user-agent, disallow, allow i sitemap. Inne wpisy, np. crawl-delay albo noindex, pomija, więc nie zmienią tempa pracy robota ani nie usuną strony z wyników.
| Polecenie | Co robi | Przykład |
|---|---|---|
| user-agent | wskazuje robota, którego dotyczy grupa reguł | User-agent: Googlebot |
| disallow | zakazuje pobierania adresów zaczynających się od podanej ścieżki | Disallow: /panel/ |
| allow | pozwala pobierać ścieżkę wewnątrz zablokowanego katalogu | Allow: /panel/cennik.html |
| sitemap | podaje pełny adres mapy strony | Sitemap: https://www.twojadomena.pl/sitemap.xml |
Do tego dochodzą dwa znaki specjalne. Gwiazdka (*) zastępuje dowolny ciąg znaków, a dolar ($) oznacza koniec adresu. Reguła Disallow: /*.pdf$ zablokuje więc wszystkie adresy kończące się na .pdf.
Trzy zasady, które decydują o tym, czy konfiguracja działa tak, jak zamierzasz:
- Wielkość liter w ścieżkach ma znaczenie: reguła dla /Sklep/ nie obejmie /sklep/.
- Gdy do jednego adresu pasują dwie reguły, wygrywa bardziej szczegółowa, czyli ta z dłuższą ścieżką.
- Gdy sprzeczne reguły są równie szczegółowe, Google wybiera mniej restrykcyjną.
Wiersz zaczynający się od # to komentarz. Robot go pomija, a Tobie pomaga opisać, po co jest dana reguła.
Co to oznacza dla Twojego biznesu?
Dla firmy robots.txt to przede wszystkim ryzyko, którym trzeba zarządzać. Skutki pomyłki nie zawsze widać od razu, a utracone zapytania z wyszukiwarki trudno potem odrobić. Dlatego zmiany w tym pliku powinny przechodzić tę samą kontrolę co zmiany w kodzie strony.
Czym robots.txt różni się od noindex?
Robots.txt decyduje, czy robot może pobrać stronę, a noindex decyduje, czy strona może trafić do wyników Google. To dwie różne decyzje i ich pomylenie należy do najczęstszych błędów.
Google pisze wprost, że robots.txt nie służy do ukrywania stron przed Google. Zablokowany adres może pojawić się w wynikach, jeśli prowadzą do niego linki z innych stron. Wtedy zwykle wyświetla się bez opisu, bo robot nie widział treści.
Jeśli strona ma nie pokazywać się w wynikach, użyj metatagu noindex. Robot musi jednak móc ją pobrać: według Google strony zablokowanej w robots.txt robot nigdy nie zobaczy, więc nie odczyta też noindex. Dla plików PDF, obrazów i filmów ten sam sygnał wysyłasz nagłówkiem X-Robots-Tag.
| Czego chcesz | Czego użyć |
|---|---|
| Robot ma nie pobierać mało ważnych adresów, np. sortowania albo wyników wyszukiwarki wewnętrznej | robots.txt |
| Strona ma nie pojawiać się w wynikach Google | noindex w kodzie strony albo nagłówek X-Robots-Tag |
| Treść ma być niedostępna dla obcych | hasło albo logowanie |
Jak robots.txt wpływa na SEO?
Robots.txt wpływa na SEO pośrednio: decyduje, co Google w ogóle może pobrać. Dobrze ustawiony kieruje robota do stron, które mają znaczenie, źle ustawiony odcina je od wyników.
Dla większości firmowych stron sprawa jest prosta: plik ma nie blokować niczego ważnego. Przy dużych serwisach dochodzi budżet indeksowania. Google kieruje swój poradnik o budżecie indeksowania do serwisów, które mają ponad 10 tys. unikalnych stron zmieniających się codziennie albo ponad milion stron zmieniających się co tydzień. Same progi Google nazywa szacunkiem. W takich serwisach zaleca blokować w robots.txt adresy bez wartości, np. strony nieskończonego przewijania i posortowane wersje tej samej listy.
Google przestrzega przy tym przed dwiema rzeczami:
- Blokowanie plików CSS i JavaScript, bez których strona nie wygląda albo nie działa poprawnie, utrudnia Google zrozumienie strony.
- Blokada wprowadzona na chwilę, żeby przesunąć budżet indeksowania na inne podstrony, nie działa. Google nie przeniesie zwolnionego budżetu, chyba że serwis już dochodzi do granicy możliwości serwera.
W modelu Search Ecosystem™ robots.txt należy do fundamentu technicznego widoczności w Google Search. Ten sam plik czytają też roboty innych usług, w tym asystentów AI.
Jak robots.txt działa wobec robotów AI?
Roboty AI mają własne nazwy w polu user-agent, więc możesz osobno decydować o wyszukiwaniu, a osobno o trenowaniu modeli. Warto to robić świadomie, bo jedna reguła dla wszystkich robotów może zablokować też te, które przyprowadzają klientów.
- Google-Extended to sam token w robots.txt, bez osobnego robota. Pozwala zdecydować, czy treści pobrane przez Google mogą służyć do trenowania modeli Gemini oraz do ugruntowania (grounding) odpowiedzi. Google zapewnia, że ten token nie wpływa na obecność strony w wyszukiwarce ani na ranking.
- AI Overviews i AI Mode korzystają z zasad wyszukiwarki. Według dokumentacji Google strona musi być zaindeksowana i móc pokazać się z fragmentem opisu, a dodatkowych wymagań technicznych nie ma. To, ile treści Google pokaże, ograniczasz regułami nosnippet, data-nosnippet, max-snippet albo noindex.
- OAI-SearchBot odpowiada za pokazywanie stron w wyszukiwaniu ChatGPT. Strona, która go zablokuje, nie będzie pokazywana w odpowiedziach wyszukiwania ChatGPT. Może się tam pojawić najwyżej jako link nawigacyjny.
- GPTBot zbiera treści do trenowania modeli OpenAI. Według dokumentacji OpenAI te ustawienia działają niezależnie, więc możesz wpuścić OAI-SearchBot i jednocześnie zablokować GPTBot.
- ChatGPT-User odwiedza stronę, gdy prosi o to użytkownik w rozmowie. OpenAI zastrzega, że wtedy reguły robots.txt mogą nie mieć zastosowania.
Przed zmianą sprawdź, które z tych robotów blokuje dziś Twój plik. Jeśli zależy Ci na obecności w odpowiedziach asystentów, zacznij od tego, czy nie odcinasz robotów wyszukiwania. Jak łączymy widoczność w Google i w asystentach, opisujemy na stronie AI Search.
Jak prawidłowo skonfigurować plik robots.txt?
Dobra konfiguracja zaczyna się od listy adresów, których robot nie musi odwiedzać, a nie od gotowego szablonu z internetu. Ten porządek sprawdza się na każdej stronie:
- Wypisz adresy bez wartości dla wyszukiwarki: koszyk, konto klienta, wyniki wyszukiwarki wewnętrznej, sortowanie i filtry, które tworzą tysiące wariantów tej samej listy.
- Sprawdź, czy wśród nich nie ma stron, które mają zniknąć z wyników. Dla nich zamiast blokady użyj noindex.
- Zapisz reguły w pliku tekstowym w UTF-8 o nazwie robots.txt.
- Dodaj wiersz Sitemap z pełnym adresem mapy strony.
- Nie blokuj plików CSS, JavaScript ani obrazów, których strona potrzebuje do wyświetlenia treści.
- Umieść plik w katalogu głównym domeny. Otwórz go w oknie prywatnym przeglądarki, żeby sprawdzić, czy jest publicznie dostępny.
- W Google Search Console otwórz raport robots.txt. Pokazuje on, czy Google pobrał plik, kiedy go sprawdzał i czy znalazł w nim błędy. Po ważnej zmianie możesz tam poprosić o ponowne pobranie pliku.
Przykładowy plik dla sklepu internetowego może wyglądać tak:
# bez koszyka, konta i wyszukiwarki wewnętrznej
User-agent: *
Disallow: /koszyk/
Disallow: /moje-konto/
Disallow: /szukaj
Disallow: /*?sort=
Sitemap: https://www.twojadomena.pl/sitemap.xml.
Nie kopiuj go jednak bez sprawdzenia. Ścieżki w Twoim sklepie mogą wyglądać inaczej, a jedna reguła za dużo zablokuje kategorie, które sprzedają.
Jakie błędy w robots.txt kosztują najwięcej?
Najdroższe błędy to te, które odcinają od Google strony sprzedające. Często powstają przy wdrożeniu nowej wersji strony, a nie przy codziennej pracy.
- Disallow: / przeniesione z wersji testowej. Wersja testowa strony często blokuje roboty w całości. Gdy jej plik trafi na produkcję razem z kodem, Google przestaje pobierać całą stronę.
- Blokada zamiast noindex. Zablokowana strona może dalej wisieć w wynikach, a robot nie zobaczy noindex, który miał ją usunąć.
- Robots.txt jako zabezpieczenie. Plik jest publiczny, więc wpisana w nim ścieżka do panelu administracyjnego czy katalogu z dokumentami podpowiada każdemu, gdzie szukać. Takie miejsca chroni hasło, nie robots.txt.
- Zablokowane CSS i JavaScript. Google nie zobaczy strony tak jak klient i może źle odczytać jej treść.
- Błąd serwera pod adresem /robots.txt. Odpowiedź 5xx wstrzymuje pobieranie strony przez Google. Google odradza też używanie odpowiedzi 401 i 403 do ograniczania tempa pobierania, bo traktuje je jak brak pliku.
- Za krótka ścieżka. Reguła działa na początek adresu, więc Disallow: /sklep zablokuje też /sklep-outlet/ oraz /sklepy-stacjonarne/. Jeśli chodzi o jeden katalog, zakończ ścieżkę ukośnikiem.
Zdaniem eksperta ICEA
„Kontrolę robots.txt wpisujemy na listę odbioru każdego wdrożenia: otwieramy plik na produkcji w dniu startu i jeszcze raz następnego dnia, bo ponowne wdrożenie potrafi nadpisać go wersją testową. W sklepach osobno sprawdzamy reguły z gwiazdką dla filtrów i sortowania, bo jedna za szeroka blokuje razem z nimi całe kategorie.”
Krystian WójcickiSenior SEO Specialist, ICEA.Co zrobić teraz?
Otwórz adres swojej domeny z dopiskiem /robots.txt i odpowiedz na trzy pytania. Czy plik nie blokuje stron z ofertą, kategorii ani plików CSS i JavaScript? Czy wskazuje aktualną mapę strony? Czy roboty AI blokujesz albo wpuszczasz świadomie?
Potem zajrzyj do raportu robots.txt w Search Console i sprawdź, czy Google pobiera plik bez błędów. Raport pokazuje też wersje pliku pobrane w ostatnich 30 dniach, więc po wdrożeniu łatwo porównasz plik sprzed zmiany z obecnym.
Najważniejszy wniosek: robots.txt służy do kierowania robotów, a nie do usuwania stron z Google ani do ich ukrywania. Gdy cel jest inny, sięgnij po noindex albo hasło.
Źródła
- Google Search Central: Wprowadzenie do pliku robots.txt (stan na październik 2026)
- Google Search Central: Jak Google interpretuje specyfikację robots.txt (stan na październik 2026)
- Google Search Central: Jak utworzyć i przesłać plik robots.txt (stan na październik 2026)
- Google Search Central: Blokowanie indeksowania za pomocą noindex (stan na październik 2026)
- Google Search Central: Zarządzanie budżetem indeksowania w dużych witrynach (stan na październik 2026)
- Google Search Central: Popularne roboty Google, w tym Google-Extended (stan na październik 2026)
- Google Search Central: Funkcje AI a Twoja witryna (AI Overviews, AI Mode) (stan na październik 2026)
- Pomoc Search Console: Raport robots.txt (stan na październik 2026)
- OpenAI: Overview of OpenAI Crawlers (stan na październik 2026)
Najczęstsze pytania.
Czy strona musi mieć plik robots.txt?
Nie. Gdy pliku nie ma i serwer zwraca 404, Google uznaje, że może pobierać całą stronę. Plik przydaje się, gdy chcesz wyłączyć część adresów albo wskazać mapę strony.
Po jakim czasie Google zauważy zmianę w robots.txt?
Google zwykle przechowuje pobrany plik do 24 godzin, więc zmiana działa najczęściej w ciągu doby. Po pilnej poprawce możesz poprosić o ponowne pobranie pliku w raporcie robots.txt w Search Console, choć Google nie obiecuje, że zrobi to od razu.
Czy robots.txt powstrzyma boty, które kopiują treści?
Nie. Przestrzeganie robots.txt jest dobrowolne: Googlebot i inne renomowane roboty się do niego stosują, ale nie każdy robot to robi. Treści, których nie chcesz udostępniać, chroń logowaniem albo hasłem.
