Co to jest crawl budget?

Crawl budget decyduje o tym, ile adresów Twojej strony Google zdąży i zechce odwiedzić. Dla większości stron firmowych nie stanowi problemu, ale w dużym sklepie albo portalu potrafi zdecydować, czy nowe produkty pojawią się w Google dziś, czy za kilka tygodni. Poniżej wyjaśniamy, od czego zależy, jak sprawdzić, czy Cię dotyczy, oraz co robić, a czego unikać.

Co to jest crawl budget?

Crawl budget (budżet skanowania, często nazywany też budżetem indeksowania) to zbiór adresów URL na Twojej stronie, które Google może i chce zeskanować w danym czasie. Tak definiuje go dokumentacja Google o zarządzaniu budżetem skanowania.

Skanowanie to pierwszy krok, zanim strona trafi do wyników. Googlebot pobiera adres, a dopiero potem Google decyduje, czy dodać go do indeksu. Nie każda zeskanowana strona zostanie zaindeksowana, ale strona, której robot nie odwiedził, nie ma szans się pojawić. Cały proces opisujemy w tekście Jak indeksują się strony w Google i ile to trwa.

Crawl budget to jeden z technicznych warunków widoczności w Google Search. Nie podnosi pozycji sam z siebie, ale decyduje o tym, czy i kiedy Google w ogóle pozna Twoje strony.

Od czego zależy crawl budget?

Crawl budget wynika z dwóch rzeczy: ile Twój serwer wytrzyma i ile Google chce zeskanować. Google nazywa je limitem wydajności skanowania (crawl capacity limit) i zapotrzebowaniem na skanowanie (crawl demand).

Składnik	Co oznacza	Co go zmienia
Limit wydajności skanowania	ile równoległych połączeń i jak długo Google może utrzymywać z Twoim serwerem, żeby go nie przeciążyć	rośnie, gdy serwer odpowiada szybko i stabilnie; spada przy spowolnieniach, błędach 5xx i odpowiedziach 429
Zapotrzebowanie na skanowanie	ile adresów Google chce odwiedzić i jak często	liczba znanych adresów (także duplikatów), popularność adresów, potrzeba odświeżenia zmienionych treści, zdarzenia w całej witrynie, np. przeniesienie strony

Limit wydajności jest wspólny dla wszystkich robotów Google. Duże zapotrzebowanie jednego z nich może zmniejszyć przepustowość dostępną dla pozostałych.

Na zapotrzebowanie masz największy wpływ przez listę adresów, które Google zna. Dokumentacja wskazuje ją jako czynnik, który właściciel strony kontroluje najbardziej (Google Crawling Infrastructure). Każdy zbędny adres, który robot uważa za wart odwiedzenia, odbiera czas adresom ważnym.

Czy crawl budget dotyczy Twojej strony?

Najpewniej nie, jeśli prowadzisz stronę firmową albo mały sklep. Google pisze, że jeśli Twoje strony są skanowane tego samego dnia, w którym je publikujesz, nie musisz zajmować się budżetem skanowania (dokumentacja Google).

Poradnik Google jest przeznaczony dla trzech grup stron. Same progi Google nazywa szacunkiem, a nie dokładną granicą:

• dużych witryn z ponad milionem unikalnych stron, których treść zmienia się mniej więcej raz w tygodniu;
• średnich i większych witryn z ponad 10 tysiącami unikalnych stron, które zmieniają się codziennie;
• witryn, w których duża część adresów ma w Search Console status „Strona wykryta – obecnie nie zindeksowana”.

Podobnie Google opisuje raport statystyk indeksowania w Search Console: to narzędzie dla zaawansowanych użytkowników, a witryny mające mniej niż tysiąc stron zwykle go nie potrzebują (pomoc Search Console).

W praktyce budżet ma znaczenie w dużych sklepach z filtrami, serwisach ogłoszeniowych, portalach z tysiącami artykułów i w witrynach, które generują adresy automatycznie, np. z kalendarza albo wyników wyszukiwarki wewnętrznej.

Co marnuje crawl budget?

Najwięcej budżetu marnują adresy, które nie powinny istnieć dla robota: duplikaty, kombinacje filtrów i parametrów oraz strony udające treść. Google wymienia w swoich poradnikach (rozwiązywanie problemów ze skanowaniem) kilka typowych źródeł:

• Nawigacja fasetowa i parametry. Filtry, sortowanie i identyfikatory sesji tworzą tysiące adresów z tą samą albo prawie tą samą treścią.
• Nieskończone przestrzenie. Kalendarze z linkiem do kolejnego miesiąca bez końca albo strony wyników generowane z dowolnego zapytania.
• Miękkie błędy 404. Strona „brak produktu” albo pusta kategoria, która zwraca kod 200 zamiast 404.
• Długie łańcuchy przekierowań. Każdy dodatkowy skok to kolejne żądanie przed dotarciem do celu.
• Wolny serwer. Długie odpowiedzi i błędy 5xx obniżają limit wydajności, więc robot pobiera mniej adresów.

Warto też odczarować dwa mity. Pierwszy: błędy 404 i 410 „psują” budżet. Google zaleca zwracać 404 albo 410 dla stron usuniętych na stałe, a adresy zablokowane w robots.txt zostają w kolejce skanowania dłużej niż adresy z kodem 404. Drugi mit: noindex oszczędza budżet. Robot i tak pobiera taką stronę, a dopiero potem ją pomija, więc czas skanowania jest zużyty.

Jak sprawdzić, czy masz problem z crawl budgetem?

Zacznij od raportu statystyk indeksowania w Search Console, który znajdziesz w ustawieniach usługi (pomoc Search Console). Raport działa tylko dla usług na poziomie domeny albo głównego adresu strony.

Raport pokazuje m.in.:

• łączną liczbę żądań skanowania, także nieudanych;
• łączny rozmiar pobranych danych i średni czas odpowiedzi serwera;
• stan hosta, czyli problemy z dostępnością z ostatnich 90 dni;
• podział odpowiedzi według kodu, typu pliku, celu skanowania (wykrywanie albo odświeżenie) i rodzaju Googlebota.

Potem sprawdź raport indeksowania stron: dużą liczbę adresów „Strona wykryta – obecnie nie zindeksowana” i miękkich błędów 404. W narzędziu do sprawdzania adresu URL szukaj komunikatu o przekroczonym obciążeniu hosta (Hostload exceeded). To sygnał, że problemem jest wydajność serwera.

Najdokładniejszy obraz dają logi serwera. Pokazują każde żądanie Googlebota z datą i adresem, więc widać, ile wizyt trafia w ważne strony, a ile w parametry, przekierowania i błędy. Do ich analizy potrzebujesz narzędzia do logów, bo w dużym serwisie to ogromne pliki.

Jak lepiej wykorzystać crawl budget?

Lepsze wykorzystanie budżetu polega głównie na porządku w adresach, a nie na sztuczkach. Poniższe kroki pochodzą z dokumentacji Google, a ich kolejność wynika z naszej praktyki:

1. Uporządkuj listę adresów. Połącz duplikaty, np. przez przekierowania albo wskazanie wersji kanonicznej. Adresy bez wartości dla wyszukiwarki, np. sortowanie i część filtrów, zablokuj w pliku robots.txt.
2. Zwracaj właściwe kody. 404 albo 410 dla stron usuniętych na stałe, bez miękkich błędów 404.
3. Aktualizuj mapę witryny. Umieść w niej tylko adresy, które chcesz mieć w wynikach. Przy zmienionych treściach dodaj znacznik lastmod. Jak zbudować mapę, opisujemy w tekście Mapa strony: co to jest i jak ją stworzyć.
4. Skróć łańcuchy przekierowań. Linki wewnętrzne kieruj prosto do adresu docelowego.
5. Przyspiesz serwer. Szybkie strony i odpowiedź 304 (Not Modified) dla treści bez zmian oszczędzają czas robota i serwera.
6. Zwiększ zasoby serwera, jeśli raporty pokazują, że to limit wydajności blokuje skanowanie.

Czego nie robić: nie używaj robots.txt do chwilowego „przesunięcia” budżetu na inne strony. Google pisze, że nie przeniesie go na inne adresy, chyba że Twoja witryna już osiąga limit wydajności (dokumentacja Google). Drugą drogą do większego budżetu jest jakość: Google częściej wraca do treści popularnych, unikalnych i wartościowych dla użytkowników.

Co zrobić, gdy roboty obciążają serwer?

Gdy Googlebot przeciąża serwer, zwróć tymczasowo kod 503 albo 429. Google ponawia takie adresy przez około dwa dni. Dłuższe zwracanie tych kodów może spowolnić albo zatrzymać skanowanie, a po ponad dwóch dniach adresy mogą wypaść z indeksu, więc to rozwiązanie awaryjne, nie ustawienie na stałe (Google Search Central).

Na serwer przychodzą dziś też roboty firm AI. OpenAI opisuje trzy z nich (dokumentacja OpenAI):

• OAI-SearchBot skanuje strony do wyników wyszukiwania w ChatGPT i stosuje się do robots.txt;
• GPTBot zbiera treści, które mogą trafić do trenowania modeli; on także stosuje się do robots.txt;
• ChatGPT-User pobiera stronę na prośbę użytkownika, więc reguły robots.txt mogą go nie obejmować.

Te roboty nie zużywają budżetu Google, ale korzystają z tego samego serwera. Jeśli przez nie serwer zwalnia albo zwraca błędy, Google może obniżyć limit wydajności skanowania. Dlatego w logach sprawdzaj wszystkie roboty, nie tylko Googlebota.

Skanowanie ma też znaczenie dla AI Search. Żeby strona mogła być linkiem źródłowym w AI Overviews albo AI Mode, musi być zaindeksowana i móc pojawić się w wyszukiwarce z fragmentem opisu (Google Search Central).

Adres, do którego robot nie dotarł, nie trafi więc ani do zwykłych wyników, ani do odpowiedzi AI.

Najważniejsze wnioski.

Crawl budget to realny problem dużych i szybko zmieniających się serwisów. Mała strona firmowa zwykle go nie ma, a czas lepiej poświęcić na treść i linki wewnętrzne.

Jeśli prowadzisz duży sklep albo portal, nie zaczynaj od walki o „większy budżet”. Zacznij od pytania, ile adresów Google zna i ile z nich naprawdę chcesz mieć w wynikach. Różnica między tymi liczbami to zwykle największa rezerwa.

Co dalej: otwórz raport statystyk indeksowania w Search Console, porównaj liczbę żądań z liczbą ważnych adresów w mapie witryny i sprawdź, czy nowe strony są skanowane w dniu publikacji. Jeśli nie, przejdź kroki z listy powyżej, zaczynając od porządku w adresach.

Najczęstsze pytania.

Czy crawl budget jest czynnikiem rankingowym?

Nie bezpośrednio. Crawl budget decyduje o tym, czy i kiedy Google pobierze adres, a o pozycji decyduje to, co na nim znajdzie; nie każda zeskanowana strona trafia też do indeksu.

Czy można zapłacić Google za częstsze skanowanie strony?

Nie. Google pisze, że nie przyjmuje opłat za częstsze skanowanie strony ani za wyższą pozycję w wynikach (Google Search Central, How Search works).

Czy subdomena ma osobny crawl budget?

Tak. Google traktuje każdą nazwę hosta jako osobną witrynę, więc np. sklep.firma.pl i blog.firma.pl mają osobne budżety skanowania.