Googlebot – co to jest?

Google a roboty indeksujące

Gdyby nie indeksowanie nikt z nas nie miałby możliwości korzystania z zasobów sieci. Jest to proces, podczas którego Google (lub inne wyszukiwarki) zbiera informacje o treści, słowach kluczowych, linkach związanych z daną witryną. Następnie są one zapisywane w ogromnej bazie danych.

Mówiąc prościej, chodzi o to, aby wyszukiwarka dowiedziała się wszystkiego o naszej stronie, a następnie zaprezentowała ją w SERP. Obecnie w sieci są prawie 2 miliardy witryn, a ich liczba z dnia na dzień rośnie. Cały ten proces odbywa się przy pomocy tytułowych Googlebotów. To właśnie one zaglądają na stronę i zbierają znajdujące się na niej dane.

Rodzaje robotów

Googleboty dzielą się na dwa podstawowe rodzaje:

• roboty komputerowe (stymulują ruch użytkownika z poziomu urządzeń stacjonarnych);
• roboty komórkowe (stymulują ruch pochodzący z urządzeń mobilnych).

Chcąc dowiedzieć się, który z robotów indeksuje naszą stronę, wystarczy spojrzeć na ciąg znaków w żądaniu użytkownika. Warto jednak pamiętać, że każdy rodzaj robotów podlega temu samemu tokenowi w pliku robots.txt, który często jest wykorzystywany podczas optymalizacji SEO.

W jaki sposób pracuje Googlebot?

Google jednocześnie wykorzystuje działanie robotów na tysiącach komputerów, aby nieustannie poprawiać wydajność oraz skalowalność sieci. Warto wiedzieć, że nie jest to jeden robot, a cały zespół. Wszystko po to, aby nie obciążać serwera.

Roboty wykorzystują dwa rodzaje protokołów, w zależności od tego, który z nich zawiera witryna: HTTP/1.1 lub HTTP/2. Googlebot indeksuje pierwsze 15 MB pliku HTML lub innego, obsługiwanego pliku tekstowego. Wszystkie zasoby pobierane są oddzielnie: obrazy, filmy, pliki CSS oraz JavaScript. Następnie robot zatrzymuje się i zaczyna proces indeksowania. Należy jednak wiedzieć, że inne roboty mogą mieć odmienne limity.

Robot trafia na stronę, śledząc jej adres URL. Przeszukuje strony, które wcześniej odwiedzał w poszukiwaniu nowych treści, a także te nowopowstałe, dokonując ich pierwszej analizy. Istnieje możliwość wysłania żądania za pośrednictwem panelu Google Search Console, aby robot dokonał wartościowania konkretnego adresu – nie zawsze więc należy na to czekać.

Uwaga! Szybkość działania systemu jest tak duża, że robot odwiedza tę samą witrynę w ciągu kilku sekund. Może to spowolnić działanie serwera dla innych użytkowników. Warto wtedy wysłać prośbę o zmniejszenie liczby żądań na sekundę od naszej witryny.

Blokowanie dostępu do treści

Niekiedy zdarza się, że nie chcemy, aby pewnego rodzaju treści bądź linki były brane pod uwagę podczas oceny strony. Do pewnego stopnia można uniemożliwić robotom skanowanie wybranych danych, zablokować indeksowanie oraz dostęp.

W tym celu wykorzystuje się wspomniany wcześniej plik robots.txt. Odpowiednio skonfigurowany należy umieścić w katalogu na serwerze FTP z plikami strony. Blokadę można nałożyć na całą stronę lub jej wybrane fragmenty. Haczyk polega jednak na tym, że każdy robot Google inaczej traktuje nasze żądania czy prośby.

Weryfikowanie robota

Zanim jednak zaczniemy podejmować działania w stosunku do Googlebotów, warto najpierw zwrócić uwagę na ciąg znaków użytkownika, ponieważ zdarza się, że inne roboty je fałszują. Aby nie paść ofiarą oszustwa, najlepiej przeprowadzić odwrotne wyszukiwanie DNS źródłowego adresu IP żądania lub sprawdzić, czy dany URL mieści się w zakresie adresów IP Googlebota.

Googlebot a optymalizacja SEO

Prędkość ładowania strony

Mianem prędkości ładowania strony określa się czas liczony od momentu kliknięcia linku do załadowania się wszystkich elementów na stronie. Wyszukiwarka Google stworzyła 10-punktową skalę prędkości otwierania się witryny. 1 to najniższa ocena, 10 – najwyższa. Skala ta powstała na skutek przeprowadzanych badań zachowań użytkowników. Wykazały one, że ponad 53% internautów rezygnuje ze strony, jeśli czas jej ładowania zajmuje więcej niż trzy sekundy. Googleboty również zwracają na to uwagę, przez co mogą obniżyć naszą pozycję rankingową.

Atrybuty dofollow oraz nofowllow

Atrybut dofollow wysyła jasny komunikat robotom Google, że strona jest warta jej częstszego odwiedzania. Im więcej tego typu linków, tym lepsza ocena. Dobrym sposobem zdobywania linków dofollow jest tworzenie wysokiej jakości, oryginalnego contentu, który będzie chętnie udostępniany. Atrybut nofollow z kolei służy do informowania robotów wyszukiwarek, aby nie uwzględniały w swojej ocenie jakości strony oznaczonego linku. Należy pamiętać, że w wyniku aktualizacji jest to jedynie sugestia.

Mapa witryny

Sitemap to plik zawierający listę podstron danej witryny internetowej wraz z jej aktualizacjami i modyfikacjami. Jest to spis wartościowych adresów, na których zależy nam podczas procesu indeksowania przez roboty wyszukiwarek. Należy mieć świadomość, że jest ona narzędziem przydatnym nie tylko robotom oraz algorytmom, ale również użytkownikom. Mapa ułatwia nawigację po naszej stronie.

Przekierowanie 301

To metoda pozwalająca na wysłanie ruchu internetowego ze starej do nowej wersji adresu URL. Oznacza to, że witryna została przeniesiona na stałe w inne miejsce, a serwer automatycznie przekieruje każdego odbiorcę pod nowy adres. Przekierowanie sprawia, że nie tracimy ruchu na naszych witrynach. Możemy uniknąć także spadku pozycji na liście rankingowej wśród wyszukiwarek.

Słowo na koniec

Googleboty stanowią niezwykle ważną część sieci. Jeśli ich nie uwzględnimy w działaniach na swojej stronie internetowej, nawet najlepsza strategia SEO nam nie pomoże. Warto więc wiedzieć, jak się z nimi porozumiewać, a tym samym mieć wpływ na ich pracę.