Internet wrze od negatywnych komentarzy wśród firm, które nie wywiązały się ze zobowiązań wobec swoich klientów. Jak cieszyć się pozytywnymi opiniami?
Karolina Goćkowska
Mechanizm wyszukiwarki Google składa się z trzech etapów: skanowania, indeksowania i wyświetlania wyników. Jeśli chcesz, aby Twoja strona była widoczna w wynikach wyszukiwania, musisz umożliwić robotom jej odnalezienie i sprawdzenie zawartości. W tym pomoże Ci plik robots.txt.
Sprawdź, na czym dokładnie polega jego działanie, do czego służy i jak stworzyć plik robots.txt WordPress.
Robots.txt to niewielki plik tekstowy, który zawiera instrukcje dla robotów indeksujących wyszukiwarki. Udziela on informacji o tym, które podstrony i sekcje domeny mają zostać sprawdzone i dodane do indeksu wyszukiwarki. Inaczej mówiąc, plik robots.txt pozwala lub zabrania wejścia na pewne adresy URL w obrębie domeny. Jeśli zablokujesz botom dostęp do pewnych obszarów, nie będą one ich sprawdzały pod kątem SEO.
A po co to robić? Czy blokowanie podstron ma sens? Oczywiście, że tak. Niektóre podstrony i elementy serwisu nie mają znaczenia dla SEO, dlatego ich skanowanie przez roboty nie ma sensu. Wtedy warto wykorzystać robots.txt. WordPress pozwala na tworzenie nie tylko stron informacyjnych czy blogów, ale również sklepów internetowych. Jeśli serwis internetowy jest bardzo rozbudowany, a boty wyszukiwarki będą sprawdzały każdą podstronę, cały proces znacznie się wydłuży, a do tego może być mniej dokładny. Podstrony, które warto zablokować dla botów indeksujących to m.in.:
Warto wspomnieć, że plik robots.txt WordPress nie służy do blokowania dostępu do całej witryny (ukrywania jej przed wyszukiwarką), o czym informuje nas firma Google na swojej stronie. Nawet jeśli zablokujesz botom dostęp do danego adresu URL w domenie, taka podstrona i tak może zostać wyświetlona w wynikach wyszukiwania np. gdy inny serwis będzie do niej prowadził.
Główne komendy dla robotów wyszukiwarki znajdujące się w pliku robots.txt to dyrektywy Allow i Disallow. Pierwsza z nich pozwala na wejście na stronę, a druga zabrania. Domyślnie plik robots.txt w WordPress pozwala na skanowanie każdej podstrony. Zatem po co nam dyrektywa Allow? Służy ona m.in. do dodawania wyjątków np. gdy blokujesz dostęp do całego katalogu, jednak zależy Ci na tym, aby konkretny plik został sprawdzony przez boty.
Podstawowa komenda dla botów indeksujących może wyglądać tak:
User-agent: *
Disallow: /wp-admin/
To oznacza, że dla wszystkich robotów zablokowany jest dostęp do panelu administracyjnego WordPressa. Za pomocą dyrektyw Allow i Disallow możesz również zablokować dostęp tylko konkretnym robotom.
Jeśli chciałbyś zablokować dostęp do panelu administracyjnego z wyjątkiem jednego pliku, to komenda w robots.txt może wyglądać np. tak:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Plik robots.txt WordPress spełnia takie same zadania jak plik robots.txt w innych Systemach Zarządzania Treścią (CMS). Jego główne zadanie to porozumiewanie się botami indeksującymi i wydawanie im instrukcji dotyczących tego, jak mają poruszać się po serwisie. Oprócz blokowania i przyznawania dostępu do danych podstron może on również służyć do wskazania lokalizacji pliku z mapą strony w formacie XML.
Jeśli chcesz sprawdzić, czy Twoja strona WordPress ma swój plik robots.txt, wpisz w pasku przeglądarki adres domeny i dodaj /robots.txt:
https://twojadomena.pl/robots.txt
To właśnie pod tym adresem znajduje się Twój plik robots.txt z instrukcjami dla botów indeksujących. Sprawdzisz tam wszystkie komendy, jakie są do nich kierowane – oczywiście pod warunkiem, że ten plik w ogóle istnieje. Jeśli został wygenerowany automatycznie, domyślnie boty będą miały dostęp do wszystkich podstron.
Plik robots.txt ma ogromne znaczenie dla procesu SEO. Jego wpływ na skuteczność działań zwiększających widoczność w wynikach wyszukiwania jest na tyle duży, że jego optymalizacja to jedna z głównych czynności całego procesu przeprowadzanego przez specjalistów od SEO. To dlatego, że pozwala on (lub zabrania) na dostęp do podstron w domenie, dzięki czemu boty wyszukiwarki mogą sprawdzić ich zawartość. A to natomiast jest potrzebne, aby Twój serwis mógł wyświetlać się w wynikach wyszukiwania. Wyszukiwarka najpierw skanuje sieć w poszukiwaniu nowych witryn, później indeksuje podstrony, czyli sprawdza ich zawartość i dopasowanie do algorytmów wartościujących, a następnie wyświetla je użytkownikom na konkretne frazy.
Jeśli nie umożliwisz botom indeksowania swojej strony, to nawet kompleksowy proces SEO nie pomoże Ci zwiększyć widoczności w wyszukiwarce.
Roboty wyszukiwarki Google zakładają pewien przydział swojej mocy na indeksowanie każdego serwisu, tzn. przydzielają liczbę stron, które sprawdzą w określonym czasie. Jeśli roboty wejdą na Twoją stronę i będą zajmowały się sprawdzaniem podstron z regulaminami, koszykiem czy stroną rejestracji, to Twój przydział nie zostanie dobrze wykorzystany. Warto zatem odpowiednio zoptymalizować plik robots.txt w WordPress i zablokować dostęp do niektórych sekcji. Dzięki temu roboty skupią się na ważnych dla SEO podstronach. Jest to istotne, zwłaszcza gdy aktualizujesz lub rozbudowujesz swoją witrynę i chcesz, aby boty szybko sprawdziły nową wersję i zaktualizowały ją w indeksie Google.
Blokowanie indeksowania niektórych podstron pomoże Ci również pozbyć się problemu związanego z duplikacją treści. Wystarczy, że zablokujesz podstrony, które mogłyby zostać odebranego jako duplikat, za pomocą pliku robots.txt w WordPress. SEO to dopasowanie strony do wymagań wyszukiwarki, a wyszukiwarka Google (z której korzysta większość użytkowników w Polsce i na świecie) bardzo nie lubi duplikatów, zarówno zewnętrznych, jak i wewnętrznych. Czasami podstrony z regulaminami, polityką prywatności czy polityką plików cookies są bardzo podobne na wielu serwisach. Z tego względu warto zablokować do nich dostęp.
Jeśli pod adresem https://twojadomena.pl/robots.txt nie znalazłeś pliku robots.txt, koniecznie musisz go utworzyć dla swojego serwisu. Jak to zrobić w WordPressie? Istnieje na kilka sposobów. Niektóre są trudniejsze (tworzenie pliku samodzielnie od zera), inne nieco łatwiejsze (automatyczne generowanie pliku). Wybierz tę metodę, która najbardziej Ci odpowiada i jest dopasowana do Twojej wiedzy oraz umiejętności.
Jednym z najprostszych sposobów na stworzenie pliku robots.txt w WordPress jest skorzystanie z wtyczki Yoast SEO. Jest to dodatek, który służy przede wszystkim do podstawowej optymalizacji strony pod kątem SEO, ale do stworzenia pliku robots.txt również doskonale się sprawdzi.
Ręczne tworzenie pliku robotst.txt dla WordPressa wymaga nieco więcej pracy i znajomości reguł, ale z tym również powinna poradzić sobie osoba bez specjalistycznej wiedzy w zakresie programowania. Cały proces tworzenia i wdrażania pliku powinien składać się z trzech etapów:
Pierwszy etap to oczywiście tworzenie pliku, w którym zostaną umieszczone komendy. Możesz to zrobić w dowolnym edytorze tekstu, jednak najlepszy będzie najprostszy np. Notatnik. Po otwarciu narzędzia wpisz komendy, które chcesz skierować do robotów. Podstawowa wersja pliku robots.txt wygląda tak:
User-agent: *
Disallow: /wp-admin/
Pierwszy wiersz tekstu, czyli User-agent: * odnosi się do robotów indeksujących. Symbol „*” oznacza, że reguła skierowana jest do wszystkich robotów. Każdą kolejną regułę należy dopisać poniżej.
Gdy skończysz pracę nad plikiem, zapisz go w rozszerzeniu txt. Pamiętaj, że nazwa pliku musi wyglądać dokładnie tak: robots.txt.
Tak utworzony plik musisz przesłać na serwer. Możesz to zrobić za pomocą programu FileZilla, który pozwoli Ci połączyć się ze swoim serwerem (wykorzystaj dane do logowania, które otrzymałeś od firmy hostingowej). Po zalogowaniu do serwera znajdź główny katalog strony i umieść w nim zapisany wcześniej plik robots.txt. Pamiętaj, że każdy serwis internetowy powinien mieć tylko jeden plik tego typu.
Po przesłaniu pliku na serwer warto sprawdzić jego działanie. Roboty Google aktualizują wersję przechowywaną w pamięci podręcznej co 24 godziny, ale możesz to zrobić ręcznie od razu. Zarówno ręczną aktualizację, jak i sprawdzenie poprawności wdrożenia pliku robots.txt wykonasz za pomocą darmowego narzędzia Google Search Console.
Jeśli wszystko będzie działało poprawnie, nie musisz robić nic więcej. Udało Ci się stworzyć i przesłać plik na serwer.
Chcesz zobaczyć o czym jeszcze pisaliśmy?
Karolina GoćkowskaiCEA GroupiCEA GroupRozpocznij
od bezpłatnej
konsultacji SEO
Zainwestuj w szczegółową konsultację SEO i dowiedz się więcej na temat wydajności Twojego sklepu internetowego. Przeprowadzimy dla Ciebie kompleksową analizę, dzięki której uzyskasz jasny obraz tego, co należy poprawić.
