DARMOWY AUDYT SEO

Jak stworzyć oraz do czego używać pliku robots.txt na WordPressie?

Jak stworzyć oraz do czego używać pliku robots.txt na WordPressie?

ThisIsEngineering/pexels.com

Mechanizm wyszukiwarki Google składa się z trzech etapów: skanowania, indeksowania i wyświetlania wyników. Jeśli chcesz, aby Twoja strona była widoczna w wynikach wyszukiwania, musisz umożliwić robotom jej odnalezienie i sprawdzenie zawartości. W tym pomoże Ci plik robots.txt.

Sprawdź, na czym dokładnie polega jego działanie, do czego służy i jak stworzyć plik robots.txt WordPress.

Plik robots.txt WordPress – czym jest i do czego służy?

Robots.txt to niewielki plik tekstowy, który zawiera instrukcje dla robotów indeksujących wyszukiwarki. Udziela on informacji o tym, które podstrony i sekcje domeny mają zostać sprawdzone i dodane do indeksu wyszukiwarki. Inaczej mówiąc, plik robots.txt pozwala lub zabrania wejścia na pewne adresy URL w obrębie domeny. Jeśli zablokujesz botom dostęp do pewnych obszarów, nie będą one ich sprawdzały pod kątem SEO.

A po co to robić? Czy blokowanie podstron ma sens? Oczywiście, że tak. Niektóre podstrony i elementy serwisu nie mają znaczenia dla SEO, dlatego ich skanowanie przez roboty nie ma sensu. Wtedy warto wykorzystać robots.txt. WordPress pozwala na tworzenie nie tylko stron informacyjnych czy blogów, ale również sklepów internetowych. Jeśli serwis internetowy jest bardzo rozbudowany, a boty wyszukiwarki będą sprawdzały każdą podstronę, cały proces znacznie się wydłuży, a do tego może być mniej dokładny. Podstrony, które warto zablokować dla botów indeksujących to m.in.:

  • regulamin i polityka prywatności,
  • panel administracyjny,
  • logowanie i rejestracja,
  • koszyk zamówieniowy,
  • strona do odzyskiwania hasła,
  • wyniki wyszukiwania z wewnętrznej wyszukiwarki.

Warto wspomnieć, że plik robots.txt WordPress nie służy do blokowania dostępu do całej witryny (ukrywania jej przed wyszukiwarką), o czym informuje nas firma Google na swojej stronie. Nawet jeśli zablokujesz botom dostęp do danego adresu URL w domenie, taka podstrona i tak może zostać wyświetlona w wynikach wyszukiwania np. gdy inny serwis będzie do niej prowadził.

Komendy w pliku robots.txt

Główne komendy dla robotów wyszukiwarki znajdujące się w pliku robots.txt to dyrektywy Allow i Disallow. Pierwsza z nich pozwala na wejście na stronę, a druga zabrania. Domyślnie plik robots.txt w WordPress pozwala na skanowanie każdej podstrony. Zatem po co nam dyrektywa Allow? Służy ona m.in. do dodawania wyjątków np. gdy blokujesz dostęp do całego katalogu, jednak zależy Ci na tym, aby konkretny plik został sprawdzony przez boty.

Podstawowa komenda dla botów indeksujących może wyglądać tak:

User-agent: *

Disallow: /wp-admin/

To oznacza, że dla wszystkich robotów zablokowany jest dostęp do panelu administracyjnego WordPressa. Za pomocą dyrektyw Allow i Disallow możesz również zablokować dostęp tylko konkretnym robotom.

Jeśli chciałbyś zablokować dostęp do panelu administracyjnego z wyjątkiem jednego pliku, to komenda w robots.txt może wyglądać np. tak:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Do czego służy plik robots.txt w WordPress?

Plik robots.txt WordPress spełnia takie same zadania jak plik robots.txt w innych Systemach Zarządzania Treścią (CMS). Jego główne zadanie to porozumiewanie się botami indeksującymi i wydawanie im instrukcji dotyczących tego, jak mają poruszać się po serwisie. Oprócz blokowania i przyznawania dostępu do danych podstron może on również służyć do wskazania lokalizacji pliku z mapą strony w formacie XML.

Jeśli chcesz sprawdzić, czy Twoja strona WordPress ma swój plik robots.txt, wpisz w pasku przeglądarki adres domeny i dodaj /robots.txt:

https://twojadomena.pl/robots.txt

To właśnie pod tym adresem znajduje się Twój plik robots.txt z instrukcjami dla botów indeksujących. Sprawdzisz tam wszystkie komendy, jakie są do nich kierowane – oczywiście pod warunkiem, że ten plik w ogóle istnieje. Jeśli został wygenerowany automatycznie, domyślnie boty będą miały dostęp do wszystkich podstron.

Sprawdź: Robots.txt na PrestaShop – gdzie go znaleźć? Co warto dodać?

Plik robots.txt a SEO

Plik robots.txt ma ogromne znaczenie dla procesu SEO. Jego wpływ na skuteczność działań zwiększających widoczność w wynikach wyszukiwania jest na tyle duży, że jego optymalizacja to jedna z głównych czynności całego procesu przeprowadzanego przez specjalistów od SEO. To dlatego, że pozwala on (lub zabrania) na dostęp do podstron w domenie, dzięki czemu boty wyszukiwarki mogą sprawdzić ich zawartość. A to natomiast jest potrzebne, aby Twój serwis mógł wyświetlać się w wynikach wyszukiwania. Wyszukiwarka najpierw skanuje sieć w poszukiwaniu nowych witryn, później indeksuje podstrony, czyli sprawdza ich zawartość i dopasowanie do algorytmów wartościujących, a następnie wyświetla je użytkownikom na konkretne frazy.

Źródło: ThisIsEngineering/pexels.com

Jeśli nie umożliwisz botom indeksowania swojej strony, to nawet kompleksowy proces SEO nie pomoże Ci zwiększyć widoczności w wyszukiwarce.

Wykorzystaj przydział na indeksowanie

Roboty wyszukiwarki Google zakładają pewien przydział swojej mocy na indeksowanie każdego serwisu, tzn. przydzielają liczbę stron, które sprawdzą w określonym czasie. Jeśli roboty wejdą na Twoją stronę i będą zajmowały się sprawdzaniem podstron z regulaminami, koszykiem czy stroną rejestracji, to Twój przydział nie zostanie dobrze wykorzystany. Warto zatem odpowiednio zoptymalizować plik robots.txt w WordPress i zablokować dostęp do niektórych sekcji. Dzięki temu roboty skupią się na ważnych dla SEO podstronach. Jest to istotne, zwłaszcza gdy aktualizujesz lub rozbudowujesz swoją witrynę i chcesz, aby boty szybko sprawdziły nową wersję i zaktualizowały ją w indeksie Google.

Zapobiegaj duplikatom treści

Blokowanie indeksowania niektórych podstron pomoże Ci również pozbyć się problemu związanego z duplikacją treści. Wystarczy, że zablokujesz podstrony, które mogłyby zostać odebranego jako duplikat, za pomocą pliku robots.txt w WordPress. SEO to dopasowanie strony do wymagań wyszukiwarki, a wyszukiwarka Google (z której korzysta większość użytkowników w Polsce i na świecie) bardzo nie lubi duplikatów, zarówno zewnętrznych, jak i wewnętrznych. Czasami podstrony z regulaminami, polityką prywatności czy polityką plików cookies są bardzo podobne na wielu serwisach. Z tego względu warto zablokować do nich dostęp.

Jak stworzyć plik robots.txt w WordPressie?

Jeśli pod adresem https://twojadomena.pl/robots.txt nie znalazłeś pliku robots.txt, koniecznie musisz go utworzyć dla swojego serwisu. Jak to zrobić w WordPressie? Istnieje na kilka sposobów. Niektóre są trudniejsze (tworzenie pliku samodzielnie od zera), inne nieco łatwiejsze (automatyczne generowanie pliku). Wybierz tę metodę, która najbardziej Ci odpowiada i jest dopasowana do Twojej wiedzy oraz umiejętności.

Automatyczne generowanie pliku robots.txt

Jednym z najprostszych sposobów na stworzenie pliku robots.txt w WordPress jest skorzystanie z wtyczki Yoast SEO. Jest to dodatek, który służy przede wszystkim do podstawowej optymalizacji strony pod kątem SEO, ale do stworzenia pliku robots.txt również doskonale się sprawdzi.

  1. W pierwszej kolejności musisz pobrać wtyczkę, a następnie zainstalować ją w swoim panelu administracyjnym WordPressa.
  2. Po zainstalowaniu włącz wtyczkę, wejdź w zakładkę SEO w ustawieniach, a następnie w Narzędzia i Edytor plików.
  3. Na ekranie wyświetlą się informację dotyczące różnych rodzajów plików, w tym robots.txt. Znajdziesz tam przycisk Utwórz plik robotst.txt – kliknij go.
  4. Po kliknięciu przycisku natychmiast wyświetli się okno z automatycznie wygenerowanym plikiem robots.txt. Podstawowa wersja pliku będzie zawierała regułę zabraniającą robotom indeksowanie katalogu wp-admin. Jest to najprostsza reguła, która w przypadku wielu stron wystarcza, jednak bez problemu możesz dodać kolejne reguły.
  5. Kliknij przycisk Zapisz zmiany w pliku robots.txt. Gotowe.

Ręczne tworzenie pliku robots.txt

Ręczne tworzenie pliku robotst.txt dla WordPressa wymaga nieco więcej pracy i znajomości reguł, ale z tym również powinna poradzić sobie osoba bez specjalistycznej wiedzy w zakresie programowania. Cały proces tworzenia i wdrażania pliku powinien składać się z trzech etapów:

Tworzenie pliku z rozszerzeniem txt i dodawanie reguł

Pierwszy etap to oczywiście tworzenie pliku, w którym zostaną umieszczone komendy. Możesz to zrobić w dowolnym edytorze tekstu, jednak najlepszy będzie najprostszy np. Notatnik. Po otwarciu narzędzia wpisz komendy, które chcesz skierować do robotów. Podstawowa wersja pliku robots.txt wygląda tak:

User-agent: *

Disallow: /wp-admin/

Pierwszy wiersz tekstu, czyli User-agent: * odnosi się do robotów indeksujących. Symbol „*” oznacza, że reguła skierowana jest do wszystkich robotów. Każdą kolejną regułę należy dopisać poniżej.

Gdy skończysz pracę nad plikiem, zapisz go w rozszerzeniu txt. Pamiętaj, że nazwa pliku musi wyglądać dokładnie tak: robots.txt.

Przesyłanie pliku na serwer

Tak utworzony plik musisz przesłać na serwer. Możesz to zrobić za pomocą programu FileZilla, który pozwoli Ci połączyć się ze swoim serwerem (wykorzystaj dane do logowania, które otrzymałeś od firmy hostingowej). Po zalogowaniu do serwera znajdź główny katalog strony i umieść w nim zapisany wcześniej plik robots.txt. Pamiętaj, że każdy serwis internetowy powinien mieć tylko jeden plik tego typu.

Sprawdzanie poprawności pliku

Po przesłaniu pliku na serwer warto sprawdzić jego działanie. Roboty Google aktualizują wersję przechowywaną w pamięci podręcznej co 24 godziny, ale możesz to zrobić ręcznie od razu. Zarówno ręczną aktualizację, jak i sprawdzenie poprawności wdrożenia pliku robots.txt wykonasz za pomocą darmowego narzędzia Google Search Console.

Jeśli wszystko będzie działało poprawnie, nie musisz robić nic więcej. Udało Ci się stworzyć i przesłać plik na serwer.

Zobacz również
Grupa iCEA
Grupa iCEA
Kategoria: Pozycjonowanie
Ostatnie wpisy

    Zastanawiasz się, dlaczego Twoja strona NIE SPRZEDAJE?
    Umów się na bezpłatną konsultację SEO i dowiedz się, jak możemy poprawić Twoje wyniki sprzedażowe.
    Wysyłanie
    Oceń tekst
    Średnia ocen 5/5 - Liczba ocen: 11
    Dodaj komentarz

    Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

    Chcesz zobaczyć o czym jeszcze pisaliśmy?

    Techniczne SEO – jak poprawić wydajność witryny?
    Techniczne SEO – jak poprawić wydajność witryny?
    Optymalizacja prędkości ładowania, budowanie sieci linków i strategia słów kluczowych to tylko niektóre z taktyk technicznego SEO. Poznaj je wszystkie!
    Co powinna zawierać umowa o pozycjonowanie?
    Co powinna zawierać umowa o pozycjonowanie?
    Czeka Cię podpisanie umowy na pozycjonowanie? Zanim to zrobisz, przeczytaj, jakie elementy powinien zawierać taki dokument!
    Jaki rozmiar i format grafik wybrać przed wdrożeniem na stronę?
    Jaki rozmiar i format grafik wybrać przed wdrożeniem na stronę?
    Rozmiar i format grafik na stronie internetowej mają ogromny wpływ nie tylko na jej odbiór przez odwiedzających, ale również na pozycjonowanie i responsywność strony. Dowiedz się, jak sformatować zdjęcia przed ich wdrożeniem na stronę.

      Wysyłanie

      Rozpocznij

      od bezpłatnej
      konsultacji SEO

      Zainwestuj w szczegółową konsultację SEO i dowiedz się więcej na temat wydajności Twojego sklepu internetowego. Przeprowadzimy dla Ciebie kompleksową analizę, dzięki której uzyskasz jasny obraz tego, co należy poprawić.

      • I Nasz ekspert SEO skontaktuje się z Tobą telefonicznie.
      • II Umówimy się na bezpłatną konsultację w dogodnym dla Ciebie terminie.
      • III SEO konsultant przeprowadzi audyt Twojej witryny i przedstawi Ci strategiczne rekomendacje, dzięki którym poprawisz wydajność swojego sklepu internetowego.
      • IV Otrzymasz szczegółowy raport SEO biorący pod uwagę szereg ważnych czynników rankingowych Google.

      Dziękujemy za kontakt.

      Pozycjonujemy biznesy od 2007 roku. Pozwól, że zrobimy to za Ciebie!

      Wrócimy z odpowiedzią w ciągu 72 godzin. Sprawdź swoją skrzynkę e-mailową, aby uzyskać więcej informacji.

        Chcesz poznać
        ofertę?
        Skontaktujemy się z Tobą w ciągu kilku minut! Jesteśmy dostępni w dni robocze w godzinach 9-15.
        Niestety aktualnie nasz konsultant nie jest dostępny. Skontaktujemy się z Tobą w godzinach otwarcia biura.
        Wyrażam zgodę na przetwarzanie moich danych w celu telefonicznego przedstawienia mi oferty firmy iCEA. Więcej w Polityce prywatności.
        Wysyłanie
        Masz pytania? Kliknij i skontaktuj się z nami telefonicznie lub poprzez czat!
        Rozpocznij chat
        Zamów rozmowę