Obliczanie efektywności Twojej kampanii reklamowej może być proste. Wystarczy, że przeczytasz nasz artykuł!
iCEA Group
Zdarzają się sytuacje, kiedy nie chcesz, aby niektóre obszary Twojej strony były widoczne dla robotów indeksujących, a nawet samych użytkowników sieci. Można doszukać się rozmaitych powodów, dla których nie warto eksponować określonych części witryny. W zasięgu ręki masz kilka wariantów umożliwiających likwidację niepożądanego stanu rzeczy. Jakich zatem korzyści oraz potencjalnych zagrożeń możesz spodziewać się po X-Robots-Tag? O tym wspominamy na łamach artykułu. Jesteś głodny wiedzy? Nie zwlekaj, koniecznie sięgnij po nasz wpis!
Trudno objaśnić jego działanie bez przypomnienia i wskazania pewnych podstaw. Plik robots.txt informuje wyszukiwarki o tym, aby nie indeksowały pewnych stron internetowych, pliku bądź całego katalogu witryny. W tym celu korzysta się ze specjalnych dyrektyw robota. To wielkie wsparcie zarówno dla zarządzającego platformą, jak i dla samych wyszukiwarek. Ograniczając dostęp do małowartościowych sektorów strony, jesteś w stanie zmniejszyć obciążenie platformy oraz nie wytwarzać w nadmiernej ilości zbędnych witryn w indeksie. Warto pamiętać o tym, że sięganie po plik robots.txt w celu wykluczenia całej platformy z wyników wyszukiwania nie jest pożądane.
Na samym początku warto zaznaczyć, że uznawany jest za składową Robots Exclusion Protocol (w skrócie REP), czyli sposobu połączenia określonych sektorów odpowiedzialnych za weryfikację zachowań robotów w konkretnej witrynie oraz branych pod uwagę danych. Pierwszoplanową rolę odgrywają dyrektywy. Porządkują wyświetlanie określonych treści w witrynie internetowej. Dostępnych jest ich kilka rodzajów, lecz wspólne siły kumulują się wokół procesu indeksacji. Do zbioru najbardziej znanych plików zaliczymy robots.txt skorelowane z meta robots. Indywidualnie również mają dużą moc działania.
X-Robots-Tag pozwala nie tylko na ograniczenie dostępu do wyszukiwarek za pośrednictwem pliku robots.txt, lecz także na programowe ustawienie rozmaitych dyrektyw związanych z powyższym rozszerzeniem w nagłówkach HTTP (np. X-Robots-Tag noindex).
Aby w pełni zrozumieć jego działanie, należy na samym początku przedstawić podstawowe różnice pomiędzy dyrektywami robota a indeksatora. Warto poznać ich funkcje.
Jedną z dyrektyw robotów indeksujących jest “Allow” (“Zezwalać”), pozwalający na sprecyzowanie celu ich “podróży”. Przeciwstawną opcję stanowi “Disallow” wskazujący w pliku, jak dokładnie robot ma się przemieszczać, a także, które strony czy pliki powinny być wyłączone z procesu indeksacji. Dodatkowo tym wariantom towarzyszy dyrektywa “User-agent”.
O czym nie możesz zapominać? Przede wszystkim o tym, że jeżeli do strony przekierowywana jest dostateczna liczba odnośników, to sama implementacja dyrektywy “Disallow” nie będzie wystarczająca. Kołem ratunkowym okazuje się X-Robots-Tag. Pozostając w temacie dyrektyw, nie sposób pominąć mapy witryny. Stanowi bowiem nieoceniony support dla wyszukiwarek w sprawniejszym opuszczaniu strony i szybszym procesie indeksacji.
Lokalizacje dyrektyw indeksatora są określane na bazie konkretnej strony bądź jej elementów. X-Robots-Tag gwarantuje większy wachlarz możliwości, umożliwiając skuteczniejszą kontrolę indeksacji wskazanych plików. Musisz postępować jednak w sposób niezwykle ostrożny, ponieważ brak rozwagi może doprowadzić do całkowitej blokady witryny internetowej.
Miej na uwadze to, że możesz nieświadomie zablokować całą stronę WWW. W obliczu trudności wynikających z wgrania site mapy do GSC (Google Search Console) oraz dostrzeżenia X-Robots-Tag noindex powinieneś liczyć się z tym, że Twoja witryna zostanie zablokowana i konieczna stanie się modyfikacja tag nagłówka.
Choć z większością przypadków indeksacji witryn internetowych jesteś w stanie poradzić sobie za pośrednictwem plików robots.txt oraz metatagu robots, to zdarzają się sytuacje, kiedy X-Robots-Tag okaże się skuteczniejszy. Kiedy najlepiej skorzystać z jego potencjału?
Powinieneś pamiętać o tym, że X-Robots-Tag to nagłówek HTTP przekierowywany ze strony WWW. Z tego też względu to jedyna metoda indeksacji plików w innej formie od HTML. Należy dodać go do odpowiedzi HTTP strony w procesie konfiguracji dokonywanej na serwerach Apache za pośrednictwem pliku oznaczonego terminem .htaccess.
Wdrożenie tagu może wydawać się nieco trudne, zważywszy na fakt, że cały proces realizowany jest na poziomie kodu. Tagi implementowane są przez ekspertów, ponieważ najmniejsze potknięcie może przyczynić się do awarii całej witryny. Rekomenduje się systematyczną weryfikację ich problemów.
Header Set X Robots-Tag za cel obiera sobie kierowanie robotami wyszukiwarek oraz rozsądne dysponowanie budżetem indeksacji, szczególnie wtedy, gdy strona jest przepełniona różnorodnymi treściami.
Z powodu tego, że X-Robots-Tag pojawia się w nagłówku odpowiedzi HTTP (response headers), pozycjonowanie wymaga wsparcia ze strony webmasterów, którzy wdrożą go do witryny. Wszelkie dyrektywy (Robots Tag noindex, nofollow) powinno się systematycznie weryfikować z narzędziami typu Netpeak Spider, Google Search Console bądź innymi robotami. Ich moc przyczynia się do wpływu na indeksację platformy i może niechybnie doprowadzić do obniżenia rangi strony w wynikach SERP.
Po lekturze naszego wpisu już wiesz, że nagłówek HTTP X-Robots-Tag (Header Set X) to ważny instrument. Pamiętaj! Nierozważne korzystanie z jego zasobów może skutkować blokadą całej witryny.
Chcesz zobaczyć o czym jeszcze pisaliśmy?
iCEA Group
Magdalena AntońMagdalena AntońRozpocznij
od bezpłatnej
konsultacji SEO
Zainwestuj w szczegółową konsultację SEO i dowiedz się więcej na temat wydajności Twojego sklepu internetowego. Przeprowadzimy dla Ciebie kompleksową analizę, dzięki której uzyskasz jasny obraz tego, co należy poprawić.
