Wszystko, co musisz wiedzieć o problemach związanych z indeksowaniem strony internetowej

W najlepszym scenariuszu wyszukiwarka indeksowałaby tylko adresy URL obecne w mapie XML danej witryny. Nadmierna indeksacja może jednak wystąpić, gdy wyszukiwarki zaczną analizować dodatkowe strony, których nie chcesz uwzględniać.

Czym jest nadmierna indeksacja?

Istnieje wiele sytuacji, w których strony, które są aktywne w Twojej witrynie, nie należą do indeksu. Przykładami tego mogą być strony, które zwracają kod błędu, nie mają na celu pojawienia się w organicznych wynikach wyszukiwania lub posiadają zduplikowane intencje.

Jakie są skutki nadmiernej indeksacji?

Z pewnością nie chcesz dźwigać dodatkowego, zbędnego ciężaru, gdy na przykład idziesz na spacer. To samo dotyczy stron internetowych!

Źródło: Kaboompics .com/pexels.com

Nadmierna indeksacja ma wiele negatywnych skutków, w tym:

• Negatywny wpływ na pozycjonowanie: istnieje prawdopodobieństwo, że większość adresów URL, które są indeksowane, ale nie są umieszczone w mapie witryny, nie powinna być brana pod uwagę przez wyszukiwarki. Są to na ogół strony niskiej jakości lub zduplikowane, które nie mają żadnej wartości pod względem pozycjonowania.
• Zmniejszony budżet indeksowania: budżet indeksowania to liczba adresów URL, które roboty chcą sprawdzać. Im więcej stron niskiej jakości znajduje się w indeksie, tym niższa ocena Twojej witryny przez Google.
• Negatywne wrażenia użytkownika: Jeśli użytkownik trafi na stronę 404, zostanie przekierowany na inny wynik wyszukiwania i zniechęci się do obcowania z Twoją marką, czego z pewnością wolałbyś uniknąć.

Jak zatem zidentyfikować nadmierną indeksację?

Poniżej zebraliśmy informacje, które pomogą w sprawdzeniu, czy strona, którą badamy nie posiada nadmiernej indeksacji.

1. Sprawdź poprawność mapy witryny

Aby ustalić, czy witryna jest nadmiernie indeksowana, musisz sprawdzić poprawność jej mapy XML. Mapa witryny to wszystkie adresy URL, które wyszukiwarka powinna indeksować. Każda liczba adresów przewyższająca ten stan wymaga szerszej kontroli.

Większość map witryn jest automatycznie generowana i aktualizowana przez CMS, wtyczkę lub aplikację. Nie oznacza to jednak, że zawsze są poprawne i nie zawierają żadnych błędów. Zacznij więc od sprawdzenia mapy witryny za pomocą narzędzia takiego jak Screaming Frog, aby zidentyfikować ewentualne błędy.

Najczęstsze błędy nadmiernej indeksacji

Niestety Google udostępnia tylko do 1000 adresów URL za pośrednictwem raportu, niezawartego w mapie witryny. W zależności od problemów, z którymi boryka się dana strona, w tej sekcji może znajdować się więcej adresów niż można wyeksportować. Niektóre typowe problemy z indeksacją adresów URL, które nie należą do map witryn, obejmują między innymi strony niskiej jakości, adresy z kodami błędów lub blokowane przez roboty.txt, zduplikowane treści czy też adresy z parametrami. Oto wyjaśnienia niektórych z nich:

1. Adresy URL z parametrami

Parametr adresu URL to sposób przekazywania informacji o kliknięciu w jego link. Można go zidentyfikować za pomocą znaku “?” w ciągu URL – na przykład (?product=6819&utm_source=google). Parametry adresów URL mogą przybierać różne formy, w tym UTM, wewnętrzne wyszukiwanie w witrynie lub parametry filtrowania. Choć powstały w innym celu, mogą stać się problematyczne, jeśli zostaną zindeksowane przez wyszukiwarkę, gdyż mogą zostać uznane za duplikat.

2. Zduplikowana zawartość

Zduplikowane treści znajdujące się poza mapami witryn mogą pochodzić z różnych miejsc. Oto kilka przykładów powodujących te problemy:

• migracja, po której strony nie zostały prawidłowo przekierowane,
• parametry, wewnętrzne wyszukiwanie lub filtrowanie adresów URL,
• podobne strony, które zostały automatycznie wygenerowane.
3. Strony niskiej jakości

Oczywistym jest fakt, że Google ceni wartościowe treści. Niska jakość zawartości stron niekoniecznie oznacza jednak, że witryna jest źle prowadzona. W tym przypadku chodzi raczej o strony, które zostały wygenerowane automatycznie. Jeśli witryna wygląda jak coś, czego nikt nigdy raczej nie poszukiwałby w Internecie, prawdopodobnie nie powinna być indeksowana przez wyszukiwarkę.

4. Adresy URL z kodami błędów

Choć wyszukiwarki bardzo często usuwają adresy URL z kodami błędów z indeksu, mogą wystąpić sytuacje, w których tego typu witryny zostaną pominięte. Błędy tego typu mogą pochodzić z różnych miejsc, ale najczęściej obejmują:

• 404s – Oznacza to, że zindeksowana strona została usunięta lub adres URL został zmieniony, ale nie przekierowano go do nowego miejsca. Chociaż 404 na ogół nie jest uwzględniany w indeksie, warto upewnić się, że takie błędy Cię nie dotyczą, aby zachować wysoką jakość linków i nie utracić ruchu w witrynie.
• 301s – Jeśli adres URL został prawidłowo przekierowany, Google znajdzie nową stronę i to właśnie ją zindeksuje. Jeśli jednak adresy te utrzymują się przez jakiś czas lub zauważysz różne typy przekierowań, być może będziesz musiał dokładniej zbadać ich źródło.
• Adresy zablokowane przez robots.txt

Jest to błąd, który występuje, gdy adres URL został zindeksowany przez Google, ale jednocześnie zablokowany przez pliki robots.txt. Może to wpływać na strony z kodami błędów i sprawiać, że będą indeksowane, nawet jeśli powinny zostać usunięte. Ponieważ tag robots.txt blokuje indeksowanie strony, wyszukiwarka nie widzi zmiany w kodzie i uznaje, że powinna być ona wyświetlana w wynikach wyszukiwania.