Plik robots.txt

Potrzebujesz ok. 1 min. aby przeczytać ten wpis

Autor: Grupa iCEA

29 sierpnia 2017

Plik robots.txt to plik umieszczony w głównym katalogu domeny umożliwiający ograniczenie dostępu do strony bądź jej części dla wszystkich lub konkretnych robotów. Jego brak jest interpretowany przez roboty wyszukiwarki jako przyzwolenie na dostęp do całości witryny. Prawidłowa konfiguracja pliku jest bardzo ważna, gdyż zablokowanie robota wyszukiwarki spowoduje niewyświetlenie strony w wynikach wyszukiwania. Z kolei udostępnienie wszystkich zasobów może spowodować wyświetlanie się elementów, które np. ze względów bezpieczeństwa nie powinny być wyszukiwane.

Napisz komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *