Większośc z nich zorietnowane są na mówienie robotom wyszukiwarki które strony powinny zostać zaindeksowane i w konsekwencji, wyświetlały się w wynikach wyszukiwania.
Dwie najpopularniejsze metody informacji robotów crawlujących o tym, czy daną stronę należy zablokować przed indeksacją czy też nie to meta tag noindex oraz plik Robot.txt, który zamieszczony jest na serwerze. Wiedząc jak, oraz co najważniejsze, kiedy użyć jednego z dwóch rozwiązań jest bardzo ważne w kontekście wszystkich działań z zakresu SEO, które podejmowane są w celu osiągnięcia przez stronę internetową wyższą pozycję w wynikach wyszukiwania.
Budżet crawlowania
Umiejętność przekierowywania crawlerów wyszukiwarek internetowych, oraz wskazywania na zasoby które powinny zostać zaindeksowane i przesłane do baz danych, które posiada Google to gigantyczna przewaga na tle konkurencji. Dzięki takiej implementacji Twoi użytkownicy będą mieli dostęp jedynie do interesujących ich treści, bo jedynie takie będą dla nich dostępne z poziomu wyników wyszukiwania. Nie zostawiamy niczego przypadkowi.
Plik Robots.txt jest małym plikiem, który zaleca się umieszczać na serwerze. Dobrze przygotowany zawiera wskazówki dla robotów wyszukiwarki takich firm jak Google czy Bing, które strony mają zostać przez nie pominięte. Co jest nie lada ułatwieniem, zwłaszcza jeśli zdamy sobie sprawę z ilości stron w internecie. Każde ułatwienie dla wyszukiwarek internetowych jest na wagę złota i jest częścią składową, która wpływa na poprawę wyników serwisu.
Należy jednak pamiętać, że dyrektywy zapisane w Robots.txt to jedynie wskazówki. Nie możemy do końca kontrolować w jaki sposób działają roboty crawlujące. Co więcej, niektóre z crawlerów skanujących bez końca sieć zupełnie nie respektują dyrektyw stworzonych przez specjalistów SEO.
Gdzie crawler zaczyna skanować sieć
Punkt, w którym crawlery zaczynają swoją pracę zależy w ogromnej mierze od poszczególnego robota. Większośc firm ma swoje, różne od siebie strategie. Co do zasady pierwszym etapem działania jest przeskanowanie wszystkich URL, które robot odwiedził już w przeszłości. Najczęściej jest zaprogramowany, żeby zaczynać od stron z bardzo dużą ilością linków zewnętrznych. Dobrym przykładem mogą być serwisy o charakterze lifestylowym czy plotkarskim. Pojawia się tam codziennie bardzo dużo zawartości przekierowujących do innych portali.
Duża ilość firm zajmujących się indeksacją sieci pozwala również na wysłanie im zgłoszenia swojej własnej strony do wcześniejszej indeksacji. W ten sposób nie zostawiamy naszej witryny na pastwę przypadku losowego wejścia nań crawlera, tylko dodajemy ją do kolejki. Mamy wtedy pewność, że strona ta zostanie odwiedzona wcześniej lub później.
