Crawling w SEO - jak Google odkrywa i skanuje strony?

Crawlability vs indexability - dwie różne diagnozy

Crawling odpowiada na pytanie: czy Googlebot może dotrzeć do URL-a i pobrać jego zasoby? Indexability odpowiada na kolejne pytanie: czy pobrany URL może zostać zapisany w indeksie. To ważne, bo strona może być świetnie dostępna dla robota, a mimo to nie trafić do indeksu przez canonical, noindex, duplikację albo brak wartości jako osobny wynik.

Szczegółową diagnostykę kolejnego etapu opisuje poradnik o indeksowaniu strony w Google.

Jak działa Googlebot?

Googlebot to robot Google używany do automatycznego odnajdywania i skanowania witryn. Zachowuje się jak klient HTTP: wysyła żądanie do serwera, pobiera odpowiedź, sprawdza linki i zasoby, a następnie może wrócić do strony w przyszłości.

Google korzysta z różnych robotów i modułów pobierania. Typowe roboty, takie jak Googlebot, przestrzegają reguł robots.txt podczas automatycznego crawlowania. W logach serwera możesz więc zobaczyć różne user-agenty Google, ale nie każdy oznacza ten sam cel pobrania.

Skąd Google bierze adresy URL?

Google musi najpierw poznać adres, zanim będzie mógł go pobrać. Najczęściej źródłem są linki wewnętrzne, sitemap.xml, linki z innych domen i historia wcześniejszego crawlu.

URL inventory - które adresy mają zabierać czas Googlebota?

Najbardziej praktyczna optymalizacja crawlowania polega na zarządzaniu pulą URL-i. Google może znać tysiące adresów w serwisie, ale nie każdy z nich powinien być traktowany jak wartościowy kandydat do crawlowania i indeksowania.

Jak linkowanie wewnętrzne wpływa na crawling?

Linkowanie wewnętrzne tworzy crawlable ścieżki do URL-i i pokazuje ich miejsce w hierarchii serwisu. Linki z menu, kategorii, hubów tematycznych lub treści pomagają Googlebotowi odkryć podstronę i wracać do niej podczas kolejnych crawlów.

Sposób planowania takich przejść opisuje osobny poradnik o linkowaniu wewnętrznym.

Najczęstszy problem to strony osierocone, czyli takie, które istnieją w CMS-ie lub sitemapie, ale nie są podlinkowane z innych miejsc serwisu. Mogą być znane Google, ale ich rola w strukturze jest słaba.

Najbezpieczniejszy link dla Google to zwykły element <a href> z opisowym anchorem. Linki generowane wyłącznie przez zdarzenia JavaScriptu, puste anchory albo powtarzane „czytaj więcej” pomagają znacznie słabiej, bo nie niosą jasnego kontekstu. Jeśli nawigacja lub treść zależy od frontu, sprawdź też JavaScript SEO i renderowanie treści.

Rola sitemap.xml w crawlowaniu

Sitemap.xml zgłasza Google adresy wybrane jako ważne lub zaktualizowane, ale nie gwarantuje ich pobrania ani indeksowania. Jeśli mapa zawiera URL-e 404, przekierowania, noindex, parametry lub duplikaty, utrudnia diagnostykę priorytetowych stron.

• Dodawaj do sitemap tylko adresy kanoniczne i dostępne.
• Aktualizuj mapę po dodaniu, usunięciu lub przebudowie sekcji.
• Dziel duże sitemapy według typów treści, np. kategorie, produkty, artykuły.

Reguły doboru URL-i, lastmod, sitemap index i błędy mapy rozwija osobny przewodnik o sitemap.xml w SEO.

Rola robots.txt

Reguły robots.txt ograniczają pobieranie wskazanych ścieżek przez współpracujące roboty. Zarządzają crawlingiem, a nie pewnym usuwaniem strony z indeksu. Jeśli adres jest zablokowany w robots.txt, Google może nie zobaczyć meta noindex umieszczonego w HTML-u.

Plik robots.txt warto stosować ostrożnie. Jeden zbyt szeroki zapis potrafi zablokować ważną sekcję, zasoby JavaScript albo CSS potrzebne do renderowania strony. Składnię, kolejność reguł i relację z noindex rozwija poradnik o robots.txt pod kątem SEO.

Statusy HTTP a crawling

Status HTTP mówi robotowi, co stało się z żądaniem. Dla SEO ważne jest nie tylko to, czy użytkownik widzi stronę, ale też co serwer odpowiada Googlebotowi.

Przekierowania a crawling

Przekierowania są normalną częścią utrzymania strony, ale powinny być krótkie i logiczne. Łańcuchy typu A → B → C → D niepotrzebnie zużywają zasoby robota, spowalniają diagnostykę i zwiększają ryzyko błędów.

Przy migracji strony najważniejsze adresy powinny prowadzić możliwie bezpośrednio do nowych odpowiedników. Przekierowanie na stronę główną zamiast właściwej podstrony zwykle nie jest dobrym rozwiązaniem. Dobór kodu i mapowanie adresów opisuje przewodnik po przekierowaniach 301 i 302 w SEO.

Crawl depth i orphan pages

Crawl depth to liczba kliknięć potrzebnych, aby dotrzeć z ważnego miejsca w serwisie do konkretnej podstrony. Im głębiej znajduje się ważny URL, tym trudniej robotowi i użytkownikowi uznać go za priorytetowy.

Orphan pages są jeszcze większym problemem: nie mają linków wewnętrznych. Mogą pojawiać się w sitemapie lub raportach, ale nie uczestniczą w normalnym przepływie autorytetu i kontekstu.

Crawl budget - kiedy ma znaczenie?

Crawl budget to uproszczone określenie zasobów, które Google może przeznaczyć na crawling witryny. W małych serwisach zwykle nie jest głównym problemem. Znaczenie rośnie w dużych sklepach, portalach, serwisach newsowych i witrynach z wieloma parametrami URL.

Jeśli sklep tworzy tysiące adresów z filtrów, sortowania i parametrów, Googlebot może spędzać czas na URL-ach, które nie powinny być priorytetem. Wtedy optymalizacja crawl budgetu staje się praktycznym zadaniem, a nie akademickim hasłem.

Crawling w małym serwisie i dużym e-commerce

Crawling małej witryny zależy głównie od prostych ścieżek do ważnych usług, a crawling dużego sklepu także od kontroli filtrów, sortowań i pustych wyników. Skala serwisu zmienia więc priorytet z samej dostępności URL-i na rozkład żądań między typami adresów.

Jak sprawdzić crawling w Google Search Console?

Google Search Console pokazuje między innymi statystyki indeksowania, raport stron, inspekcję URL i informacje o powodach niezaindeksowania. To dobry punkt startu, bo pokazuje perspektywę Google, a nie tylko narzędzia zewnętrznego.

• Sprawdź, czy ważne URL-e są znane Google.
• Porównaj strony przesłane w sitemapie ze stronami zaindeksowanymi.
• Użyj inspekcji URL, aby zobaczyć ostatni crawl i wybraną kanoniczną wersję.
• W Crawl Stats obserwuj łączną liczbę żądań, rozmiar pobrań, średni czas odpowiedzi i status hosta.
• Pamiętaj, że przykładowe URL-e w GSC nie są pełną listą żądań Googlebota.

Znaczenie tych raportów i granice ich interpretacji rozwija przewodnik po Google Search Console.

Jak analizować crawling w logach serwera?

Logi serwera pokazują realne żądania robotów: datę, adres URL, user-agent, status HTTP i czas odpowiedzi. To najbliższe źródło prawdy o tym, co Googlebot faktycznie pobiera.

Analiza logów pomaga odpowiedzieć na pytania, których nie widać w samym crawlerze SEO: czy Googlebot odwiedza ważne kategorie, czy marnuje czas na parametry, jak często trafia na 404 i czy serwer odpowiada stabilnie.

• Podziel żądania Googlebota według typu URL-a: usługi, kategorie, produkty, filtry, artykuły, zasoby.
• Sprawdź udział statusów 200, 3xx, 4xx i 5xx oraz najczęstsze adresy z błędami.
• Porównaj crawl Googlebota z listą URL-i, które naprawdę chcesz indeksować.
• Zweryfikuj, czy robot wraca do aktualizowanych stron i omija ścieżki bez wartości SEO.

Crawl efficiency - czy Googlebot odwiedza właściwe URL-e?

W większych serwisach sama informacja, że Googlebot pobiera stronę, jest za słaba. Ważniejsza jest efektywność crawlu: jaka część żądań trafia do URL-i, które mają znaczenie biznesowe i semantyczne, a jaka do parametrów, przekierowań, błędów albo stron bez wartości.

Objaw, możliwa przyczyna i miejsce diagnozy

Diagnoza crawlowania łączy odwiedzany URL, częstotliwość pobrania, status odpowiedzi i rolę adresu w serwisie. Sama informacja, że Googlebot odwiedził stronę, nie pokazuje, czy crawl trafia do właściwych sekcji.

Najczęstsze błędy crawlingu

Checklista optymalizacji crawlability

• Najważniejsze strony są podlinkowane z menu, treści, kategorii lub hubów tematycznych.
• Sitemap.xml zawiera tylko adresy kanoniczne, dostępne i warte indeksowania.
• Robots.txt nie blokuje ważnych sekcji, CSS, JS ani zasobów potrzebnych do renderowania.
• Ważne URL-e zwracają status 200, a zmienione adresy mają krótkie i logiczne przekierowania.
• Strony istotne dla SEO nie są ukryte na bardzo głębokim poziomie struktury.
• Orphan pages są albo podlinkowane, albo usunięte z planu SEO.
• Filtry, sortowania i parametry nie generują masowo słabych adresów do crawlowania.
• W Search Console sprawdzasz statystyki indeksowania i raport stron niezaindeksowanych.
• Przy dużym serwisie analizujesz logi Googlebota, nie tylko wyniki crawlera SEO.

FAQ