+48 533 543 333 info@seosem24.pl Konto Koszyk Bezpłatna wycena
Tworzenie stron www
Marketing
Pozycjonowanie
PR
Inne
O nas
Sklep
Blog Kontakt
+48 533 543 333 info@seosem24.pl Bezpłatna wycena

Ustawienie pliku robots.txt

Plik robots.txt to plik konfiguracyjny, który informuje roboty wyszukiwarek, które zasoby witryny mogą być indeksowane, a które nie. Poprawne ustawienie tego pliku pomaga kontrolować widoczność strony i unikać problemów z duplikacją lub indeksacją nieistotnych podstron.
+48 533 543 333 info@seosem24.pl Bezpłatna wycena
Konfiguracja pliku robots.txt – analiza, projekt reguł, testy, wdrożenie, monitoring robotów

Plik robots.txt, który kieruje roboty tam, gdzie trzeba, i niczego przypadkiem nie ukrywa

Plik robots.txt ma zwykle kilka linijek, a potrafi zdecydować o widoczności całego serwisu. Jedna nadmiarowa reguła może zablokować robotom dostęp do kategorii sklepu, plików CSS potrzebnych do wyrenderowania strony albo całej witryny po migracji. Z kolei zbyt liberalny plik pozwala robotom marnować czas na tysiące adresów z filtrami, sortowaniem i wynikami wyszukiwarki wewnętrznej, zamiast na podstronach, które mają znaczenie.

W SEOSEM24 przygotowujemy i poprawiamy pliki robots.txt jako część optymalizacji technicznej. Zaczynamy od tego, jak roboty faktycznie poruszają się po stronie, projektujemy reguły dopasowane do struktury serwisu, testujemy je na konkretnych adresach i po wdrożeniu obserwujemy efekty w Google Search Console. Plik robots.txt łączymy z pozostałymi narzędziami kontroli: mapą witryny, tagami noindex, adresami kanonicznymi i przekierowaniami.

Zamów przegląd robots.txt Czytaj kompendium
0KiBtyle treści pliku robots.txt przetwarza Google; reguły zapisane dalej są pomijane
0hprzez mniej więcej tyle Google zwykle przechowuje pobraną wersję pliku, więc zmiany nie działają natychmiast
0plik robots.txt na każdy host i protokół: subdomena czy wersja HTTP potrzebuje własnego pliku
0etapów naszej pracy nad plikiem: od analizy ruchu robotów po monitoring po wdrożeniu

Ustawienie pliku robots.txt

Czy wiesz, że roboty wyszukiwarek, takie jak Googlebot, mogą odwiedzać Twoją stronę internetową setki, a nawet tysiące razy dziennie? Choć jest to niezbędne do indeksowania treści, nie zawsze chcesz, aby roboty miały dostęp do wszystkich części Twojej witryny. Tutaj z pomocą przychodzi plik robots.txt – niewielki, ale niezwykle ważny element, który pomaga kontrolować, które części strony mogą być indeksowane, a które powinny pozostać niewidoczne dla wyszukiwarek.

Plik robots.txt to prosty plik tekstowy, który znajduje się w głównym katalogu Twojej strony. Działa jak strażnik, informując roboty wyszukiwarek, które strony, katalogi lub pliki mogą przeglądać, a które powinny omijać. Poprawnie skonfigurowany plik robots.txt może pomóc uniknąć indeksowania nieistotnych lub poufnych treści, poprawić wydajność strony oraz zoptymalizować budżet indeksowania.

W tym artykule dowiesz się, jak poprawnie skonfigurować plik robots.txt, jakie korzyści przynosi jego używanie oraz jak uniknąć najczęstszych błędów. Bez względu na to, czy prowadzisz bloga, sklep internetowy, czy stronę firmową, ten przewodnik pomoże Ci lepiej zarządzać dostępem robotów do Twojej witryny.

Zacznijmy od podstaw – czym dokładnie jest plik robots.txt i dlaczego warto go mieć?

Czym jest plik robots.txt i dlaczego warto go mieć?

Plik robots.txt to prosty plik tekstowy, który znajduje się w głównym katalogu Twojej strony internetowej (np. https://twojadomena.pl/robots.txt). Jego głównym zadaniem jest komunikowanie się z robotami wyszukiwarek, takimi jak Googlebot, i informowanie ich, które części strony mogą być indeksowane, a które powinny pozostać niewidoczne. Plik robots.txt działa na zasadzie dyrektyw, które określają zasady dostępu dla poszczególnych robotów.

Ale dlaczego warto zainwestować czas w stworzenie i optymalizację pliku robots.txt? Oto najważniejsze powody:

Kontrola indeksowania
Plik robots.txt pozwala kontrolować, które strony, katalogi lub pliki są indeksowane przez wyszukiwarki. Dzięki temu możesz uniknąć indeksowania nieistotnych lub poufnych treści, takich jak strony administracyjne, pliki konfiguracyjne czy tymczasowe podstrony.

Unikanie duplikatów treści
Jeśli Twoja strona zawiera duplikaty treści (np. różne wersje językowe lub parametry URL), plik robots.txt może pomóc w zablokowaniu dostępu do tych wersji, co zapobiega problemom z indeksowaniem.

Optymalizacja budżetu indeksowania
Budżet indeksowania to liczba stron, które roboty wyszukiwarek mogą przeglądać w danym czasie. Dzięki plikowi robots.txt możesz skierować roboty na najważniejsze strony, unikając marnowania zasobów na indeksowanie nieistotnych treści.

Ochrona poufnych danych
Plik robots.txt może pomóc w zabezpieczeniu dostępu do poufnych danych, takich jak katalogi z plikami konfiguracyjnymi czy strony logowania. Choć nie jest to metoda zabezpieczająca w pełni (plik robots.txt jest publicznie dostępny), stanowi dodatkową warstwę ochrony.

Poprawa wydajności strony
Ograniczenie dostępu robotów do zbędnych zasobów (np. dużych plików multimedialnych) może zmniejszyć obciążenie serwera i poprawić wydajność strony.

Zgodność z wymaganiami wyszukiwarek
Wiele wyszukiwarek, w tym Google, zaleca korzystanie z pliku robots.txt, aby ułatwić robotom zrozumienie struktury strony i efektywniejsze indeksowanie.

Plik robots.txt to narzędzie, które może znacząco wpłynąć na widoczność i wydajność Twojej strony. W kolejnej sekcji pokażemy, gdzie znajduje się plik robots.txt i jak go znaleźć, a także co zrobić, jeśli go nie masz.

Gdzie znajduje się plik robots.txt i jak go znaleźć?

Plik robots.txt to kluczowy element struktury strony internetowej, ale aby z niego skorzystać, musisz wiedzieć, gdzie się znajduje i jak go znaleźć. Oto wszystko, co musisz wiedzieć na ten temat:

Lokalizacja pliku robots.txt
Plik robots.txt zawsze znajduje się w głównym katalogu Twojej strony. Oznacza to, że jego adres to:
https://twojadomena.pl/robots.txt.
Na przykład, jeśli Twoja strona ma adres https://example.com, plik robots.txt będzie dostępny pod adresem https://example.com/robots.txt.

Jak sprawdzić, czy strona ma plik robots.txt?
Aby sprawdzić, czy Twoja strona ma plik robots.txt, wystarczy wpisać w przeglądarce adres strony, dodając na końcu /robots.txt. Na przykład:
https://twojadomena.pl/robots.txt.
Jeśli plik istnieje, zobaczysz jego zawartość w przeglądarce. Jeśli nie istnieje, otrzymasz komunikat o błędzie 404 (strona nie znaleziona).

Co zrobić, jeśli plik robots.txt nie istnieje?
Jeśli Twoja strona nie ma pliku robots.txt, możesz go łatwo utworzyć. Oto jak to zrobić:

    • Otwórz prosty edytor tekstu (np. Notatnik na Windows lub TextEdit na macOS).
    • Utwórz nowy plik i zapisz go pod nazwą robots.txt.
    • Dodaj podstawowe dyrektywy, na przykład:
      • Zezwól wszystkim robotom na dostęp do całej strony: 
        User-agent: *  
Disallow:
      • Zablokuj dostęp do określonych katalogów: 
        User-agent: *  
Disallow: /wp-admin/  
Disallow: /private/
    • Prześlij plik do głównego katalogu swojej strony za pomocą klienta FTP lub panelu administracyjnego hostingu.

Jak edytować istniejący plik robots.txt?
Jeśli plik robots.txt już istnieje, możesz go edytować, aby dostosować zasady dostępu dla robotów. W tym celu:

    • Pobierz plik robots.txt z serwera za pomocą klienta FTP lub panelu hostingu.
    • Otwórz go w edytorze tekstu i wprowadź niezbędne zmiany.
    • Prześlij zaktualizowany plik z powrotem na serwer.

Narzędzia do zarządzania plikiem robots.txt
Jeśli korzystasz z systemu zarządzania treścią (CMS), takiego jak WordPress, możesz użyć wtyczek (np. Yoast SEO), które ułatwiają tworzenie i edycję pliku robots.txt bez konieczności ręcznego przesyłania plików.

Znajomość lokalizacji pliku robots.txt i umiejętność jego edycji to pierwszy krok do skutecznego zarządzania dostępem robotów do Twojej strony. W kolejnej sekcji pokażemy, jak poprawnie skonfigurować plik robots.txt, aby maksymalnie wykorzystać jego potencjał.

Jak poprawnie skonfigurować plik robots.txt?

Poprawna konfiguracja pliku robots.txt jest kluczowa, aby zapewnić, że roboty wyszukiwarek indeksują tylko te części strony, które są istotne, jednocześnie unikając niepotrzebnych zasobów. Oto przewodnik, jak to zrobić krok po kroku:

Podstawowa struktura pliku robots.txt
Plik robots.txt składa się z dyrektyw, które określają zasady dostępu dla robotów. Najważniejsze dyrektywy to:

    • User-agent: Określa, do którego robota kierowane są zasady (np. * oznacza wszystkie roboty).
    • Disallow: Blokuje dostęp do określonych katalogów lub plików.
    • Allow: Zezwala na dostęp do określonych katalogów lub plików, nawet jeśli znajdują się w zablokowanym katalogu.
    • Sitemap: Określa lokalizację mapy strony (sitemap).

Przykłady konfiguracji dla różnych typów stron

    • Dla bloga:
      Jeśli chcesz, aby wszystkie roboty indeksowały całą stronę, ale zablokowały dostęp do panelu administracyjnego: 
      User-agent: *  
Disallow: /wp-admin/  
Sitemap: https://twojadomena.pl/sitemap_index.xml
    • Dla sklepu internetowego:
      Jeśli chcesz zablokować dostęp do koszyka i stron logowania: 
      User-agent: *  
Disallow: /cart/  
Disallow: /checkout/  
Disallow: /my-account/  
Sitemap: https://twojadomena.pl/sitemap_index.xml
    • Dla strony firmowej:
      Jeśli chcesz zablokować dostęp do katalogu z plikami PDF: 
      User-agent: *  
Disallow: /pdf/  
Sitemap: https://twojadomena.pl/sitemap_index.xml

Blokowanie dostępu do wybranych zasobów

    • Aby zablokować dostęp do konkretnego katalogu, użyj dyrektywy Disallow: 
      User-agent: *  
Disallow: /private/
    • Aby zablokować dostęp do konkretnego pliku, podaj pełną ścieżkę: 
      User-agent: *  
Disallow: /private/file.html

Zezwalanie na dostęp do wybranych zasobów

    • Aby zezwolić na dostęp do konkretnego katalogu, użyj dyrektywy Allow: 
      User-agent: *  
Disallow: /private/  
Allow: /private/public/

Określanie lokalizacji mapy strony (sitemap)

    • Dodaj adres mapy strony do pliku robots.txt, aby pomóc robotom wyszukiwarek w szybszym indeksowaniu: 
      Sitemap: https://twojadomena.pl/sitemap_index.xml

Specyficzne zasady dla różnych robotów

    • Możesz określić różne zasady dla różnych robotów. Na przykład, aby zablokować dostęp do określonych katalogów tylko dla jednego robota: 
      User-agent: Googlebot  
Disallow: /private/  

User-agent: *  
Disallow:

Komentarze w pliku robots.txt

    • Możesz dodawać komentarze, aby lepiej zorganizować plik. Komentarze zaczynają się od znaku #: 
      # Zablokuj dostęp do panelu administracyjnego  
User-agent: *  
Disallow: /wp-admin/

Poprawna konfiguracja pliku robots.txt pozwala lepiej zarządzać indeksowaniem strony i unikać problemów z duplikatami treści. W kolejnej sekcji omówimy najczęstsze błędy, które mogą pojawić się przy konfiguracji pliku robots.txt.

Najczęstsze błędy przy konfiguracji pliku robots.txt

Konfiguracja pliku robots.txt może wydawać się prosta, ale nawet małe błędy mogą prowadzić do poważnych problemów, takich jak blokada dostępu do ważnych części strony lub niepotrzebne indeksowanie nieistotnych treści. Oto najczęstsze błędy, na które warto zwrócić uwagę:

Blokowanie dostępu do całej strony

    • Błąd: Użycie dyrektywy Disallow: / blokuje dostęp do całej strony, co uniemożliwia indeksowanie przez wyszukiwarki.
    • Rozwiązanie: Upewnij się, że nie blokujesz całej strony, chyba że jest to zamierzone (np. w przypadku stron w budowie).

Nieprawidłowe użycie dyrektyw

    • Błąd: Błędy w pisowni, takie jak Disalow zamiast Disallow, mogą uniemożliwić prawidłowe działanie pliku.
    • Rozwiązanie: Zawsze sprawdzaj poprawność pisowni dyrektyw i upewnij się, że są one zgodne z oficjalną specyfikacją.

Ignorowanie mapy strony (sitemap)

    • Błąd: Brak dodania adresu mapy strony do pliku robots.txt utrudnia wyszukiwarkom szybkie odkrywanie nowych treści.
    • Rozwiązanie: Zawsze dodaj dyrektywę Sitemap z adresem mapy strony, np.: 
      Sitemap: https://twojadomena.pl/sitemap_index.xml

Nieaktualna konfiguracja

    • Błąd: Brak regularnych aktualizacji pliku robots.txt po zmianach na stronie może prowadzić do nieprawidłowego indeksowania.
    • Rozwiązanie: Regularnie przeglądaj i aktualizuj plik robots.txt, aby odzwierciedlał aktualną strukturę strony.

Nadmierne blokowanie dostępu

    • Błąd: Zbyt restrykcyjne zasady mogą uniemożliwić indeksowanie ważnych podstron.
    • Rozwiązanie: Upewnij się, że blokujesz tylko te katalogi lub pliki, które naprawdę nie powinny być indeksowane.

Brak testowania pliku robots.txt

    • Błąd: Wdrożenie pliku robots.txt bez wcześniejszego przetestowania może prowadzić do błędów, które trudno później naprawić.
    • Rozwiązanie: Użyj narzędzi takich jak Google Search Console (narzędzie do testowania robots.txt) lub Screaming Frog, aby sprawdzić poprawność pliku przed jego wdrożeniem.

Ignorowanie specyficznych robotów

    • Błąd: Nieuwzględnienie specyficznych zasad dla różnych robotów (np. Googlebot, Bingbot) może prowadzić do nieoptymalnego indeksowania.
    • Rozwiązanie: Dostosuj zasady dla konkretnych robotów, jeśli jest to konieczne. Na przykład: 
      User-agent: Googlebot-Image  
Disallow: /images/private/

Brak komentarzy w pliku robots.txt

    • Błąd: Brak komentarzy może utrudnić zrozumienie konfiguracji, szczególnie w przypadku złożonych zasad.
    • Rozwiązanie: Dodaj komentarze, aby wyjaśnić, dlaczego zastosowano określone dyrektywy. Komentarze zaczynają się od znaku #: 
      # Zablokuj dostęp do panelu administracyjnego  
User-agent: *  
Disallow: /wp-admin/

Unikanie tych błędów pozwoli Ci maksymalnie wykorzystać potencjał pliku robots.txt i zapewnić prawidłowe indeksowanie strony. W kolejnej sekcji pokażemy, jak przetestować poprawność pliku robots.txt i monitorować jego skuteczność.

Jak przetestować poprawność pliku robots.txt?

Przetestowanie pliku robots.txt przed jego wdrożeniem jest kluczowe, aby uniknąć błędów, które mogą negatywnie wpłynąć na indeksowanie strony. Oto jak możesz to zrobić krok po kroku:

Narzędzie Google Search Console

    • Zaloguj się do Google Search Console i wybierz swoją witrynę.
    • Przejdź do sekcji „Indeksowanie” > „Narzędzie do testowania robots.txt”.
    • Wklej zawartość swojego pliku robots.txt lub prześlij plik bezpośrednio.
    • Narzędzie pokaże, czy plik jest poprawnie sformatowany i czy nie zawiera błędów.
    • Możesz również przetestować, jak konkretne adresy URL będą traktowane przez roboty Google.

Narzędzia online

    • Istnieje wiele darmowych narzędzi online, które pomagają przetestować plik robots.txt. Przykłady to:
      • robots.txt Tester (np. https://www.xml-sitemaps.com/robots-txt-checker.html).
      • Screaming Frog: Narzędzie do analizy stron, które pozwala na testowanie pliku robots.txt i identyfikację potencjalnych problemów.

Testowanie ręczne

    • Możesz ręcznie przetestować plik robots.txt, wpisując w przeglądarce adres strony z dodanym /robots.txt.
    • Sprawdź, czy plik jest poprawnie wyświetlany i czy nie zawiera błędów w formacie.

Monitorowanie indeksowania

    • Po wdrożeniu pliku robots.txt regularnie sprawdzaj w Google Search Console, które strony zostały zaindeksowane, a które zostały zablokowane.
    • Analizuj ewentualne błędy indeksowania i wprowadzaj niezbędne poprawki.

Testowanie na środowisku testowym

    • Przed wdrożeniem pliku robots.txt na żywej stronie przetestuj go na środowisku testowym.
    • Upewnij się, że zasady dostępu są prawidłowo skonfigurowane i nie blokują ważnych części strony.

Konsultacja z developerem

    • Jeśli nie jesteś pewien, czy plik robots.txt jest poprawnie skonfigurowany, skonsultuj się z developerem lub specjalistą SEO.

Przetestowanie pliku robots.txt to prosty, ale niezwykle ważny krok, który pozwala uniknąć problemów z indeksowaniem i zapewnia, że roboty wyszukiwarek mają dostęp tylko do tych części strony, które powinny być widoczne. W kolejnej sekcji podsumujemy najważniejsze wnioski i zachęcimy do dalszych działań!

Podsumowanie na temat ustawiania pliku robots.txt

Plik robots.txt to niewielki, ale niezwykle ważny element każdej strony internetowej. Jego poprawna konfiguracja pozwala kontrolować, które części witryny są indeksowane przez wyszukiwarki, a które pozostają niewidoczne. Dzięki temu możesz uniknąć problemów z duplikatami treści, zoptymalizować budżet indeksowania oraz poprawić wydajność strony.

W tym artykule omówiliśmy:

  • Czym jest plik robots.txt i dlaczego warto go mieć.
  • Gdzie znajduje się plik robots.txt i jak go znaleźć.
  • Jak poprawnie skonfigurować plik robots.txt, aby maksymalnie wykorzystać jego potencjał.
  • Najczęstsze błędy przy konfiguracji pliku robots.txt i jak ich uniknąć.
  • Jak przetestować poprawność pliku robots.txt przed jego wdrożeniem.

Pamiętaj, że plik robots.txt to narzędzie, które wymaga regularnej aktualizacji i monitorowania. Dzięki niemu możesz lepiej zarządzać indeksowaniem strony i zapewnić, że roboty wyszukiwarek mają dostęp tylko do tych części witryny, które są istotne.

Więcej na temat optymalizacji technicznej znajdziesz tutaj: https://www.seosem24.pl/optymalizacja-techniczna/

Masz pytania dotyczące konfiguracji pliku robots.txt? A może chcesz podzielić się swoimi doświadczeniami? Zapraszamy do komentowania pod artykułem – chętnie odpowiemy na wszystkie pytania!

Najczęściej zadawane pytania na temat ustawiania pliku robots.txt

Czym jest plik robots.txt?
Plik robots.txt to prosty plik tekstowy, który znajduje się w głównym katalogu strony internetowej. Służy do informowania robotów wyszukiwarek, które części strony mogą indeksować, a które powinny pozostać niewidoczne.

Dlaczego warto mieć plik robots.txt?
Plik robots.txt pomaga kontrolować indeksowanie strony, unikać duplikatów treści, optymalizować budżet indeksowania oraz chronić poufne dane przed indeksowaniem.

Gdzie znajduje się plik robots.txt?
Plik robots.txt zawsze znajduje się w głównym katalogu strony. Można go znaleźć pod adresem: https://twojadomena.pl/robots.txt.

Jak stworzyć plik robots.txt?
Możesz utworzyć plik robots.txt w prostym edytorze tekstu (np. Notatnik), dodać odpowiednie dyrektywy (np. User-agent, Disallow, Allow) i przesłać go do głównego katalogu strony za pomocą klienta FTP lub panelu hostingu.

Jakie są najważniejsze dyrektywy w pliku robots.txt?
Najważniejsze dyrektywy to:

  • User-agent: Określa, do którego robota kierowane są zasady.
  • Disallow: Blokuje dostęp do określonych katalogów lub plików.
  • Allow: Zezwala na dostęp do określonych katalogów lub plików.
  • Sitemap: Określa lokalizację mapy strony (sitemap).

Jak zablokować dostęp do konkretnego katalogu?
Aby zablokować dostęp do katalogu, użyj dyrektywy Disallow. Na przykład:

User-agent: *  
Disallow: /private/

Jak dodać mapę strony do pliku robots.txt?
Dodaj dyrektywę Sitemap z adresem mapy strony. Na przykład:

Sitemap: https://twojadomena.pl/sitemap_index.xml

Jak przetestować poprawność pliku robots.txt?
Możesz użyć narzędzia Google Search Console („Narzędzie do testowania robots.txt”) lub darmowych narzędzi online, takich jak Screaming Frog czy XML Sitemap Validator.

Jakie są najczęstsze błędy w pliku robots.txt?
Najczęstsze błędy to: blokowanie dostępu do całej strony, nieprawidłowe użycie dyrektyw, brak mapy strony, nieaktualna konfiguracja oraz brak testowania pliku przed wdrożeniem.

Czy plik robots.txt jest wystarczający do ochrony poufnych danych?
Nie, plik robots.txt nie jest metodą zabezpieczającą. Jest publicznie dostępny, więc nie chroni poufnych danych przed dostępem użytkowników. Do ochrony poufnych danych lepiej użyć haseł lub innych metod zabezpieczeń.

W skrócie

Co robi, a czego nie robi robots.txt

  • Steruje skanowaniem, czyli pobieraniem adresów przez roboty
  • Nie gwarantuje, że adres nie trafi do indeksu
  • Blokuje robotom możliwość zobaczenia tagu noindex
  • Nie zabezpiecza danych przed ludźmi
  • Jest prośbą, której nie każdy robot przestrzega
Zapytaj o konfigurację
Najważniejsze rozróżnienie

Blokada skanowania to nie blokada indeksowania: skąd bierze się najwięcej błędów

W wielu poradnikach plik robots.txt opisywany jest jako narzędzie, które decyduje o tym, co znajdzie się w wynikach wyszukiwania. To uproszczenie prowadzi do poważnych błędów. Robots.txt mówi robotom, które adresy mogą pobierać. O tym, czy adres zostanie zaindeksowany, decydują inne mechanizmy. Zrozumienie tej różnicy to punkt wyjścia każdej konfiguracji, którą przygotowujemy.

Zablokowany, a jednak w wynikach

Jeśli do zablokowanego adresu prowadzą linki z innych stron lub z samego serwisu, Google może dodać go do indeksu, choć nie zna jego treści. W wynikach pojawia się wtedy sam adres albo tekst odnośnika, zwykle bez opisu. W Search Console takie adresy mają status informujący, że zostały zaindeksowane mimo blokady w pliku robots.txt. To typowy objaw sytuacji, w której ktoś próbował usunąć podstrony z wyników niewłaściwym narzędziem.

Pułapka noindex za blokadą

Najczęstszy błąd, który poprawiamy, to połączenie dwóch dobrych intencji. Właściciel strony dodaje do podstrony tag noindex, żeby zniknęła z wyników, a jednocześnie blokuje ją w robots.txt, żeby „na wszelki wypadek” roboty jej nie odwiedzały. Efekt jest odwrotny od zamierzonego: robot nie może pobrać strony, więc nigdy nie zobaczy tagu noindex, a adres może pozostać w indeksie. Jeśli celem jest usunięcie strony z wyników, robot musi mieć do niej dostęp, przynajmniej do czasu, aż Google przetworzy noindex.

Kiedy robots.txt jest właściwym narzędziem

  • Ograniczanie zbędnego skanowania. Wyniki wyszukiwarki wewnętrznej, kombinacje filtrów i sortowania, kalendarze generujące nieskończone adresy czy parametry śledzenia to przestrzenie, w których roboty mogą zużywać zasoby bez korzyści dla widoczności.
  • Odciążenie serwera. Gdy roboty intensywnie odpytują kosztowne obliczeniowo adresy, na przykład generatory raportów czy eksporty, blokada w robots.txt zmniejsza obciążenie.
  • Pliki, które nie powinny być pobierane. Niektóre zasoby, na przykład pliki generowane dynamicznie dla użytkowników zalogowanych, nie mają sensu w kontekście wyszukiwarki.

Kiedy potrzebne jest coś innego

Do usunięcia strony z wyników służy tag meta robots z wartością noindex albo nagłówek HTTP X-Robots-Tag, który działa także dla plików PDF i obrazów. Do wskazania wersji głównej przy podobnych treściach służy adres kanoniczny. Do ochrony danych i środowisk testowych służy uwierzytelnianie, czyli hasło lub ograniczenie dostępu po adresie IP. Plik robots.txt jest publiczny: każdy może go odczytać, a wpisanie do niego ścieżki do poufnego katalogu wręcz ułatwia jej znalezienie.

Robots.txt a mapa witryny

Mapa witryny i plik robots.txt powinny opowiadać tę samą historię. Mapa wskazuje adresy, które chcemy widzieć w wynikach, a robots.txt nie może blokować żadnego z nich. Sprzeczność między tymi plikami jest dla wyszukiwarki niejasnym sygnałem i często świadczy o tym, że któryś z nich nie był aktualizowany po zmianach w serwisie.

Ważne: Google nie obsługuje dyrektywy noindex wpisanej w pliku robots.txt. Jeśli taką regułę znajdziemy w pliku klienta, zastępujemy ją właściwym mechanizmem na poziomie strony lub serwera.
Wybór narzędzia

Disallow w robots.txt czy noindex na stronie? Porównanie w praktyce

Oba mechanizmy wyglądają podobnie, bo „ukrywają” coś przed wyszukiwarką, ale działają na różnych etapach. Wybór zależy od tego, czy problemem jest skanowanie, czy obecność w wynikach.

Disallow w pliku robots.txt

Gdy chcemy, by roboty nie traciły czasu na określone adresy.

  • Działa przed pobraniem strony, więc oszczędza zasoby serwera i robota
  • Obejmuje całe katalogi i wzorce adresów jedną regułą
  • Dobrze sprawdza się przy filtrach, sortowaniu i wyszukiwarce wewnętrznej
  • Zmianę wprowadza się w jednym pliku dla całego hosta
  • Nie usuwa adresów, które już są w indeksie
  • Adres zablokowany, ale linkowany, może pojawić się w wynikach bez opisu
  • Blokuje przekazanie sygnałów z zablokowanych stron
Narzędzie do zarządzania skanowaniem.

Noindex w meta tagu lub nagłówku HTTP

Gdy chcemy, by konkretna strona nie pojawiała się w wynikach wyszukiwania.

  • Skutecznie usuwa stronę z indeksu po ponownym pobraniu przez robota
  • Działa precyzyjnie na poziomie pojedynczego adresu
  • Nagłówek X-Robots-Tag obejmuje także PDF-y i obrazy
  • Robot nadal może podążać za linkami na stronie
  • Wymaga, by robot mógł pobrać stronę, więc nie oszczędza skanowania
  • Przy dużej liczbie adresów trzeba go wdrożyć w szablonach
Narzędzie do zarządzania indeksem.
Kolejność ma znaczenie: gdy chcemy jednocześnie usunąć adresy z indeksu i ograniczyć ich skanowanie, najpierw wdrażamy noindex i czekamy, aż Google je przetworzy, a dopiero potem rozważamy blokadę w robots.txt. Odwrotna kolejność zatrzymuje proces w połowie.
Interpretacja reguł

Jak Google czyta plik robots.txt: sześć zasad, o których łatwo zapomnieć

Składnia pliku jest prosta, ale sposób, w jaki roboty rozstrzygają konflikty między regułami, bywa nieintuicyjny. Protokół wykluczania robotów został opisany jako standard internetowy RFC 9309, a Google publikuje dokładny opis tego, jak go interpretuje.

01

Wygrywa najbardziej szczegółowa reguła

Kolejność linii w pliku nie ma znaczenia. Gdy adres pasuje do kilku reguł Allow i Disallow, Google stosuje tę, której ścieżka jest najdłuższa, czyli najbardziej szczegółowa. Przy remisie wybiera regułę mniej restrykcyjną, czyli Allow. Dzięki temu można zablokować katalog i jednocześnie odblokować w nim pojedynczy plik.

  • Kolejność reguł nie decyduje
  • Dłuższa ścieżka ma pierwszeństwo
  • Przy remisie wygrywa Allow
02

Gwiazdka i znak dolara

Symbol gwiazdki oznacza dowolny ciąg znaków, a znak dolara koniec adresu. Pozwala to blokować na przykład wszystkie adresy z określonym parametrem albo pliki o danym rozszerzeniu. To potężne narzędzie, ale źle użyty wzorzec łatwo obejmie więcej adresów, niż zakładano, dlatego każdy testujemy na liście rzeczywistych adresów serwisu.

  • Wzorce dla parametrów adresów
  • Dopasowanie końca adresu
  • Test na prawdziwych adresach
03

Wielkość liter w ścieżkach ma znaczenie

Nazwy dyrektyw można zapisywać dowolnie, ale ścieżki w regułach są porównywane z uwzględnieniem wielkości liter. Reguła dla katalogu zapisanego małymi literami nie obejmie tego samego katalogu zapisanego wielkimi. Plik powinien być zwykłym tekstem w kodowaniu UTF-8, bez znaków, które edytory czasem dodają niepostrzeżenie.

  • Ścieżki porównywane dokładnie
  • Kodowanie UTF-8
  • Czysty plik tekstowy
04

Robot wybiera jedną grupę

Robot stosuje się do grupy reguł przeznaczonej dla jego najbardziej szczegółowej nazwy, a reguły dla gwiazdki pomija, jeśli znalazł grupę dla siebie. Jeśli więc dodamy osobną grupę dla jednego robota, musimy powtórzyć w niej wszystkie ogólne blokady, które mają go nadal obowiązywać.

  • Grupy nie sumują się z grupą ogólną
  • Powtórzenie wspólnych reguł
  • Przejrzyste komentarze w pliku
05

Kod odpowiedzi serwera

Liczy się nie tylko treść pliku, ale też to, jak serwer na niego odpowiada. Brak pliku z kodem 404 Google traktuje jak brak ograniczeń. Błąd serwera z grupy 5xx może natomiast spowodować wstrzymanie skanowania całej witryny, dopóki problem nie zniknie. Dlatego sprawdzamy dostępność pliku także wtedy, gdy jego treść jest poprawna.

  • 404 oznacza brak ograniczeń
  • 5xx może zatrzymać skanowanie
  • Kontrola przekierowań pliku
06

Rozmiar, pamięć podręczna, zasięg

Google przetwarza pierwsze 500 KiB pliku i zwykle przechowuje pobraną wersję do doby. Plik obowiązuje tylko dla hosta i protokołu, pod którym jest umieszczony, więc subdomena sklepu czy bloga potrzebuje własnego pliku. Dyrektywy crawl-delay Google nie obsługuje, choć respektują ją niektóre inne wyszukiwarki.

  • Limit 500 KiB
  • Zmiany widoczne z opóźnieniem
  • Osobny plik dla każdej subdomeny
Platformy

robots.txt w popularnych systemach: gdzie go szukać i na co uważać

W wielu systemach plik nie leży fizycznie na serwerze, tylko jest generowany automatycznie. Zanim cokolwiek zmienimy, sprawdzamy, skąd pochodzi jego treść, żeby nasza poprawka nie została nadpisana przy najbliższej aktualizacji.

WordPress: plik wirtualny lub fizyczny

Jeśli w głównym katalogu nie ma pliku robots.txt, WordPress generuje go dynamicznie. Domyślna wersja blokuje panel administracyjny, odblokowuje plik obsługujący zapytania AJAX i wskazuje wbudowaną mapę witryny. Wtyczki SEO, takie jak Yoast SEO czy Rank Math, pozwalają edytować tę treść z poziomu panelu.

Gdy na serwerze pojawi się fizyczny plik, ma on pierwszeństwo przed wersją generowaną. Zdarza się, że ktoś zmienia ustawienia wtyczki i nie widzi efektu, bo w katalogu leży stary plik wgrany lata temu. Sprawdzamy też ustawienie widoczności dla wyszukiwarek w ustawieniach czytania, które po przeniesieniu strony ze środowiska testowego bywa omyłkowo włączone.

  • Plik fizyczny wygrywa z wirtualnym
  • Edycja przez wtyczkę SEO
  • Kontrola ustawień widoczności
Jak pracujemy

Sześć kroków do bezpiecznego pliku robots.txt: od analizy do monitoringu

Zmiana w robots.txt działa na cały serwis naraz, dlatego nigdy nie wprowadzamy jej „na oko”. Każda reguła ma uzasadnienie w danych i jest sprawdzona przed publikacją.

1

Analiza obecnego pliku i jego historii

Sprawdzamy aktualną treść pliku na wszystkich hostach i protokołach, kod odpowiedzi serwera, przekierowania oraz to, czy plik jest fizyczny, czy generowany przez system. W raporcie robots.txt w Search Console weryfikujemy, którą wersję widzi Google i czy przy pobieraniu występują błędy.

Stan wyjściowyDostępność pliku
2

Jak roboty poruszają się po stronie

Analizujemy raport statystyk indeksowania w Search Console, a gdy to możliwe, także logi serwera. Szukamy przestrzeni adresów, na które roboty poświęcają dużo zapytań bez korzyści, oraz ważnych sekcji, które odwiedzają rzadko. Skanujemy też serwis własnym crawlerem.

Statystyki i logiMarnowane zasoby
3

Mapa sekcji serwisu

Dzielimy adresy na grupy: strony, które muszą być skanowane i indeksowane, strony potrzebne robotom do zrozumienia serwisu, ale nieindeksowane, oraz przestrzenie, które można wyłączyć ze skanowania. Dla każdej grupy wybieramy właściwe narzędzie: robots.txt, noindex, adres kanoniczny lub zmianę w linkowaniu.

Grupy adresówDobór narzędzi
4

Projekt reguł i testy

Piszemy nową wersję pliku z komentarzami wyjaśniającymi każdą regułę. Testujemy ją na listach rzeczywistych adresów: tych, które mają zostać zablokowane, i tych, które muszą pozostać dostępne. Sprawdzamy zgodność z mapą witryny, żeby nie zawierała adresów, które blokujemy.

Plik z komentarzamiTesty na adresach
5

Wdrożenie

Publikujemy plik w miejscu, z którego rzeczywiście jest serwowany, i sprawdzamy, czy pod adresem robots.txt widać nową wersję. Zapisujemy poprzednią wersję, żeby w razie potrzeby dało się ją szybko przywrócić. W Search Console można poprosić o ponowne pobranie pliku po pilnej zmianie.

Kopia poprzedniej wersjiPonowne pobranie
6

Monitoring po zmianie

W kolejnych tygodniach obserwujemy statystyki skanowania, raport indeksowania stron i ruch z wyszukiwarki. Sprawdzamy, czy roboty przestały odwiedzać zablokowane przestrzenie, czy ważne sekcje są skanowane częściej i czy nie pojawiły się nowe adresy zaindeksowane mimo blokady.

Kolejne tygodnieRaport z wnioskami
W skrócie

Roboty AI w pliku robots.txt

  • Google-Extended: wykorzystanie treści przez modele Google, bez wpływu na wyszukiwarkę
  • GPTBot i OAI-SearchBot: dwa różne roboty OpenAI
  • ClaudeBot, CCBot, Applebot-Extended, PerplexityBot i inne
  • Decyzja biznesowa, nie tylko techniczna
  • Nie każdy robot respektuje plik
Porozmawiajmy o robotach AI
Nowe wyzwanie

Roboty modeli językowych: wpuścić, ograniczyć czy zablokować?

Do robotów wyszukiwarek dołączyła w ostatnich latach liczna grupa robotów związanych z systemami sztucznej inteligencji. Część z nich zbiera treści do trenowania modeli, część pobiera strony na bieżąco, żeby odpowiedzieć użytkownikowi asystenta lub wyszukiwarki opartej na AI. Większość dużych firm publikuje nazwy swoich robotów i deklaruje, że respektują plik robots.txt, dlatego to właśnie w nim właściciele stron najczęściej decydują, komu pozwolić na dostęp.

Trening modeli a wyszukiwanie

Kluczowe jest rozróżnienie między robotami, które zbierają dane do trenowania, a tymi, które pobierają strony, by wyświetlić je jako źródło w odpowiedziach. OpenAI rozdziela na przykład robota GPTBot, związanego z trenowaniem modeli, od robota OAI-SearchBot, który służy funkcjom wyszukiwania. Google udostępnia token Google-Extended, który pozwala zdecydować o wykorzystaniu treści do rozwijania modeli Gemini; jego zablokowanie nie wpływa na obecność strony w wyszukiwarce Google. Podobne rozwiązania stosują inne firmy, na przykład Apple z tokenem Applebot-Extended.

Jak pomagamy podjąć decyzję

Nie ma jednej dobrej odpowiedzi dla wszystkich. Wydawca, który utrzymuje się z unikalnych treści, może chcieć ograniczyć ich wykorzystanie do trenowania modeli. Firma usługowa lub sklep zwykle zależy na tym, by asystenci AI znali jej ofertę i mogli ją polecać lub cytować jako źródło. Omówienie tej kwestii zaczynamy od celów biznesowych, a dopiero potem przekładamy decyzję na reguły dla konkretnych robotów. Często rozsądnym kompromisem jest dopuszczenie robotów związanych z wyszukiwaniem przy jednoczesnym ograniczeniu tych, które służą wyłącznie trenowaniu.

Ograniczenia pliku robots.txt

Plik robots.txt jest prośbą, a nie zabezpieczeniem. Renomowane firmy deklarują jego przestrzeganie, ale w sieci działa też wiele robotów, które go ignorują albo podszywają się pod znane nazwy. Jeśli w logach serwera widać intensywny ruch takich robotów, potrzebne są rozwiązania po stronie serwera lub zapory aplikacyjnej, na przykład weryfikacja adresów IP czy ograniczanie liczby zapytań. Lista nazw robotów AI zmienia się też dość często, więc reguły dla nich warto okresowo przeglądać.

Uwaga: blokując roboty AI, nie wolno przypadkiem zablokować Googlebota ani robotów innych wyszukiwarek. Reguły dla nowych robotów dopisujemy w osobnych grupach i testujemy, czy nie zmieniają dostępu dla robotów, które odpowiadają za klasyczne wyniki wyszukiwania.

Na co roboty zużywają zapytania?

udział zapytań robota według typu adresu

Wykres poglądowy przedstawiający układ typowy dla sklepu bez uporządkowanych reguł skanowania. Rzeczywisty rozkład każdego serwisu sprawdzamy w statystykach indeksowania i logach serwera.

Duże serwisy i sklepy

Budżet skanowania: kiedy robots.txt naprawdę robi różnicę

Na małej stronie firmowej z kilkudziesięcioma podstronami roboty Google bez trudu odwiedzają wszystko, co ważne, i plik robots.txt ma głównie znaczenie porządkowe. Sytuacja zmienia się w sklepach z rozbudowanymi filtrami, portalach ogłoszeniowych, serwisach z wieloma wersjami językowymi czy dużymi archiwami. Tam liczba możliwych adresów potrafi wielokrotnie przewyższać liczbę stron, które rzeczywiście powinny być w wynikach, a roboty spędzają dużo czasu w miejscach, które niczego nie wnoszą.

Skąd biorą się zbędne adresy

  • Filtry i sortowanie. Każda kombinacja koloru, rozmiaru, ceny, marki i kolejności sortowania może tworzyć osobny adres. Przy kilku filtrach liczba kombinacji szybko rośnie.
  • Parametry techniczne. Identyfikatory sesji, parametry śledzenia kampanii, wersje do druku czy adresy z dodatkowymi znacznikami powielają te same treści pod różnymi adresami.
  • Wyszukiwarka wewnętrzna. Strony wyników mogą być generowane dla dowolnego wpisanego zapytania, także takiego, które ktoś podsunął robotom w linkach z zewnątrz.
  • Kalendarze i paginacja bez końca. Moduły wydarzeń czy archiwa potrafią generować linki do kolejnych miesięcy lub stron w nieskończoność.

Robots.txt jako jedno z kilku narzędzi

Blokada w pliku robots.txt jest najszybszym sposobem na ograniczenie skanowania takich przestrzeni, ale nie jedynym. Część problemów lepiej rozwiązać u źródła: przestawić filtry tak, by nie tworzyły zwykłych linków dla każdej kombinacji, usunąć parametry sesji z adresów, ograniczyć kalendarz do sensownego zakresu dat. Tam, gdzie różne adresy pokazują tę samą treść, stosujemy adresy kanoniczne. Dobieramy kombinację tych metod tak, by roboty spędzały czas na podstronach, które mają być widoczne, i szybko zauważały nowe produkty czy artykuły.

Jak mierzymy efekt

Porównujemy statystyki indeksowania z Search Console i logi serwera sprzed zmian i po nich. Interesuje nas, jaka część zapytań robota trafia do ważnych sekcji, jak szybko nowe podstrony pojawiają się w indeksie oraz czy liczba adresów zaindeksowanych mimo blokady nie rośnie. Te dane pokazują, czy reguły działają tak, jak zakładaliśmy.

Uwaga przy wdrażaniu: nagłe zablokowanie dużej przestrzeni adresów, które są już zaindeksowane, może zostawić je w indeksie na długo. W takich przypadkach planujemy zmianę etapami: najpierw porządkujemy indeks, potem ograniczamy skanowanie.
Nasze zasady

Jak podchodzimy do zmian w pliku robots.txt

Plik jest mały, ale konsekwencje błędów są duże. Dlatego trzymamy się kilku stałych reguł.

Każda reguła ma uzasadnienie

Nie dopisujemy blokad „na wszelki wypadek”. Każda linia wynika z analizy danych i jest opisana komentarzem, żeby za rok było jasne, po co się w pliku znalazła.

Mniej znaczy bezpieczniej

Krótki, czytelny plik jest łatwiejszy w utrzymaniu i trudniej w nim o konflikty reguł. Rozbudowane listy blokad z gotowych szablonów często obejmują katalogi, których w serwisie w ogóle nie ma.

Test przed publikacją

Nowa wersja zawsze przechodzi test na listach rzeczywistych adresów. Sprawdzamy, czy blokuje to, co miała blokować, i niczego więcej.

Właściwe narzędzie do celu

Nie używamy robots.txt do usuwania stron z indeksu ani do zabezpieczania danych. Do tych celów stosujemy noindex, adresy kanoniczne i uwierzytelnianie.

Historia wersji

Każda zmiana jest zapisana z datą i poprzednią wersją pliku. Pozwala to szybko cofnąć zmianę i powiązać ją z danymi o skanowaniu.

Przegląd przy każdej większej zmianie

Migracja, nowy motyw, nowe filtry czy subdomena to dla nas sygnał do obowiązkowej kontroli pliku, nawet jeśli nikt go nie zmieniał.

Z praktyki

Osiem sytuacji, w których robots.txt wymaga szczególnej uwagi

Większość problemów z plikiem robots.txt pojawia się przy konkretnych zdarzeniach w życiu strony. Te sytuacje traktujemy jako sygnał do obowiązkowego przeglądu pliku.

01

Start nowej strony po testach

Środowisko testowe często ma blokadę całej witryny, która przy publikacji trafia na produkcję razem z resztą plików. Sprawdzamy plik w dniu startu i kilka dni później.

02

Migracja lub zmiana domeny

Stara domena nie powinna blokować skanowania, bo roboty muszą zobaczyć przekierowania. Nowa musi mieć plik dopasowany do nowej struktury adresów i aktualny adres mapy witryny.

03

Rozbudowa filtrów w sklepie

Każdy nowy filtr może pomnożyć liczbę adresów. Ustalamy, które kombinacje mają wartość dla wyszukiwarki, a które należy wyłączyć ze skanowania.

04

Wyszukiwarka wewnętrzna

Strony wyników wyszukiwania mogą generować nieskończenie wiele adresów, a nawet być wykorzystywane do tworzenia spamu w indeksie. Zwykle wyłączamy je ze skanowania i indeksowania.

05

Zmiana motywu lub wtyczek

Nowe zasoby CSS i JavaScript bywają ładowane z katalogów, które stary plik blokował. Google potrzebuje ich, żeby poprawnie wyrenderować stronę, więc ich zablokowanie może zaszkodzić ocenie podstron.

06

Nowa subdomena lub wersja językowa

Plik obowiązuje tylko dla jednego hosta. Blog, sklep czy wersja językowa na subdomenie potrzebują własnego pliku, który przygotowujemy razem z uruchomieniem tej części serwisu.

07

Nagły spadek ruchu

Przy gwałtownym spadku widoczności robots.txt sprawdzamy w pierwszej kolejności. Przypadkowa blokada lub błąd serwera przy pobieraniu pliku to jedne z najszybciej wykrywalnych przyczyn.

08

Przeciążenie serwera przez roboty

Gdy roboty generują zbyt duże obciążenie, analizujemy logi i decydujemy, czy wystarczy blokada wybranych przestrzeni, czy potrzebne są działania po stronie serwera.

Pytania i odpowiedzi

FAQ: robots.txt w trudniejszych przypadkach

Podstawy omówiliśmy w kompendium powyżej. Tutaj zebraliśmy pytania, które pojawiają się, gdy plik już działa, a coś idzie nie tak, jak powinno.

Czy każda strona musi mieć plik robots.txt?
Nie. Jeśli robotom można udostępnić całą witrynę, brak pliku nie jest błędem, a Google traktuje odpowiedź 404 jak brak ograniczeń. Plik przydaje się jednak niemal zawsze: pozwala wskazać mapę witryny i wyłączyć przestrzenie, które niepotrzebnie zajmują roboty. Ważniejsze od samego istnienia pliku jest to, by serwer odpowiadał na jego adres stabilnie, bez błędów 5xx.
Czy wpis w robots.txt usunie stronę z Google?
Nie. Blokada w robots.txt zatrzymuje pobieranie strony, ale adres, który już jest w indeksie lub do którego prowadzą linki, może w nim pozostać. Do usunięcia strony z wyników służy noindex w meta tagu lub nagłówku HTTP, a w pilnych przypadkach tymczasowe narzędzie do usuwania adresów w Search Console, które ukrywa wynik na pewien czas, ale nie zastępuje trwałego rozwiązania.
Jak szybko Google zauważy zmianę w pliku?
Google zwykle przechowuje pobraną wersję pliku do doby, więc zmiana zaczyna działać po ponownym pobraniu. Przy pilnych poprawkach, na przykład po przypadkowej blokadzie całej strony, można w raporcie robots.txt w Search Console poprosić o ponowne pobranie pliku. Efekty w indeksie, takie jak powrót zablokowanych podstron, pojawiają się później, bo roboty muszą jeszcze odwiedzić same adresy.
Co zrobić, gdy przez pomyłkę zablokowano całą stronę?
Najpierw jak najszybciej usunąć błędną regułę i sprawdzić, czy pod adresem robots.txt widoczna jest poprawiona wersja. Następnie poprosić o ponowne pobranie pliku w Search Console, przesłać aktualną mapę witryny i zgłosić do ponownego zindeksowania najważniejsze podstrony. Jeśli blokada trwała krótko, zwykle widoczność wraca po pewnym czasie. Przy dłuższej blokadzie powrót może potrwać dłużej i warto uważnie monitorować indeksowanie.
Czy blokować pliki CSS i JavaScript?
Co do zasady nie. Google renderuje strony podobnie jak przeglądarka i potrzebuje styli oraz skryptów, żeby zobaczyć układ i treść tak, jak widzi je użytkownik. Zablokowanie tych zasobów może sprawić, że strona zostanie oceniona jako niedopasowana do urządzeń mobilnych albo że część treści ładowanej skryptami będzie niewidoczna. Wyjątkiem mogą być skrypty niezwiązane z wyświetlaniem treści, ale każdy taki przypadek sprawdzamy indywidualnie.
Czy dyrektywa crawl-delay spowolni Googlebota?
Nie, Google jej nie obsługuje. Googlebot sam dostosowuje tempo skanowania do możliwości serwera i zwalnia, gdy serwer odpowiada wolno lub zwraca błędy. Crawl-delay może mieć znaczenie dla niektórych innych robotów, które ją respektują. Jeśli Googlebot rzeczywiście przeciąża serwer, trzeba szukać przyczyny, na przykład ogromnej liczby adresów z parametrami, i rozwiązać ją u źródła.
Co oznacza status „zaindeksowana, ale zablokowana przez plik robots.txt”?
To informacja, że Google dodał adres do indeksu, choć nie mógł pobrać jego treści, najczęściej dlatego, że prowadzą do niego linki. Jeśli strona powinna być w wynikach, trzeba usunąć blokadę. Jeśli nie powinna, należy tymczasowo udostępnić ją robotom i dodać noindex albo, gdy to właściwe, usunąć linki prowadzące do niej. Sama blokada nie rozwiąże problemu.
Czy blokować adresy z parametrami filtrów?
To zależy od tego, czy dane kombinacje filtrów mają wartość jako strony docelowe. Filtr „marka w kategorii” może odpowiadać na popularne zapytanie i warto, by był dostępny pod przyjaznym adresem. Kombinacje kilku parametrów, sortowanie czy liczba produktów na stronie zwykle nie wnoszą nic nowego i mogą być wyłączone ze skanowania. Decyzję podejmujemy na podstawie danych o zapytaniach i liczby generowanych adresów.
Czy wszystkie roboty przestrzegają pliku robots.txt?
Nie. Roboty dużych wyszukiwarek i renomowanych firm go respektują, ale plik nie jest technicznym zabezpieczeniem. Roboty zbierające adresy e-mail, narzędzia do kopiowania treści czy skanery podatności często go ignorują. Dlatego nie umieszczamy w nim ścieżek, które powinny pozostać tajne, a dostęp do poufnych zasobów zabezpieczamy hasłem lub ograniczeniami na serwerze.
Czy plik robots.txt wpływa bezpośrednio na pozycje?
Bezpośrednio nie jest czynnikiem rankingowym, ale pośrednio może mieć duże znaczenie. Przypadkowa blokada ważnych sekcji usuwa je z gry, a blokada zasobów potrzebnych do renderowania pogarsza ocenę stron. Z drugiej strony dobrze ustawione reguły w dużych serwisach pomagają robotom szybciej docierać do nowych i zmienionych treści, zamiast tkwić w nieskończonych kombinacjach parametrów.
Czy można zablokować roboty AI, nie tracąc widoczności w Google?
Tak, o ile reguły są dobrze zaprojektowane. Roboty AI mają własne nazwy, więc można je zablokować w osobnych grupach, nie zmieniając dostępu dla Googlebota. Zablokowanie tokenu Google-Extended dotyczy wykorzystania treści przez modele Google i według deklaracji Google nie wpływa na obecność w wyszukiwarce. Przed wdrożeniem zawsze testujemy, czy Googlebot nadal ma dostęp do wszystkich ważnych sekcji.
Czy obsługujecie strony firm spoza Krakowa?
Tak. Nasze biuro znajduje się w Krakowie, ale konfigurację pliku robots.txt i całą optymalizację techniczną prowadzimy zdalnie dla firm z całej Polski. Potrzebujemy dostępu do Search Console, a w zależności od zakresu prac także do panelu systemu, serwera lub kontaktu z osobą, która nim zarządza. Ustalenia prowadzimy podczas spotkań online.
Czy wersja HTTP i HTTPS albo z www i bez www potrzebują osobnych plików?
Formalnie tak, bo plik obowiązuje dla konkretnego hosta i protokołu. W praktyce, gdy wszystkie warianty adresu przekierowują na jedną wersję główną, roboty i tak trafiają do pliku na tej wersji. Sprawdzamy, czy przekierowania działają spójnie także dla adresu robots.txt i czy żaden wariant nie serwuje innej, przestarzałej wersji pliku. Więcej o porządkowaniu wersji adresów piszemy przy wdrożeniu HTTPS.
Czy można mieć kilka adresów map witryny w jednym pliku?
Tak. Dyrektywa Sitemap może wystąpić w pliku wielokrotnie, a każda wskazuje pełny adres jednej mapy lub indeksu map. Jest niezależna od grup robotów, więc może stać w dowolnym miejscu pliku. W dużych serwisach często wskazujemy indeks map, który obejmuje osobne mapy dla produktów, kategorii, artykułów czy obrazów.
Jak sprawdzić, czy konkretny adres jest blokowany?
Najprostszym sposobem jest narzędzie do sprawdzania adresów URL w Search Console, które pokazuje, czy Google może pobrać daną stronę. Przy większej liczbie adresów używamy crawlera z możliwością testowania własnej wersji pliku robots.txt, co pozwala sprawdzić nowe reguły jeszcze przed publikacją. Wyniki zawsze porównujemy z listą adresów, które muszą pozostać dostępne.
Przed publikacją

Lista kontrolna zmiany w robots.txt: osiem punktów

Każdą nową wersję pliku sprawdzamy według tej listy. Możesz użyć jej także do szybkiej kontroli własnej strony.

  • Plik odpowiada kodem 200. Adres robots.txt działa na właściwym hoście i protokole, bez błędów serwera i zbędnych przekierowań.
  • Nie ma blokady całej witryny. Reguła blokująca wszystko nie została przeniesiona ze środowiska testowego ani wpisana przez pomyłkę.
  • Ważne sekcje są dostępne. Strony ofertowe, kategorie, produkty i artykuły przechodzą test dostępności dla Googlebota.
  • Zasoby do renderowania nie są zablokowane. Style, skrypty i obrazy potrzebne do wyświetlenia strony są dostępne dla robotów.
  • Brak sprzeczności z noindex. Żadna strona z tagiem noindex, która ma zniknąć z wyników, nie jest jednocześnie zablokowana w pliku.
  • Mapa witryny jest wskazana i spójna. Adres mapy jest aktualny, a sama mapa nie zawiera adresów, które plik blokuje.
  • Grupy robotów są kompletne. Każda osobna grupa dla konkretnego robota zawiera wszystkie reguły, które mają go obowiązywać.
  • Poprzednia wersja jest zapisana. W razie problemów można szybko przywrócić plik sprzed zmiany i porównać obie wersje.
Słowniczek

Pojęcia związane z plikiem robots.txt

Najważniejsze terminy, które pojawiają się przy konfiguracji pliku i analizie zachowania robotów.

Skanowanie (crawling)
Pobieranie stron przez roboty wyszukiwarek. To właśnie ten etap kontroluje plik robots.txt.
Indeksowanie
Zapisanie strony w indeksie wyszukiwarki, z którego budowane są wyniki. Kontroluje się je głównie tagiem noindex i adresami kanonicznymi.
Budżet skanowania
Liczba adresów, które robot jest w stanie i chce pobrać z witryny w danym czasie. Ma znaczenie głównie w dużych serwisach.
User-agent
Nazwa, którą przedstawia się robot. W pliku robots.txt rozpoczyna grupę reguł przeznaczonych dla danego robota.
Meta robots
Tag w kodzie strony przekazujący robotom polecenia dotyczące indeksowania i linków, na przykład noindex.
X-Robots-Tag
Nagłówek HTTP o działaniu podobnym do tagu meta robots, który można stosować także do plików PDF i obrazów.
RFC 9309
Dokument opisujący protokół wykluczania robotów jako standard internetowy. Precyzuje składnię pliku i sposób jego interpretacji.
Renderowanie
Przetworzenie strony z uwzględnieniem styli i skryptów, tak jak robi to przeglądarka. Wymaga dostępu do zasobów strony.
Google-Extended
Token w pliku robots.txt pozwalający zdecydować o wykorzystaniu treści strony przez modele Google, bez wpływu na wyszukiwarkę.
Logi serwera
Zapisy wszystkich zapytań do serwera. Pokazują, które adresy i jak często odwiedzają poszczególne roboty.
Disallow i Allow
Podstawowe reguły pliku: pierwsza wyłącza ścieżkę ze skanowania, druga pozwala na skanowanie, także wewnątrz zablokowanego katalogu.
Adres kanoniczny
Wskazanie głównej wersji strony spośród kilku adresów o podobnej treści. Pomaga skupić sygnały na jednym adresie.
Sprawdźmy Twój plik

Nie masz pewności, co blokuje Twój robots.txt?

Przeanalizujemy plik, statystyki skanowania i stan indeksowania, a następnie zaproponujemy bezpieczną wersję reguł dopasowaną do struktury Twojej strony lub sklepu.

+48 533 543 333info@seosem24.plZamów przegląd robots.txt
4.8/5 - 1309

Zostaw komentarz

Twój adres e-mail nie zostanie opublikowany. Komentarze są moderowane.

Porozmawiajmy o Twoim projekcie

Bezpłatnie sprawdzimy Twoją stronę i zaproponujemy plan działań. Odpowiadamy tego samego dnia, dyżur eksperta 24/7.

+48 533 543 333 info@seosem24.pl Bezpłatna wycena