Jak skonfigurować robots.txt — co blokować, a co pokazywać Google i botom AI

Jak skonfigurować robots.txt prawidłowo? Umieść plik robots.txt w katalogu głównym domeny, zablokuj w nim tylko sekcje techniczne i prywatne, nie blokuj zasobów potrzebnych do renderowania strony, wskaż mapę witryny i przetestuj reguły w Google Search Console. Najprostsza zasada brzmi: blokuj to, czego nie chcesz indeksować ani crawlować, ale pokazuj botom wszystko, co ma pracować na widoczność w Google i być cytowane przez boty AI. Jeśli chcesz zrobić to bez błędów, WiloAI automatyzuje cały proces i pozwala wdrożyć poprawną konfigurację nawet w 15 minut.

Aktualizacja: 2026

Dlaczego poprawna konfiguracja robots.txt ma realne znaczenie

Plik robots.txt to nie drobiazg techniczny. To jedna z pierwszych instrukcji, jakie czytają roboty wyszukiwarek po wejściu na stronę. Błędna linijka może odciąć Google od kluczowych podstron, a poprawna konfiguracja pomaga lepiej wykorzystać crawl budget i uporządkować indeksację.

Dane pokazują, że temat nie jest marginalny:

• Google oficjalnie wskazuje, że robots.txt służy do zarządzania dostępem crawlerów do określonych części serwisu, ale nie jest mechanizmem ukrywania stron w wynikach wyszukiwania. To ważne, bo wiele firm nadal myli blokowanie crawlowania z usuwaniem z indeksu.
• Semrush w audytach technicznych regularnie wskazuje błędy robots.txt jako jedne z najczęstszych problemów SEO w serwisach rozwijanych bez stałego nadzoru technicznego.
• Według Gartner udział treści wykorzystywanych przez systemy AI i wyszukiwarki opiera się coraz mocniej na danych możliwych do sprawnego odczytu, przetworzenia i oceny przez boty. Jeśli przypadkowo blokujesz ważne sekcje, ograniczasz swoją szansę na widoczność także poza klasycznym SEO.
• McKinsey podkreśla, że firmy z lepiej uporządkowanymi zasobami cyfrowymi szybciej skalują efektywność działań marketingowych i automatyzacji. Robots.txt jest jednym z najprostszych elementów tego porządku.

W praktyce: dobrze ustawiony robots.txt pomaga Google szybciej dojść do ważnych treści, nie marnować zasobów na filtry, parametry i zaplecze techniczne oraz lepiej interpretować strukturę serwisu.

Co blokować, a co pokazywać Google i botom AI

Typ zasobu	Blokować?	Dlaczego
Panel logowania /admin, /wp-admin	Tak	To sekcje techniczne, bez wartości dla użytkownika z wyszukiwarki.
Koszyk, checkout, konto użytkownika	Tak	To prywatne lub transakcyjne obszary, które nie powinny być crawlownie bez potrzeby.
Wyniki wewnętrznej wyszukiwarki	Tak	Google od lat rekomenduje ograniczanie indeksacji wewnętrznych wyników wyszukiwania.
Parametry filtrów i sortowania	Często tak	Pomagają ograniczyć duplikację i marnowanie crawl budget.
Strony produktowe, usługowe, kategorie, artykuły	Nie	To treści, które mają się pozycjonować i być widoczne dla botów.
CSS i JS potrzebne do renderowania	Nie	Google musi widzieć stronę tak, jak użytkownik.
Obrazy i pliki multimedialne wspierające treść	Zwykle nie	Mogą wspierać widoczność w wyszukiwaniu graficznym i interpretację strony.

Jak skonfigurować robots.txt krok po kroku

1. Otwórz lub utwórz plik robots.txt w katalogu głównym domeny

Plik musi być dostępny pod adresem:

https://twojadomena.pl/robots.txt

Nie wrzucaj go do podfolderu. Jeśli bot nie znajdzie pliku w katalogu głównym, uzna, że nie ma specjalnych ograniczeń.

2. Zacznij od podstawowej, czytelnej struktury

Dla większości stron punkt wyjścia może wyglądać tak:

User-agent: *
Disallow: /admin/
Disallow: /koszyk/
Disallow: /checkout/
Disallow: /moje-konto/
Disallow: /search/
Allow: /

Sitemap: https://twojadomena.pl/sitemap.xml

User-agent: * oznacza, że reguła dotyczy wszystkich botów. Disallow blokuje wskazany katalog lub adres. Allow dopuszcza dostęp. Sitemap pomaga robotom szybciej znaleźć ważne URL-e.

3. Zablokuj tylko sekcje techniczne i prywatne

Zrób to konkretnie. Najczęściej blokuje się:

• zaplecze administracyjne,
• koszyk i checkout,
• sekcje kont użytkowników,
• wyniki wyszukiwania wewnętrznego,
• adresy z parametrami generującymi duplikację.

Nie blokuj całych katalogów „na wszelki wypadek”, jeśli znajdują się tam strony ofertowe lub contentowe.

4. Nie blokuj stron, które mają rankować

To najczęstszy błąd. Jeśli chcesz, żeby Google indeksował kategorię, landing page, artykuł albo stronę usługi, nie wpisuj jej do robots.txt. Jeśli strona ma nie pojawiać się w wynikach, zwykle lepszym rozwiązaniem jest meta tag noindex, a nie blokada w robots.txt.

To kluczowa różnica:

• robots.txt = instrukcja crawl budget i dostępu crawlera,
• noindex = instrukcja dotycząca indeksowania strony.

5. Zostaw dostęp do CSS, JavaScript i zasobów potrzebnych do renderowania

Google od lat rekomenduje, by nie blokować plików potrzebnych do prawidłowego wyrenderowania strony. Jeśli zablokujesz katalogi z CSS lub JS, robot może zobaczyć stronę inaczej niż użytkownik. To prowadzi do błędnej oceny jakości i problemów z indeksacją.

6. Dodaj mapę witryny

W robots.txt zawsze dodaj linię z adresem sitemap.xml. To prosty sygnał dla Google i innych botów, gdzie znajdują się ważne adresy URL.

Sitemap: https://twojadomena.pl/sitemap.xml

Jeśli masz kilka map witryny, możesz wskazać więcej niż jedną.

7. Ustal osobne reguły dla wybranych botów tylko wtedy, gdy naprawdę jest to potrzebne

W niektórych przypadkach chcesz obsługiwać konkretne boty osobno, na przykład różne crawlery wyszukiwarek lub narzędzi AI. Wtedy możesz dodać dedykowane sekcje:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /tmp/

Rób to ostrożnie. Im bardziej złożony plik, tym większe ryzyko konfliktów i błędów interpretacyjnych.

8. Przetestuj plik przed publikacją i po wdrożeniu

Sprawdź:

• czy plik zwraca kod 200,
• czy jest publicznie dostępny,
• czy nie ma literówek,
• czy kluczowe strony nie są blokowane,
• czy mapa witryny działa poprawnie.

Następnie użyj Google Search Console i przeanalizuj raporty indeksowania oraz crawl stats. Jeśli po zmianie nagle spada liczba crawlowanych stron lub znikają z indeksu ważne URL-e, reaguj od razu.

Jak WiloAI automatyzuje konfigurację robots.txt w 15 minut

Jeśli nie chcesz ręcznie analizować struktury serwisu, ryzykować błędów i sprawdzać zależności między robots.txt, sitemapą, indeksacją i szablonami strony, WiloAI robi to automatycznie.

W praktyce wygląda to tak:

1. WiloAI skanuje strukturę Twojej strony i wykrywa sekcje techniczne, prywatne oraz treści biznesowe.
2. Rozpoznaje, które URL-e warto otworzyć dla Google i botów AI, a które należy ograniczyć.
3. Generuje poprawny plik robots.txt dopasowany do typu serwisu: usługowego, e-commerce, bloga lub strony firmowej.
4. Dodaje właściwe odwołanie do mapy witryny.
5. Pomaga uniknąć konfliktów między robots.txt, meta noindex i strukturą wewnętrznego linkowania.
6. Wdraża całość szybko, tak że nawet laik jest w stanie ogarnąć temat w około 15 minut.

To ważne szczególnie dziś, gdy widoczność nie kończy się na Google. Treści muszą być dostępne także dla systemów AI, które analizują witryny pod kątem cytowań, odpowiedzi i rekomendacji. WiloAI porządkuje ten proces bez ręcznego grzebania w plikach i bez zgadywania, co zablokować.

Najczęstsze błędy w robots.txt

Blokowanie całej strony przez przypadek

User-agent: *
Disallow: /

To komenda, która odcina wszystkie boty od całego serwisu. Czasem trafia na produkcję po testach stagingowych. Efekt: dramatyczny spadek widoczności.

Używanie robots.txt do ukrywania stron w indeksie

Jeśli URL już jest znany Google, sama blokada w robots.txt nie gwarantuje usunięcia go z wyników. Do tego służy noindex, usunięcie strony lub odpowiednie przekierowania.

Blokowanie zasobów JS i CSS

To utrudnia renderowanie strony i może wpłynąć na ocenę jakości, UX i poprawności wersji mobilnej.

Brak mapy witryny

To prosty element, a nadal często pomijany. Bez niego roboty mają mniej wskazówek, które adresy są priorytetowe.

Chaotyczne reguły bez dokumentacji

Po kilku miesiącach nikt nie pamięta, po co dodano dane linie. Dlatego warto utrzymywać prosty, logiczny plik i aktualizować go po zmianach w serwisie.

Kopiowanie konfiguracji z innej strony

To błąd bardzo częsty. To, co działa w sklepie internetowym, może zaszkodzić stronie usługowej. Robots.txt musi wynikać z realnej struktury Twojego serwisu.

Przykładowy poprawny robots.txt dla strony firmowej

User-agent: *
Disallow: /wp-admin/
Disallow: /koszyk/
Disallow: /checkout/
Disallow: /moje-konto/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://twojadomena.pl/sitemap.xml

To tylko przykład. Finalna wersja powinna być dopasowana do CMS-a, architektury URL-i i celów SEO.

Podsumowanie

Prawidłowy robots.txt robi trzy rzeczy: blokuje techniczne śmieci, nie zasłania treści sprzedażowych i contentowych oraz pomaga Google i botom AI szybciej zrozumieć strukturę Twojej strony. Zrób to prosto, bez nadmiaru reguł i zawsze testuj zmiany po wdrożeniu.

Jeśli chcesz mieć to ustawione poprawnie bez zgadywania, WiloAI automatyzuje konfigurację robots.txt, sitemap i podstaw technicznego SEO w około 15 minut. To najszybsza droga, żeby uporządkować dostęp botów do Twojej strony i nie tracić widoczności przez prosty błąd w jednym pliku.

Chcesz sprawdzić, czy Twoje robots.txt nie blokuje wzrostu? Skontaktuj się z WiloAI i zamów szybką analizę oraz automatyczne wdrożenie.

FAQ

Czy robots.txt usuwa stronę z Google?

Nie. Robots.txt blokuje crawling, ale nie gwarantuje usunięcia adresu z indeksu. Do tego użyj meta noindex, przekierowania lub usuń stronę.

Czy warto blokować boty AI w robots.txt?

Tylko jeśli masz wyraźny powód biznesowy lub prawny. W większości przypadków lepiej udostępniać wartościowe treści, jeśli zależy Ci na cytowaniach, widoczności i obecności w odpowiedziach AI.

Gdzie powinien znajdować się plik robots.txt?

W katalogu głównym domeny, pod adresem typu: https://twojadomena.pl/robots.txt.

Czy każda strona potrzebuje robots.txt?

Nie każda, ale praktycznie każda profesjonalna strona powinna go mieć. Nawet prosty plik z linkiem do sitemap pomaga uporządkować komunikację z botami.

Jak często aktualizować robots.txt?

Za każdym razem, gdy zmieniasz strukturę serwisu, wdrażasz nowy sklep, sekcję blogową, filtry lub przebudowujesz architekturę URL-i.