Що таке robots.txt і чого він не робить

Robots.txt дотримується стандарту robots exclusion. Браузер його не показує; боти читають до або під час обходу. Важливі межі:

• Не захист. Закритий у robots URL людина все одно відкриє за прямим посиланням. Секрети — лише за авторизацією.
• Не прямий індекс. Пошуковики можуть знати про URL з sitemap або зовнішніх лінків, навіть якщо обхід заборонено. Для «не показувати в видачі» потрібен noindex.
• Рекомендація, не наказ. Легальні боти зазвичай дотримуються правил; зловмисники — ні.

Для dev-команди robots.txt — політика доступу краулерів, зафіксована в репозиторії.

Які AI-боти зустрічаються у 2026 році

У кожного провайдера свій User-agent. Плутанина між training- і search-ботами — часта причина «ми дозволили GPTBot, а цитувань немає».

На stuzhuk.page у коді явно дозволені GPTBot, OAI-SearchBot, ClaudeBot і PerplexityBot — модуль search-indexing.ts.

robots.txt, meta robots і X-Robots-Tag

Типова зв’язка: Allow для AI-ботів і User-agent: * / Allow: /; для /admin і preview — noindex у layout.

Allow і Disallow: як читати файл

Правила застосовуються зверху вниз для кожного User-agent.

Мінімальна політика «відкритий AI-пошук»:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://stuzhuk.page/sitemap.xml

Disallow для службових шляхів:

User-agent: *
Disallow: /admin/
Disallow: /api/

Не додавайте Allow: / для URL, які віддають 401 або порожню заглушку.

Розділення Google і Яндекс на двох доменах

Один репозиторій, різні профілі:

• stuzhuklab.ru — відкритий для Яндекс; Googlebot отримує Disallow: /.
• stuzhuk.page — Google і Bing відкриті; Yandex закритий.

AI-краулери на обох деплоях отримують Allow — свідома політика AISO. Детальніше — у гайді SEO, AEO, GEO та AISO.

Staging: PUBLIC_BLOCK_SEARCH_INDEXING=true віддає Disallow: / для всіх.

Що дозволяти AI-ботам, а що закривати

Дозволяти:

• статті блогу з повним текстом у серверному HTML;
• послуги, портфоліо, FAQ;
• /llms.txt і /sitemap.xml.

Закривати або noindex:

• /admin, особисті кабінети;
• чернетки з draft: true;
• staging-домени.

Robots не замінює GEO — після Allow бот обирає сторінки з приростом новизни.

Як ми віддаємо robots.txt у коді

Маршрут robots.txt.ts викликає buildRobotsTxt() з production origin. Після деплою:

curl -s https://stuzhuk.page/robots.txt
curl -s https://stuzhuk.page/uk/blog/robots-txt-ai-crawlers-gptbot-claude | head -c 2000

Очікуємо: 200, text/plain, рядок Sitemap: на тому ж host, блоки Allow для AI-агентів, повний текст статті в HTML без JS.

Зв’язок з llms.txt, sitemap і AISO-аудитом

1. Sitemap з lastmod.
2. llms.txt — карта для агентів.
3. JSON-LD Article / FAQPage.
4. Related posts і tag hubs.

Цей цикл підняв готовність до AI-пошуку з 52 до 84 — звіт AISO. robots.txt був одним пунктом чеклиста.

Типові помилки

1. Staging robots на production — весь сайт Disallow: /.
2. Allow у robots, але SPA без SSR.
3. Sitemap на іншому домені.
4. Блокування всіх AI-ботів «з міркувань безпеки».
5. Відсутня перевірка після деплою.

Чеклист на 15 хвилин

1. curl robots.txt — Allow і Sitemap.
2. Переконатися, що Yandex не заблокований на RU-сайті (якщо це ціль).
3. curl 2–3 статті — повний текст у HTML.
4. canonical і hreflang без дублів /ru/blog vs /blog на RU-домені.
5. Яндекс.Вебмастер — аналіз robots і переобхід URL.
6. Звірка з pillar-гайдом.

FAQ

Підсумок

Правила для AI-ботів — політика продукту. Зафіксуйте Allow у коді, закрийте службові зони, перевіряйте production після деплою. Аудит стека — SEO / AEO / GEO або кейс 52→84.

Схожі матеріали: llms.txt · AEO-структура · Приріст новизни