User-agent: Yandex*
Allow: /
Crawl-delay: 5

User-agent: *
Allow: /
Crawl-delay: 5

Host: https://autopro.am
Sitemap: https://autopro.am/sitemap.xml

# OpenAI — запрет обучающему краулеру
User-agent: GPTBot
Disallow: /

# OpenAI — оставить поиск ChatGPT
User-agent: OAI-SearchBot
Allow: /

# Anthropic — запрет массовому краулеру
User-agent: ClaudeBot
Disallow: /

# Anthropic — оставить поиск Claude
User-agent: Claude-SearchBot
Allow: /

# Anthropic — оставить доступ по запросу пользователя Claude
User-agent: Claude-User
Allow: /

User-agent: AhrefsBot
Disallow: /

User-agent: Bytespider
Disallow: /

# Meta AI training crawler
User-agent: meta-externalagent
Disallow: /