User-agent: *
Disallow: /author/
Disallow: /embed
Disallow: /trackback
Disallow: /search-results
Disallow: */email/*
Disallow: /auc/*/*/*/
# One Price: индексируется только посадочная /oneprice/, марки, модели, пагинация и карточки - нет:
# те же лоты лежат в разделе аукционов
Disallow: /oneprice/*/
Disallow: /oneprice/?
# сама форма поиска по VIN индексируется, страницы с параметрами - нет: там капча и noindex
Disallow: /vin/?
# архив торгов по годам закрыт от всех роботов
Disallow: /archive/
# телефонные ссылки, которые кривые парсеры разбирают как относительные адреса
Disallow: /*tel:

Clean-param: utm_campaign&utm_medium&utm_source&utm_term&utm_content&utm_referrer&from&_openstat&gclid
Clean-param: bxajaxid&title&etext
Clean-param: ybaip&yandex-source
Clean-param: body&kuzov&lot-number&manufacturer&mileage-from&mileage-to&model&order_by&order_direction&price_from&price_to&rate-3&rate-3-5&rate-4&rate-4-5&rate-5&rate-6&rate-r&rate-s&region&volume-from&volume-to&year-from&year-to&year1&year2

# AI-краулеры: основной сайт доступен, но без массивных разделов со статистикой и лотами
# У робота с собственной группой общая группа "*" не действует, поэтому её запреты продублированы.
# Группы, адресованные другим роботам (в т.ч. Яндексу и Google), эти правила не затрагивают.
User-agent: ClaudeBot
Crawl-delay: 10
Disallow: /stat/
Disallow: /auc/
Disallow: /archive/
Disallow: /oneprice/*/
Disallow: /vin/?
Disallow: /search-results
Disallow: /*tel:

User-agent: GPTBot
Crawl-delay: 10
Disallow: /stat/
Disallow: /auc/
Disallow: /archive/
Disallow: /oneprice/*/
Disallow: /vin/?
Disallow: /search-results
Disallow: /*tel:

User-agent: Amazonbot
Crawl-delay: 10
Disallow: /stat/
Disallow: /auc/
Disallow: /archive/
Disallow: /oneprice/*/
Disallow: /vin/?
Disallow: /search-results
Disallow: /*tel:

User-agent: Scrapy
Disallow: /

User-agent: UniversalFeedParser
Disallow: /

User-agent: IDG/RU
Disallow: /

User-agent: FeedlyBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ia_archiver
Disallow: /

Sitemap: https://tokidoki.su/sitemap.xml