Краулинговый бюджет — условное обозначение ресурсов, которые поисковая система готова выделять на обход страниц конкретного сайта.
Подробное описание
На интенсивность обхода влияют возможности сервера и потребность системы получать новые версии страниц. Это не фиксированное число URL, которое владелец сайта может установить по своему желанию. Для крупных проектов важно не расходовать обход на бесконечные фильтры, дубли и технические адреса. Однако ускорение обхода само по себе не гарантирует индексацию или рост позиций. Для небольшого сайта прежде всего проверяют доступность страниц, внутренние ссылки и качество содержания.
Пример: фильтры каталога создают множество одинаковых комбинаций URL. Команда сокращает ненужные адреса, сохраняя доступ к полезным категориям и товарам.