У портала, интернет-магазина или каталога на тысячи страниц общий чек-лист быстро упирается в масштаб. Проверить каждый адрес вручную невозможно, а ошибка в одном шаблоне повторяется на тысячах страниц сразу. Поэтому аудит крупного сайта начинают с вопроса, как роботы сканируют сайт и какие страницы попадают в индекс.
SEO-аудит помогает понять, какие элементы менять в первую очередь при оптимизации сайта. Для крупного сайта это особенно важно: правки требуют работы разработчиков, а исправление одного шаблона закрывает проблему сразу на всех страницах группы.
Общий поисковый аудит сайта любого размера описан в материале про SEO-аудит сайта, а для крупного сайта проверка идет от сканирования и индексации до приоритизации находок.
- Что такое SEO-аудит крупного сайта и чем он отличается
- Краулинговый бюджет и сканирование крупного сайта
- Индексация и sitemap на крупном сайте
- Дубли страниц, фильтры и параметры
- Контент и метатеги по шаблонам страниц
- Внутренняя перелинковка и страницы-сироты
- Ссылочный профиль крупного сайта
- Технические ошибки, скорость и мобильная версия
- Стандарты ниши, YMYL и E-E-A-T
- Приоритизация находок и чек-лист работ
- FAQ по SEO-аудиту крупного сайта
- Коротко о главном
Что такое SEO-аудит крупного сайта и чем он отличается
SEO-аудит — это проверка сайта, которая выявляет технические и содержательные причины, мешающие сканированию, индексации и ранжированию в поиске.
Крупным в этой статье называется сайт на тысячи страниц и больше, где проверять адреса по одному уже не получается. Для краулингового бюджета у Google свои критерии: расширенное руководство по нему рассчитано на сайты от 1 млн уникальных страниц с обновлением примерно раз в неделю, на сайты от 10 тысяч страниц с ежедневными изменениями и на сайты, у которых заметная доля адресов получила в Search Console статус «Discovered – currently not indexed» («Страница обнаружена, не проиндексирована»). Сайту без большого числа быстро меняющихся страниц, по словам Google, для управления сканированием достаточно актуального sitemap и регулярной проверки отчета об индексировании страниц.
Аудит крупного сайта отличается от обычного масштабом ошибок и порядком работы. Проверяют группы страниц одного шаблона: листинги, карточки, статьи блога, страницы фильтров, а отдельные адреса служат примерами. На первом месте стоят сканирование и индексация, потому что ошибка шаблона тиражируется на все страницы группы, а находки сортируют по числу затронутых страниц. Приоритет проверки выстраивается так:
- Сканирование и индексация: что робот видит и что попало в индекс.
- Дубли, фильтры и параметры в адресах.
- Контент и метатеги по шаблонам страниц, внутренние ссылки.
- Ссылочный профиль.
- Техническая часть, скорость и мобильная версия, затем стандарты ниши (YMYL, E-E-A-T).
Краулинговый бюджет и сканирование крупного сайта
Краулинговый бюджет — это объем сканирования, который поисковая система готова потратить на сайт.
По определению Google, бюджет складывается из лимита пропускной способности сканирования и спроса на сканирование. Сканирование и индексация остаются разными этапами: страница может быть просканирована и все же не попасть в индекс. Руководство о бюджете написано для Google, а в справке «Яндекса» говорится о скорости обхода сайта и нагрузке на него.
На что уходит краулинговый бюджет
Если на крупном сайте много дублей и ненужных адресов, они расходуют сканирование впустую: Google называет воспринимаемый объем адресов тем фактором, на который владелец сайта влияет сильнее всего. Дубли объединяют, а малоценные адреса закрывают от сканирования в robots.txt. Noindex для этого не подходит: Google все равно запрашивает такую страницу, а затем отбрасывает ее, и время сканирования тратится впустую. Для временного перераспределения бюджета robots.txt тоже не используют.
Среди других практик Google советует отдавать код 404 или 410 для удаленных страниц, исправлять soft 404, избегать длинных цепочек редиректов и держать sitemap актуальным. Каждую причину проверяют отдельно: коды ответа удаленных адресов, цепочки редиректов в данных краулера, точность lastmod в sitemap. На лимит влияет и сервер. При медленных ответах, ошибках 5xx и сигналах ограничения частоты вроде 429 Google сканирует меньше, а при стабильных ответах лимит растет. В справке «Яндекса» сказано похожее: долгие ответы с кодом 429 могут снизить скорость обхода сайта. Адреса фильтров и параметров разобраны в разделе про дубли.
Как увидеть, куда уходит сканирование
Первый источник — отчет «Статистика сканирования» в Google Search Console. Он показывает, сколько запросов сделал Google и когда, как отвечал сервер и были ли проблемы с доступностью. Google называет отчет инструментом для опытных пользователей и пишет, что сайту меньше тысячи страниц он не нужен. Данные в нем приводятся по реально запрошенным адресам, а не по каноническим.
Для «Яндекса» есть раздел «Статистика обхода» в разделе «Индексирование» «Яндекс Вебмастера». Он показывает страницы, которые обошел поисковый робот, и адреса, которые робот не смог загрузить, позволяет смотреть данные по разделам сайта и выгружать их в XLS или CSV. Важные страницы, которых нет в списке, передают через инструмент «Переобход страниц». Третий источник — логи сервера, если к ним есть доступ. Краулер дает список страниц, достижимых по ссылкам, и его сравнивают с индексом в следующем разделе.
Индексация и sitemap на крупном сайте
Проблемы индексации крупного сайта удобно искать, сравнивая количество страниц на сайте, в sitemap и в индексе по группам шаблонов. Расхождение между тремя числами показывает, где искать причину: в качестве страниц, в дублях или в том, что часть адресов не заявлена роботу, и подтверждают это проверкой по каждой группе.
| Группа страниц | Сколько страниц на сайте | Сколько в sitemap | Сколько в индексе | О чем говорит расхождение |
|---|---|---|---|---|
| Листинги категорий | Выгрузка из CMS или данные краулера | Файл sitemap этой группы | Отчет об индексировании страниц в Search Console, раздел «Страницы в поиске» в «Вебмастере» | В sitemap много, в индексе мало: проверить дубли и качество листингов |
| Карточки товаров или объектов | Выгрузка из CMS или краулер | Файл sitemap карточек | Те же отчеты | Карточек на сайте больше, чем в sitemap: часть страниц не заявлена роботу |
| Страницы фильтров и параметров | Краулер, число комбинаций | Обычно отсутствуют | Те же отчеты | В индексе много при пустом sitemap: адреса попадают в индекс без контроля, нужна политика закрытия |
| Статьи блога и справочные разделы | CMS | Файл sitemap блога | Те же отчеты | В sitemap есть, в индексе нет: проверить качество и перелинковку |
Отдельного внимания заслуживает статус «Discovered – currently not indexed»: если он стоит у заметной доли адресов, Google относит сайт к тем, кому адресовано расширенное руководство по краулинговому бюджету, поэтому динамику статуса отслеживают по группам шаблонов. В справке «Яндекса» отмечено, что робот иногда может пропустить страницы, поэтому sitemap рекомендован при большом количестве страниц и при страницах без навигационных ссылок.
Sitemap.xml на крупном сайте составляют с учетом лимитов. Один файл в Google и в «Яндексе» вмещает не больше 50 000 URL и 50 МБ в несжатом виде, поэтому большой список адресов делят на несколько файлов и объединяют индексным файлом.
Файлы удобно сегментировать по типам страниц: Search Console показывает эффективность каждого файла отдельно, и по сегментам видно, где проблема. На один сайт в Search Console можно отправить до 500 индексных файлов. Значение lastmod Google учитывает, только если оно последовательно точное, а priority и changefreq игнорирует. «Яндекс» в описании формата называет priority коэффициентом, с учетом которого робот загружает страницы.

Дубли страниц, фильтры и параметры
На крупном сайте дубли чаще всего порождают фильтры, сортировки и параметры в адресах. По справке «Яндекса», из-за дублей робот дольше обходит сайт, а нужная страница может выпасть из поиска. Проверку ведут по трем направлениям: адреса фильтров, canonical и каннибализация запросов.
Фильтры и параметры URL в robots.txt
Фасетная навигация, построенная на параметрах URL, способна создать почти бесконечное число адресов. Роботы тратят время на лишние страницы и позже находят новые полезные. Если адреса фильтров не нужны в поиске, Google рекомендует закрыть их в robots.txt, оставив карточки товаров и один листинг без фильтров, или хранить фильтры во фрагменте URL после символа #. Canonical и nofollow, по оценке Google, для этой цели менее эффективны в долгосрочной перспективе. Если адреса нужны в индексе, следуют лучшим практикам Google для фасетной навигации. Для GET-параметров «Яндекс» рекомендует директиву Clean-param вместо Disallow: она передает основному адресу накопленные показатели, а настройка параметров доступна в «Вебмастере» в инструменте «Настройка GET-параметров».
Вместе с параметрами проверяют шаблоны адресов. URL страницы должен быть уникальным, описательным и коротким, слова в нем разделяют дефисом, а лишние цифры лучше убрать. Тогда остановить рост числа адресов проще: правило задается в шаблоне один раз.

Canonical на похожих страницах
Canonical показывает поисковой системе основную версию среди похожих страниц. На крупных сайтах, особенно в интернет-магазинах, похожего контента много, поэтому на лучших страницах тег ссылается на себя, а на страницах со схожим контентом указывает на лучшую страницу. Для Google это сильный сигнал, но не команда: если тега нет, поисковая система сама выберет версию. Разные способы указания не должны вести к разным каноническим адресам одной страницы.

Каннибализация запросов
Каннибализация запросов — это нацеливание разных страниц сайта на один и тот же запрос.
Когда на сайте тысячи страниц, они конкурируют за первое место в выдаче не только с другими сайтами, но и между собой, если нацелены на одинаковые запросы. Найти такие страницы помогает отчет об эффективности в Search Console: если по одному запросу показываются несколько адресов сайта, их проверяют как кандидатов на каннибализацию. Устранить ее помогают три действия:
- Найти другие запросы и оптимизировать страницу под них.
- Объединить конкурирующие материалы в один.
- Настроить 301-й редирект на страницу, которая лучше ранжируется и конвертируется.
Перед объединением страниц сравните данные по запросу в Search Console и аналитике: обычно оставляют ту, что выше ранжируется и приносит больше кликов и конверсий.
Контент и метатеги по шаблонам страниц
На крупном сайте контент и мета проверяют по шаблонам: листинг, карточка, статья блога. Сначала смотрят, по каким запросам сайт уже ранжируется и приносит трафик, затем подбирают дополнительные поисковые запросы, которые отражают задачу пользователя, для каждой группы страниц. В шаблонах карточки и каталога проверяют и блоки, от которых зависит коммерческое решение посетителя: цену, наличие, контакты, условия.
Метатеги и заголовки H1
Title, Description и заголовок H1 на крупном сайте задаются шаблонами, поэтому и проверять их нужно по шаблонам. Заголовок результата Google формирует автоматически по нескольким источникам, среди которых тег Title. Сниппет Google в основном берет из содержимого страницы, а Description использует, если он точнее описывает страницу. Ограничения длины у Description нет, сниппет обрезается по ширине экрана. Убедитесь, что метатеги страниц уникальны, не дублируются и не слишком длинны.

В рамках аудита проверьте три пункта:
- Title и Description уникальны для каждой страницы.
- Длина Title и Description не обрезает смысл в выдаче: жесткого лимита у Google нет, а SEO-краулеры предупреждают о слишком длинных значениях, например о Title длиннее 60 символов.
- Ключевые слова или их вариации включены в Title и Description, а на странице один заголовок H1.
Для крупного сайта к этому добавляют формулу шаблона: Title и H1 по типам страниц собираются из полей категории или карточки, а пустые и повторяющиеся значения ищут по группам страниц.
Проверяйте формулу шаблона мета и страницы, которые из нее выпадают: пустые, повторяющиеся и слишком длинные Title.
Тонкий контент и изображения
Главный риск контента на крупном сайте — тонкие и шаблонные страницы листингов и карточек. Google называет тонким контент с малой или нулевой добавленной ценностью. Короткая страница тонкой автоматически не считается: у листинга или карточки смотрят, есть ли на ней ценность, которой нет на соседних страницах шаблона. Отдельно проверяют дубли с других сайтов: скопированные у поставщика описания карточек такой ценности не добавляют.
Alt-атрибут описывает изображение. Google использует его вместе с алгоритмами компьютерного зрения и содержимым страницы, чтобы понять предмет картинки, поэтому текст пишут содержательным и в контексте страницы, а ключевые слова добавляют там, где они уместны. Набивка alt ключами ухудшает пользовательский опыт и может привести к тому, что сайт сочтут спамом. На тысячах изображений на сайте alt проверяют по шаблонам, например у карточек товара.
В шаблоне длинных статей и справочных страниц оглавление с якорными ссылками упрощает навигацию, но интерактивные элементы и картинки не должны замедлять загрузку страниц сайта.

Внутренняя перелинковка и страницы-сироты
Страница-сирота — это страница, на которую не ведет ни одна внутренняя ссылка.
Google находит страницы по ссылкам из уже известных страниц и по присланному sitemap, поэтому сирота может быть известна поисковой системе из sitemap или по внешним ссылкам, но остается несвязанной с остальным сайтом. Искать сирот на крупном сайте помогает сопоставление двух списков адресов: из краулера и из sitemap. Дополнительно проверяют глубину вложенности страниц, хлебные крошки и блоки перелинковки в шаблонах листингов и карточек, а анкор ссылки должен описывать целевую страницу. Сама ссылка должна быть элементом <a> с атрибутом href: ссылки через скриптовые события Google надежно не извлекает.
Адреса из sitemap без внутренних ссылок считайте кандидатами в сироты: сначала проверьте их шаблон, затем добавьте ссылки в блоки перелинковки.
Ссылочный профиль крупного сайта
Обратные ссылки — это ссылки на ваш сайт с других ресурсов. Для анализа ссылочного профиля крупного сайта его сравнивают с профилем конкурентов: смотрят число ссылающихся доменов и то, на какие разделы сайта ведут ссылки. Google использует ссылки как сигнал релевантности и для поиска новых страниц.

Слово «токсичные» применяют сторонние сервисы, а Google пишет о ненатуральных ссылках и ссылочном спаме. Обновление Link Spam от 26 июля 2021 года помогло Google эффективнее находить и обнулять ссылочный спам, а декабрьское обновление 2022 года на системе SpamBrain нейтрализует ненатуральные ссылки, и передаваемый ими вес теряется.
Отклонять ссылки приходится не всегда: по справке Google, это расширенная функция для случаев, когда есть ручная мера за неестественные ссылки или ожидается такая мера, и только если удалить ссылки не удалось. При неправильном использовании она может навредить показам сайта в Google. Для отклонения создают файл формата .txt, в который включают URL или домены.
Анкоры, то есть тексты ссылок, должны выглядеть естественно. Название бренда в анкоре допустимо, а ссылки с оптимизированным анкором в проплаченных статьях Google относит к примерам ссылочного спама. Исходящие ссылки со страниц сайта проверяют на работоспособность и уместность: они должны открываться и вести на материалы по теме.
Технические ошибки, скорость и мобильная версия
На крупном сайте технические ошибки проверяют по группам шаблонов и начинают с самых больших групп страниц. Так один найденный дефект закрывает проблему сразу для тысяч адресов.
Битые ссылки, hreflang и разметка
Битая ссылка в шаблоне повторяется на каждой странице группы, поэтому ее исправляют один раз в шаблоне и проверяют краулером. Для редиректов смотрят код ответа и конечный адрес: внутренние ссылки должны вести сразу на конечную страницу, без цепочки.
Теги hreflang для сайтов на нескольких языках помогают показывать страницу с учетом языка пользователя. Google требует, чтобы каждая языковая версия указывала на себя и на все остальные, а для страниц с hreflang указывали каноническую страницу на том же языке. Если на мультирегиональном сайте похожий контент на одном языке открывается по разным адресам, Google советует выбрать основную версию и использовать rel="canonical" и hreflang вместе. «Яндекс» тоже поддерживает разметку hreflang и x-default.
Микроразметку Schema на крупном сайте задают по типам страниц: отдельно для карточки, статьи и листинга. Корректность проверяют в Rich Results Test («Проверка расширенных результатов»), а после запуска смотрят отчеты Rich result status в Search Console, потому что разметка может сломаться из-за шаблонов.

Core Web Vitals, HTTPS и мобильная версия
Core Web Vitals — набор метрик пользовательского опыта: LCP (Largest Contentful Paint, загрузка основного контента, ориентир в пределах 2,5 с), INP (Interaction to Next Paint, отзывчивость, менее 200 мс) и CLS (Cumulative Layout Shift, визуальная стабильность, менее 0,1). Google настоятельно рекомендует хорошие показатели: они согласуются с тем, что стремятся вознаграждать основные системы ранжирования, но порога для попадания в топ документация не называет. Метрики оцениваются отдельно на мобильных устройствах и на компьютерах. На крупном сайте их оценивают по группам шаблонов, а отчет Core Web Vitals есть в Search Console. Способы ускорения описаны в материале про скорость загрузки сайта.
Безопасная выдача страниц входит в вопросы Google о page experience, то есть об удобстве страницы для посетителя, а в Search Console есть отчет по HTTPS. На крупном сайте проверяют смешанный контент, когда на странице с HTTPS подгружаются ресурсы по HTTP, и редиректы со старых http-адресов.
Google индексирует мобильную версию страниц, поэтому проверяют паритет. Мобильная версия сайта должна быть эквивалентна десктопной: контент, robots meta tags и заголовки одинаковые, а код ответа один и тот же. Намеренное сокращение контента на мобильной версии может привести к потере трафика.
Стандарты ниши, YMYL и E-E-A-T
Стандарты ниши проще всего понять по главным конкурентам из топа выдачи: изучите, какие разделы, форматы и признаки доверия есть на их сайтах. Для тематик YMYL требования выше. YMYL расшифровывается как Your Money or Your Life, «ваши деньги или ваша жизнь»: так Google называет темы, которые могут существенно повлиять на здоровье, финансовую стабильность или безопасность людей либо на благополучие общества, например здравоохранение, финансы и юриспруденция. По таким темам системы Google придают больший вес контенту с сильным E-E-A-T.
E-E-A-T расшифровывается как experience, expertise, authoritativeness, trustworthiness: опыт, экспертиза, авторитетность, доверие. Google не называет его измеримым показателем или отдельным фактором ранжирования, а главным из четырех аспектов считает доверие. Поэтому в аудите ищут признаки на самом сайте: информацию о сайте (контакты и реквизиты компании, понятное описание бизнеса и услуг) и информацию о странице (подписанные авторы с описанием квалификации, ссылки на качественные источники).
Репутацию бренда проверяют по выдаче на брендовые запросы: посмотрите, какие сайты показываются по названию компании и что на них написано. Если рядом с вашим сайтом стоят сторонние ресурсы с негативными отзывами или устаревшими данными, это повод поработать с упоминаниями бренда и ссылочным профилем.
Приоритизация находок и чек-лист работ
Находки аудита крупного сайта приоритизируют по числу затронутых страниц и ценности группы, то есть по ее роли для позиций сайта в поиске: сначала правят шаблоны страниц, от которых зависят высокие позиции по важным запросам. Исправление шаблона закрывает проблему сразу на тысячах адресов. Чек-лист работ в таком случае выстраивается по тому, насколько ошибка мешает сканированию и индексации. Базовый порядок выглядит так:
- Ошибки, из-за которых страницы не сканируются и не индексируются: коды ответа, robots.txt, sitemap.
- Дубли, фильтры и параметры, расходующие сканирование.
- Шаблоны мета и контента для самых крупных групп.
- Внутренние ссылки и сироты.
- Ссылочный профиль, скорость, стандарты ниши.
Похожий порядок применили в кейсе REG.RU: на сайте было много направлений услуг, поэтому проект начали с технического аудита. По его итогам от индексации закрыли более 75 000 страниц технических дублей и «мусорных страниц», а затем оптимизировали сегменты сайта с учетом приоритетов. Кейс показывает порядок действий на большом сайте, рост трафика и заявок в проекте дал весь комплекс работ.
Результат аудита оформляют как план работ: для каждой задачи указывают шаблон, число затронутых страниц и способ проверки. Для комплексного аудита сайта на тысячи страниц понадобятся краулер, Google Search Console, «Яндекс Вебмастер» и логи сервера, а прочитать и сопоставить данные по шаблонам сможет SEO-специалист. После исправлений полезно сделать повторную выгрузку по тем же группам страниц и сравнить ее с первой. Такой план становится основой для стратегии SEO и помогает продвигать сайт по группам страниц, а не по отдельным адресам.
FAQ по SEO-аудиту крупного сайта
Как часто проводить SEO-аудит крупного сайта?
Единой периодичности нет, она зависит от того, как часто на сайте меняются шаблоны и разделы. На практике полный аудит привязывают к событиям: крупным релизам, смене шаблонов и миграции сайта. Легкие проверки имеет смысл вести постоянно, и обратить внимание в них стоит на отчеты об индексации и статистику сканирования.
Можно ли провести аудит самостоятельно или нужен SEO-специалист?
Самостоятельно можно проверить сайт по базовым пунктам: коды ответа, мета, sitemap, отчеты Search Console и «Вебмастера». Для крупного сайта нужен еще доступ к логам и к данным по группам страниц, а выводы по шаблонам требуют опыта чтения отчетов. Если доступа или опыта нет, помощь SEO-специалиста стоит привлечь: он прочитает данные по шаблонам и поставит задачи разработчикам.
Как проверять сайт с поддоменами или региональными версиями?
Для краулинговой инфраструктуры Google сайт — это уникальное имя хоста: www.example.com и code.example.com считаются отдельными сайтами с отдельными краулинговыми бюджетами. Поэтому каждый поддомен проверяют отдельно: свой sitemap, свои группы шаблонов и свои данные о сканировании. Для языковых и региональных версий дополнительно проверяют hreflang.
Коротко о главном
- Аудит крупного сайта строится по группам страниц одного шаблона.
- Сначала проверяют сканирование и индексацию, затем дубли, шаблоны контента и ссылки.
- Краулинговый бюджет читают по статистике сканирования, «Вебмастеру» и логам сервера.
- Число страниц на сайте, в sitemap и в индексе сравнивают по каждой группе шаблонов.
- Дубли от фильтров, параметров и каннибализации устраняют через robots.txt, canonical и объединение страниц.
- Находки приоритизируют по числу затронутых страниц и оформляют как задачи для разработчиков.


Комментарии (4)
Оставить комментарий