Причины для удаления сайта или отдельной страницы из поиска могут быть разными. Но суть всегда одна — необходимо сделать так, чтобы конкретный документ нельзя было найти. В этой статье расскажем как и когда нужно удалять страницы из поисковых систем.
Зачем может потребоваться удалить сайт из поиска
Для начала стоит разобраться в каких ситуациях нужно заниматься удалением страницы из поисковой системы.
- Старый сайт. Если веб-ресурс не работает, можно убрать его из поиска. Вообще лучше всего настроить редирект со старого домена на новый, но в этой статье предположим, что вы просто хотите его удалить.
- Неактуальные страницы. К примеру, вы изменили публичную оферту, но старая может находиться в поиске. Чтобы не возникло проблем с потенциальными клиентами, лучше сделать старую версию недоступной.
- Дубли. Иногда возникают ситуации, когда появляются дубли страниц. Это также причина убрать их из поиска.
Важно! Если вы удалите сайт или страницу из поиска, они, возможно, будут доступны из веб-архива.
Таким образом, несмотря на полное удаление сайта или страницы из поиска ее теоретически можно будет найти другими способами. Также учитывайте, что для разных поисковых систем способы убрать ресурс из выдачи могут отличаться.
Важное дополнение! Удалить сайты конкурентов не получится.
Удаление страницы из «Яндекса»
Здесь есть несколько способов, они немного отличаются по техническим нюансам. Выбирать метод лучше с учетом возможности доступа к инструментам.
Через «Яндекс.Вебмастер»
В «Яндекс.Вебмастер» есть встроенный инструмент для удаления ссылок на отдельные страницы из поиска. В меню сервиса находим вкладку «Инструменты» и в выпадающем списке выбираем «Удаление страниц из поиска».
Открывается окно с полем для ввода удаляемых URL. Указываем в поле соответствующие страницы и жмем кнопку «Удалить». За сутки дается возможность удалить до 500 ссылок.
Еще есть вариант удаления «По префиксу». Переходим на соответствующую страницу, кликнув на кнопку «По префиксу». Здесь предлагается два способа удаления. Один через Robots.txt, его мы рассмотрим позже, другой вариант — добавление указания в поле. К примеру, нам нужно закрыть от индексации все страницы с личными данными пользователей. Они начинаются с префикса page? в URL. Указываем его в поле и кликаем «Удалить».
Работа через «Яндекс.Вебмастер» простой и надежный способ убрать определенные страницы из поисковой выдачи.
Удаление страницы (404)
Как работает такой способ. Тут инструкции не будет. Просто описание с опорой на справку «Яндекс».
Вы можете просто удалить страницу со своего сайта. В этом случае при попытке перехода по URL будет появляться ошибка 404.
Если поисковый краулер при очередном переобходе сайта посетит страницу с кодом 404, он ее удалит из поиска. Обычно пропадает документ с кодом 404 из выдачи в течение недели, после того как ее посетил робот. Чтобы он быстрее пришел на нужную страницу, отправьте ее на переобход, это значительно ускорит процесс удаления.
Через robots.txt
Выше уже упоминалось, что удалить отдельные страницы и целые каталоги можно через файл robots.txt. Давайте разберемся как это работает. Для запрета посещения поисковыми роботами определенных страниц, существует директива Disallow, подробнее про то, как она работает можете прочитать в нашей статье.
Здесь же мы рассмотрим как удалять с ее помощью страницы из поисковой выдачи. Допустим, нам нужно удалить каталог с персональными страничкам пользователей /password, а также отдельную страницу с префиксом /page/?156. Для этого прописываем в файле robots.txt строки, выделенные на скриншоте.
Обратите внимание, что директивы для удаления нужно вводить после указания: User-agent: Yandex. Так вы покажете, что эта директива должна выполняться поисковым роботом «Яндекса».
Через метатеги
Еще один вариант — указание на запрет индексации через метатеги. В этом случае прописывается метатег robots с параметром “noindex”. Такой способ подходит для одностраничных сайтов или сделанных на чистом html.
Вписываем в код страницы между тегами head, такую конструкцию.
<meta name="yandex" content="noindex">
Выглядит в коде она вот так.
Для Google удаление страницы из поиска происходит аналогично, только указываем name= “google”.
Удаление сайта из Google
Убрать сайт из поиска Google можно только одним способом — через запрос в Google Search Console. Для этого в кабинете находим ссылку «Удаление» и переходим по ней. После чего кликаем «Создать запрос».
Открывается всплывающее окно, где есть два варианта:
- Временное удаление страницы. Собственно это и есть удаление страницы. Но, для большей надежности рекомендуется удалить документ или использовать метатеги.
- Удаление кэшированной копии страницы. Здесь можно удалить оставшуюся в кэше копию.
Рассмотрим вариант с временным удалением страницы. Вставляем в поле URL. После чего выбираем «Удалить только этот URL». Если вы хотите удалить, например, категорию товаров из поиска, можно выбрать «Удалить все URL с этим префиксом». В этом случае будут удалены из выдачи все документы с таким префиксом. Теперь нажимаем кнопку «След.».
Показывается окно с предупреждением, что страница во всех вариантах будет удалена из поиска. Нажимаем «Отправить запрос».
Теперь на вкладке «Удаление» появилась новая строка. При необходимости вы можете отправить еще один запрос на удаление.
В целом для Google работает только этот способ и метатеги. Директивы в robots.txt эта поисковая система может не учитывать.
Полезные советы
Теперь дадим небольшой чек-лист, который поможет вам решить, что делать с ненужными страницами на сайте.
- Удаляйте страницы с устаревшей информацией. Все недействительные оферты, карточки отсутствующих товаров лучше удалить.
- Способ удаления зависит от поисковой системы. «Яндекс» и Google по-разному реагируют на инструменты запрещающие индексацию, учитывайте это.
- Дублируйте запреты. Лучше использовать несколько способов одновременно.
- Используйте инструменты «Вебмастер» и Search Console. Это позволит гарантировать удаление страницы из поиска.
Коротко о главном
- Удаляют обычно страницы с устаревшим контентом.
- Недостаточно поставить «заглушку», нужно сообщить об этом поисковым роботам.
- «Яндекс» поддерживает разные инструменты для удаления сайтов и страниц из поиска.
- Google поддерживает только запрет индексации через метатеги и удаление в Search Console.
.png)
.png)
.png)
Комментарии