Как настроить Google Indexing API в 2024 году: полный гайд

Google Indexing API — это программный интерфейс Google. Он позволяет вебмастерам уведомлять поисковую систему о добавлении, удалении или изменении определенных элементов сайта, страниц или фрагментов контента. Добавление URL указанным образом должно стать сигналом, побуждающим «Гугл» просмотреть страницу и быстро проиндексировать новые элементы — и это может привести к увеличению посещаемости сайта и улучшению позиций в результатах поиска.

Зачем нужен Google Indexing API

Этот инструмент позволяет вебмастеру получить доступ к данным, хранящимся в индексах поисковой системы «Гугл» и условно манипулировать ими. Другими словами, вы помогаете ПС увидеть новый контент, указывая на страницы с обновленным контентом или вообще на абсолютно новые страницы.

Google рекомендует использовать Indexing API только для страниц с данными типа JobPosting или BroadcastEvent, если они встроены внутрь VideoObject. Индексация этим способом пока что работает и для страниц с любыми другими структурированными данными, но действуйте с осторожностью.

Если вы хотите добиться индексации обновленного или нового контента в «Гугл», можно воспользоваться несколькими методами:

  1. Публиковать новый / обновленный контент и просто ждать, пока он войдет в индекс.
  2. Использовать Google Indexing API. Этот программный интерфейс позволяет отправлять контент для индексации напрямую в Google.

Вот некоторые сценарии, которые можно решить с помощью вышеуказанного инструмента:

  • Отправка нескольких запросов в одном HTTP-запросе. Пакетные запросы позволяют понизить суммарное число HTTP-соединений и таким образом снизить нагрузку.
  • Обновление URL. Вы можете показать краулеру, что контент на определенной странице был обновлен либо просто указать на новую страницу, которая появилась недавно.
  • Получение даты уведомления для определенного URL. Увидеть статус запроса можно для любой страницы на сайте.
  • Удаление страницы из индекса. Если URL больше не связан ни с одной страницей на сайте, можно сообщить краулерам, что в сканировании такого URL нет необходимости.

Что нужно, чтобы настроить Google Indexing API

Вам понадобится ключ API, который можно получить в Cloud Platform Console. Google Cloud Platform позволяет создавать, развертывать и масштабировать приложения, веб-сайты и сервисы на той же инфраструктуре, что и Google. После этого вы можете использовать его для подписания запросов к API индексирования.

Также обязательно:

  • Активировать Google Indexing API.
  • Сформировать новый сервисный аккаунт.
  • Верифицировать права на домен в Google Search Console и сразу получить токен.

Далее мы в деталях расскажем, как это сделать.

Подробная инструкция по настройке Google Indexing API

Рассмотрим каждый этап настройки API подробно.

1. Предварительные условия

Это подготовительные шаги, которые предоставят вам все нужные доступы. Вам необходимо выполнить их, прежде чем двигаться дальше.

Создайте проект

Перейдите на Google Cloud Platform. В зависимости от того, работали ли вы с платформой ранее или нет, вам нужно нажать на кнопку выбора проекта:

Нажмите на название проекта, чтобы выбрать другой проект
Нажмите на название проекта, чтобы выбрать другой проект

Теперь нажимаем кнопку New Project и заполняем имя проекта, указываем расположение (внутри родительской организации или внутри папки):

Нажмите NEW PROJECT, чтобы создать новый проект
Нажмите NEW PROJECT, чтобы создать новый проект

Откроется новое окно, где нужно указать имя проекта и расположение.

Заполняем имя проекта и отношение внутри родителя
Заполняем имя проекта и отношение внутри родителя

ID — это глобально уникальный идентификатор вашего проекта. Вы не можете изменить его проекта после его создания.

Цель этого шага — сообщить «Гугл» о вашем клиенте.

Обычно ID проекта имеет следующий вид: grounded-cider-382904.

Создание сервисного аккаунта

Снова в главном меню (левая сторона страницы, раздел IAM и администрирование) выберите «Сервисные аккаунты» (Service accounts).

Дальше нужно сделать следующее.

  1. Нажмите на кнопку «+ Create Service Account» («Создать учетную запись службы»):
  2. Создаем новую учетную запись
    Создаем новую учетную запись
  3. Введите имя и описание для вашей учетной записи. Вы можете выбрать идентификатор по умолчанию, присвоенный системой, или создать новый. Затем нажмите кнопку «CREATE AND CONTINUE» («Создать или продолжить»).
  4. Указываем главные параметры сервисного аккаунта
    Указываем главные параметры сервисного аккаунта
  5. Мастер предложит предоставить этой учетной записи (сервисный аккаунт) доступ к проекту (необязательно).
  6. Опционально можно предоставить доступ к указанному аккаунту
    Опционально можно предоставить доступ к указанному аккаунту

    Здесь вы можете выбрать следующее:

    • Select a role. Вы можете выбрать роль по продукту или сервису (действия или доступ получен), либо по быстрому доступу (используется в настоящий момент или базовая)
    • IAM condition (optional). Выберите предоставление доступа принципалам только при выполнении указанных условий. В качестве принципала может выступать учетная запись Google (для конечных пользователей), учетная запись службы (для приложений и вычислительных рабочих нагрузок), группа Google, учетная запись Google Workspace или домен Cloud Identity, которые могут получить доступ к ресурсу. У каждого принципала есть свой идентификатор, который обычно представляет собой адрес электронной почты.

    Вы можете также пропустить этот шаг, нажав кнопку «CONTINUE» (Продолжить).

  7. Далее мастер поможет настроить предоставление пользовательского доступа к этому сервисному аккаунту (необязательно). Вы можете предоставить доступ конкретным пользователям или группам, которым необходимо выполнять действия от имени сервисного аккаунта.
  8. Можно предоставить доступ к сервисному аккаунту со стороны конкретных пользователей или групп пользователей
    Можно предоставить доступ к сервисному аккаунту со стороны конкретных пользователей или групп пользователей

    Здесь две строки: Service account users role и Service account admins role. В обоих случаях можно указать один или несколько параметров:

    При необходимости добавляем доступы для пользователей по нужным параметрам. Нажимаем кнопку «DONE».

  9. Когда вы автоматически вернетесь на первую страницу раздела Service Accounts, нужно нажать на символ «⋮» и выбрать пункт Manage keys.
  10. Открываем настройки управления ключами
    Открываем настройки управления ключами
  11. Добавьте новую пару ключей или загрузите сертификат открытого ключа из существующей пары ключей. Мы создаем пару с нуля, поэтому нажимаем «ADD KEY» и сразу выбираем «Create New Key».
  12. Создаем новый ключ
    Создаем новый ключ

    Блокируйте создание ключей для сервисных аккаунтов с помощью политик организации. Подробнее о, их настройке написано здесь.

    Ключи учетных записей могут представлять угрозу безопасности в случае компрометации. Рекомендуем избегать загрузки ключей сервисных аккаунтов и вместо этого использовать документ Workload Identity Federation.

    В этом документе представлен обзор федерации идентификаторов для внешних рабочих нагрузок. С помощью федерации идентификаторов можно предоставлять локальным или мультиоблачным рабочим нагрузкам доступ к ресурсам Google Cloud без использования ключа учетной записи службы. Подробнее о лучшем способе аутентификации учетных записей можно узнать здесь.

  13. На следующем экране нужно выбрать тип ключа. Доступно два варианта:
  1. JSON. Рекомендуемый.
  2. P12. Для обратной совместимости с кодом, использующим формат P12.
Выбираем тип ключа
Выбираем тип ключа

Нажимаем кнопку CREATE. Файл, содержащий закрытый ключ, будет автоматически скачан.

Ключ успешно загружен
Ключ успешно загружен

Настройка ключей завершена. Теперь нужно будет доработать скрипт.

Храните файл в надежном месте, так как этот ключ невозможно восстановить в случае утери.

2. Настраиваем скрипт

Это скрипт стороннего разработчика, который позволяет делать массовую отправку URL-адресов в Google Indexing API с помощью пакетного batch-запроса. Он поможет индексировать страницы вашего сайта в массовом порядке, без необходимости вручную запрашивать каждый URL для отправки в интерфейсе Search Console.

Предварительная настройка заключается в следующем:

  1. Прежде всего вам необходимо настроить доступ к API индексирования в Google Cloud Platform — следуйте приведенным инструкциям.
  2. Получив доступ к Indexing API, вы сможете загрузить JSON-файл пары публичного / закрытого ключа, который содержит все ваши учетные данные и должен быть сохранен под именем service_account.json.
  3. Добавьте URL-адреса в файл urls.txt, которые должны быть проиндексированы.
  4. Проверьте права доступа на домен в Search Console, чтобы отправить URL-адреса для индексации. На этом шаге нужно будет подтвердить права на домен в GSC, если они еще не были подтверждены. Чтобы подтвердить право собственности на домен, вам нужно добавить адрес электронной почты вашего сервисного аккаунта (см. service_account.json — client_email) и добавить его в качестве владельца («делегированного») в Search Console.
  5. Перейдите в GWC (Центр веб-мастеров) или настройте токен подтверждения непосредственно в Google Search Console.
  6. Нажмите на необходимый ресурс (подтвержденный).
  7. Прокрутите страницу вниз и нажмите «Добавить владельца».
  8. Добавьте адрес электронной почты вашего сервисного аккаунта в качестве владельца.

Теперь в деталях рассмотрим настройку скрипта.

Первым делом загрузите нужный нам скрипт с GitHub и сохраните его на жесткий диск. Не волнуйтесь: навыки работы с GitHub не нужны. Просто нажмите на зеленую кнопку «Code» и выберите пункт «Download ZIP»:

Скачайте папку с необходимым нам скриптом
Скачайте папку с необходимым нам скриптом

Открываем скачанную папку и находим среди всех файлов service_account.json:

Нашли необходимый файл
Нашли необходимый файл

Наша цель — поменять содержимое этого файла на то, которое находится в загруженном ключе. Другими словами, скачайте JSON-файл закрытого ключа с сайта Google Cloud и сохраните его содержимое в файл service_account.json.

Здесь нет ничего сложного: читаем первую строчку и поставляем одноименное значение из JSON-ключа — project_id, private_key_id, client_email, client_id и так далее.

Пример значений, которые нужно заменить
Пример значений, которые нужно заменить

3. Связываем скрипт с GSC

Скрипт не будет функционировать, как надо, пока мы не добавим его в GSC. Вот что нужно сделать:

  1. Открываем настройки Google Search Console. В подразделе «Пользователи и разрешения» нужно прописать client_email из файла, который мы скачали на компьютер.
  2. Вы должны указать права как «Владелец». Напоминаем, что указать права пользователя можно в разделе «Управление владельцами ресурса». Чтобы попасть в него, нужно открыть настройки GSC…
Нажмите здесь, чтобы отредактировать владельца ресурса
Нажмите здесь, чтобы отредактировать владельца ресурса

…и войти в раздел «Пользователи и разрешения». Назначить владельца ресурса можно через настройки панели Google Search Console.

Здесь можно добавить нового пользователя или изменить права для уже добавленных
Здесь можно добавить нового пользователя или изменить права для уже добавленных

Теперь можно активировать Indexing API. Открываем сайт Google Cloud Platform, в списке находим сервисный аккаунт и нажимаем кнопку ENABLE:

Нажмите здесь, чтобы активировать программный интерфейс приложения
Нажмите здесь, чтобы активировать программный интерфейс приложения

4. Инсталлируем нужные библиотеки

Теперь нужно скачать и настроить node.js. Вот что нужно сделать:

  1. Предварительно загружаем платформу Node на сайте.
  2. Находим нужный вариант и устанавливаем библиотеку.
  3. По завершении установки открываем папку, находим PowerShell и запускаем его.
  4. В терминале нужно указать три команды:
    • npm install requests;
    • npm audit fix;
    • npm audit fix --force.
  5. Если все эти команды были выполнены успешно, в этой же папке вы обнаружите папку node_modules:
Появилась новая папка
Появилась новая папка

Наличие этой библиотеки говорит, что библиотека была инсталлирована корректно, и теперь можно запускать скрипт.

5. Запускаем скрипт

  1. Открываем папку, которую мы загружали с «ГитХаб».
  2. Находим в ней файл с именем urls.txt.
  3. Открываем его и прописываем URL’ы страниц, которые нуждаются в переобходе.
  4. Зажимаем клавишу Shift и делаем клик правой кнопкой — чтобы запустить терминал и отправить информацию о страницах переобхода. Все!

Таким образом мы успешно запустили терминал и оказываемся в соответствующей папке.

Внимание: за один раз в файле urls.txt можно указать не более сотни URL!

Теперь расскажем про навигацию по папке.

Пропишите команду [ls], чтобы увидеть текущее положение. Перемещаться между папками не сложнее: допустим, необходимо открыть папку с названием Downloads. Для этого укажите команду таким образом:

cd Downloads

Так мы можем попасть в любую нужную нам папку. После этого прописываем:

node index.js

*

Это может быть не только Index.js, но и какой-то другой файл.

Если все было настроено корректно, будет отдан код сервера 200.

Получен необходимый ответ сервера
Получен необходимый ответ сервера

Если понадобится добавить новые адреса, не нужно будет настраивать все с самого начала: просто пропишите новые URL в файле urls.txt.

Частые вопросы по Google Indexing API и их решение

  1. Нужно ли скачивать ключ? Да, если он управляется пользователем, но вы также можете выбрать ключи, управляемые Google Cloud.
  2. Сколько времени занимает индексирование? Задержка обычно зависит от количества страниц: Для сайтов с количеством страниц менее 500: 3-4 недели. Для сайтов с количеством страниц от 500 до 25 000: 2-3 месяца. Для сайтов с более чем 25 000 страниц: от 4 до 12 месяцев.
  3. Почему у меня код 403 вместо нужного 200 ОК? Вы не дали сервисному аккаунту права владельца (см. настройку Google Search Console).
  4. Могу ли я одновременно использовать несколько вызовов API? Да, вы можете сгруппировать вызовы API в один HTTP-запрос. Самое большое преимущество этого метода заключается в уменьшении нагрузки. За дополнительной информацией вы можете обратиться к страницам библиотек Google API Client Libraries по конкретным языкам (Java, JavaScript, PHP).
  5. Что означает ошибка с кодом 429 «Слишком много запросов» (too many requests)? Ошибка свидетельствует о превышении допустимой квоты при добавлении адресов.

Коротко о главном

  • Google Indexing API позволяет отправлять обновленные страницы вашего сайта на переобход, чтобы краулер быстрее обратил на них внимание.
  • Инструмент незаменим, если вы часто вносите изменения в контент существующих страниц сайта.
  • Новые страницы, при отправке их URL через API, могут быстрее попасть в индекс.
  • Если контент качественный, то все изменения, которые вы вносите, будут обновляться в индексе гораздо быстрее.

Оценить статью
4 ответов

Комментарии 2

Павел Морозов Павел Морозов
Ответить
Konstantin Devyatov
Написать комментарий
Очень полезно, спасибо за подробный обзор! Все сделал как вы написали на Линукс Минт 21.1 , только Node инсталлировал через терминал. Все работает! +5!
Ответить
Написать комментарий
Популярные статьи автора
Узнайте стоимость продвижения сейчас
Выберите удобный способ связи:
Выберите удобный способ связи:
Введите Ваш номер телефона:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Введите Ваш Email:
Введите адрес Вашего сайта:
Введите Ваше имя:
Нажимая кнопку «Получить предложение» вы соглашаетесь с Политикой конфиденциальности.
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Оперативно отвечаем в рабочее время: с 10:00 до 19:00
Вы уже проголосовали
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
я представляю компанию
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Цена лидов в различных нишах
Тематика Стоимость лида (Москва/Россия)
Отдых 500
Мебель 350
Оборудование 500
Бансковские услуги 500
Безопасность 500
Организация мероприятий, концерты, праздники 500
Недвижимость 500
Строительство и отделка 500
Грузоперевозки 500
Доставка еды 350
Юридические услуги 500
Бухгалтерские услуги 500
Пластиковые окна 500
Детские товары 350
Автозапчасти 350
Образование 500
Возьмем ТОП вместе?
Здравствуйте, меня зовут
,
У меня есть сайт
.
Со мной можно связаться по телефону
Со мной можно связаться по тел.
,
или по email
ник в телеграм
Спасибо!
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Оставить заявку сейчас
Ваше имя*
Введите адрес Вашего сайта:*
Введите Ваш номер телефона:*
Введите Ваш e-mail:*
Введите Ваш ник в телеграм:
Выберите интересующую услугу *
Нажимая кнопку «Оставить заявку» вы соглашаетесь с Политикой конфиденциальности.
Подпишитесь на рассылку
Не пропустите самое интересное из мира SEO и Digital. Только актуальные и самые крутые статьи.
Заявка успешно отправлена!
Наши сотрудники уже приступили к анализу Вашего сайта. Наш менеджер свяжется с вами в течение дня, спасибо!