Введение

В настоящее время через Google Search Console можно отправлять на индексацию (переобход) только по 1 странице и до 10 в сутки, что ничтожно мало по сравнению с тем, сколько нужно SEO-специалисту проиндексировать urls для различных проектов.

У Яндекса есть инструмент “Переобход страниц”, с помощью которго можно отпралять на индексацию сразу много страниц (кол-во зависит от размера вашего сайта). У Гугл прямого аналога нет.

Но если я скажу, что в Google тоже можно отправлять на переобход до 200 страниц в день. Звучит заманчиво, правда? В этом нам поможет Indexing API Google. Данный скрипт позволяет отправлять на переиндексацию до 200 страниц в день.

Есть несколько способов использования Indexing API Google:

  • с помощью плагинов для различных CMS
  • с помощью скрипта для ПК

В статье мы рассмотрим именно скрипт для ПК, так это универсальный способ для любого сайта. Итак, что же нам потребуется для использования:

  1. Создать проект и сервисный аккаунт в Google Cloud Platform
  2. Связать сервисный аккаунт и Google Search Console. Подключить Indexing API
  3. Настроить скрипт для работы с Goolge Indexing API
  4. Запуск и пример использования скрипта для отправки страниц в индекс Google

Не переживайте, вся настройка выполняется один раз, а потом вам нужно всего лишь редактировать файл «urls» со ссылками и запускать скрипт.

Создание проекта и сервисного аккаунта в Google Cloud Platform

Начнём с настройки доступа в консоли Indexing API. Итак, сперва нам необходимо создать новый проект в Google Cloud Platform.

Создание нового проекта в Google Cloud Platform
Создание нового проекта в Google Cloud Platform

В появившемся окне заполняем «Project name», название может быть совершенно любым, например, название вашего сайта. Графу «Location» можно не заполнять. Нажимаем «Create».

Заполнение данных по новому проекту в Google Cloud Platform

После этого нам надо перейти в раздел «Service Accounts». Он находится во вкладке «IAM & Admin».

Service Account в Google Cloud Platform

В этом окне мы создадим сервисный аккаунт. Нажимаем «Create Service Account»

Создание нового сервисного аккаунта в Google Cloud Platform

Итак, в первом шаге нам надо в первой строке ввести название проекта «Service account name». Данные в следующих строках заполнятся автоматически: «Service account ID» и «Email address:».

Заполнение данных для нового сервисного аккаунта в Google Cloud Platform

После создания, на втором шаге мы выберем роль. В нашем случае «Владелец» или «Owner».

Заполнение данных для нового сервисного аккаунта в Google Cloud Platform

На последнем шаге можно ничего не заполнять и просто нажать «Done».

Заполнение данных для нового сервисного аккаунта в Google Cloud Platform

И теперь в появившемся окне нам надо создать ключ. Для этого в столбце «Actions» нажимаем на три точки и выбираем «Manage keys».

Создание JSON-ключа в Google Cloud Platform

Здесь выбираем «Add Key», а после «Create new key».

Создание JSON-ключа в Google Cloud Platform

Осталось выбрать тип ключа. В нашем случае это JSON.

Создание JSON-ключа в Google Cloud Platform

Произойдет загрузка ключа на компьютер. Он выглядит подобным образом.

JSON-ключ созданный в Google Cloud Platform

Заметка: Для одного проекта может быть много сервисных аккаунтов, для каждого вашего сайта. Но ограничение в 200 urls стоит именно на проект. То есть не получится для каждого сайта с привязанным сервисным аккаунтом индексировать по 200 urls в день, так как это ограничение суммарное на 1 проект. Чтобы обойти это ограничение, можно создавать новые проекты.

Связь сервисного аккаунта и Google search console. Подключение Indexing API.

На этом этапе мы свяжем наш сервисный аккаунт и Google Search Console. А также подключим Indexing API.

Для начала заходим в Google Search Console и выбираем нужный сайт. В меню кликаем «Настройки», после этого заходим в «Пользователи и разрешения».

Настойка пользователей и разрешений в Google Search Console
Добавление нового пользователя в Google Search Console

Здесь мы добавляем нового пользователя.

Настойка пользователей и разрешений в Google Search Console

В появившемся окне вводим email из сервисного аккаунта в Google Cloud Platform.

Где брать email для пользователя GSC

А в разрешении выбираем «Полный доступ». После этого нажимаем «Добавить».

Добавление нового пользователя в Google Search Console

Далее просто нажимаем на стрелочку и меняем права с полного доступа на «Владелец».

Изменение прав доступа в Google Search Console

После выполненных действий нам необходимо включить Index API. Для этого переходим по ссылке и включаем API: https://console.developers.google.com/apis/api/indexing.googleapis.com/overview?pli=1

Выбираем нужный аккаунт (если у вас их несколько) и нажимаем «Включить» или «Enable».

Включение Indexing API

Итак, все готово к использованию скрипта.

Настройка скрипта для работы с Goolge Indexing API (на примере Windows)

Теперь нам надо скачать скрипт для ПК, с помощью которого мы будем взаимодействовать с Google indexing API. Скрипт можно скачать тут: https://github.com/swalker-888/google-indexing-api-bulk.
Чтобы скачать этот скрипт, после перехода по ссылке нажимайте «Code» и во всплывающем окне выбирайте «Download ZIP».

Скачивание скрипта Google indexing API

Папку из архива необходимо извлечь. Выбираете удобный для вас путь, где будет хранить папка и нажимаете извлечь.

Извлечение данных из архива

После этого в этой папке находим файл «service_account.json».
Совет: Файлы типа json можно открыть через стандартный блокнот или через Notepad++.

Файл Service_account для JSON-ключа

Итак, содержимое данного файла надо заменить на то, что было в нашем JSON-ключе.

До:

Файл Service_account для JSON-ключа

После:

Файл Service_account для JSON-ключа

Сохраняем файл и всё, мы связали наш скрипт с сервисным аккаунтом, который в свою очередь связан с нашим сайтом через Google Search Console.

Для работы скрипта нам надо скачать и установить node.js. Поэтому переходим по ссылке https://nodejs.org/en/download/, скачиваем версию для вашей операционной системы и устанавливаем ее.

Запуск и использование скрипта для отправки страниц в индекс Google (переобход страниц Google)

Теперь разберемся как все-таки использовать скрипт, который мы подготовили.

В папке, которую мы скачивали хранится текстовый документ «urls». В этот текстовый документ надо внести ссылки до 200 штук, которые вы хотите проиндексировать, после этого его сохраняем.

Файл для добавления ссылок на индексацию

После этого запускаем командную строку. Ее можно легко найти в меню «Пуск».

Командная строка в меню "Пуск"

В командной строке нам сперва надо перейти в нашу папку «google-indexing-api-bulk-master». В моем случае у нее следующий путь: Desktop – папка «Work» – папка «google-indexing-api-bulk-master». Так в командной строке и ищем.

Подсказка: для того, чтобы перейти в другую папку используйте команду cd.

Загрузка файлов библиотеки

Теперь, когда мы зашли в нашу папку, нам надо загрузить туда файлы библиотеки. Делается это следующими командами:

  • npm install requests
  • npm audit fix
  • npm audit fix –force

Всё, что нам осталось сделать – это запустить команду node index.js.

Команда node index.js

Если вы всё сделали правильно: у вас настроен node.js и установлена библиотека, принимающая такие запросы, то вы увидите примерно следующее:

Результат работы команды node index.js

Если у вас выдает что-то другое, то вам надо перепроверить всё, что вы делали ранее и найти момент, на котором была совершена ошибка.

Собственно, на этом всё. Мы завершили все этапы нашей работы. Впоследствии вам уже не надо проделывать все эти этапы, а просто сделать следующие шаги для проекта:

  • Изменить файл «urls». Заменить ссылки на новые, в списке должны быть urls, которые вы хотите отправить на переиндексацию.
  • В командной строке открыть папку «google-indexing-api-bulk-master» и запустить команду node index.js. У меня для этого сохранены готовые команды в текстовом файле
    • cd desktop
    • cd work
    • cd google-indexing-api-bulk-master
    • node index.js

Если вы захотите отправить на переобход страницы другого сайта, надо будет также обновить и ключ JSON.

Заключение

Вот мы и научились отправлять на переиндексацию в Google по 200 urls в день. Вместо скрипта, который мы рассмотрели в статье, можно использовать плагины для различных CMS.

К примеру:

Спасибо за прочтение статьи. Если у вас остались какие-то вопросы, то с удовольствием отвечу на них в комментариях.

А за небольшую плату мы можем помочь настроить скрипт для вашего сайта под ключ (удаленно через Team Viewer). Пишите нам на почту agencyagvento@gmail.com или в телеграм.

5 1 голос
Рейтинг статьи
Подписаться
Уведомить о
guest

7 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Игорь
Игорь
6 месяцев назад

Здравствуйте, а как быстро происходит индексация данным способом? или тут уже робот решает что и когда индексировать?

Влад
Влад
1 месяц назад
Ответить на  Игорь

меня тоже это интересует

Евгений Агнищенко
Администратор
20 дней назад
Ответить на  Влад

Сканирование происходит прямо в момент работы скрипта ну или с небольшой задержкой. Но это не гарантирует индексацию, страница может находится в статусе “Страница просканирована, но пока не проиндексирована” в Google Search Console – но это уже говорит о том что ваша страница некачественная и гугл не хочет ее добалять в индекс

Последний раз редактировалось 20 дней назад Евгений Агнищенко ем
Денис
Денис
4 месяцев назад

А что делать, если на сайте 20000 страниц? Отправлять по 200 страниц в день 100 дней подряд?

Есть скрипт, который делает всё сам, автоматически. Добавляем ссылки и всё – они все сами будут отправлены. И там же обход ограничений в 200 урлов в сутки. Просто заводим новый аккаунт Гугл и создаём ещё один ключ.

Да, скрипт для движка InstantCMS. Ну и что? Модно поставить на поддомен или в отдельную папку.

Вот страница скрипта: https://addons.instantcms.ru/addons/googleindexing.html

Евгений Агнищенко
Администратор
20 дней назад
Ответить на  Денис

Можно и так, и в целом для разных CMS есть готовые плагины, скрипты и так далее, в статье описан универсальный способ

Gogo
Gogo
4 месяцев назад

Добрый день, подскажите плз, Все сделал как Вы говорили, Все правильно.Когда добавляю одну ссылку – то все ок, Но когда добавляю больше одной ссылки – то по результатам видно КОд 200 и в концах ссылок добавленно букву R (кроме последней ссылки), тоесть например https://www.XXX.com/comment.do/r. Это нормальное явление? Но код 200 на все результатах

Евгений Агнищенко
Администратор
20 дней назад
Ответить на  Gogo

Сложно сказать, результат должен быть как последнем скиншоте выше, а url точно таким как нужно, иначе вы отправляете в индекс страницы с этой буквой R на конце..

7
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x