Indexing API от Гугл

[sanek1991]

Сообщение от XPraptor

Сам факт доступа бота ты проверь просто в логе access на сервере.

Почему?
В индекс не попадет, а обращение бота зафиксирует.

Доступа к логам на сервере у меня нет.

[sanek1991]

Всё, пришел бот. Через час после отправки.
Аж три раза.

Fri, 11 Dec 2020 11:23:03
Fri, 11 Dec 2020 11:23:35
Fri, 11 Dec 2020 11:24:16

Вроде работает.
Нужно было ещё user-agent и IP адрес зафиксировать.

Делаю список что-бы пачками из текстовика отправлял.

[XPraptor]

Сообщение от sanek1991

Нужно было ещё user-agent и IP адрес зафиксировать.

Гугл в отличии от бинга не прячется.
Если он пишет в UA что он googlebot, то и в ptr записи домена по IP будет обязательно google.
А тот бот, который хитрых ловит, он не представляется ботом и в домене у него не будет google.

[sanek1991]

PHP практически не знаю, поэтому не получилось сделать скрипт для отправки списка url-ов.
Хотел сделать как написано в интернете, через библиотеку на Питоне, но на сервере его нет.
В общем что-то пошло не так.

Отправлял через маленький скрипт как в примере на Гугл, он работает, но всего с одним URL.
Робот обходит этот url сразу после его отправки. В общем работает.
Как его переделать на список? Кто-нибудь сделает?
Что-бы отправлял из списка в текстовом формате.

PHP код:

<?php
require_once 'vendor/autoload.php';
$client = new Google_Client();

// service_account_file.json is the private key that you created for your service account.
$client->setAuthConfig('service_account.json');
$client->addScope('https://www.googleapis.com/auth/indexing');

// Get a Guzzle HTTP Client
$httpClient = $client->authorize();
$endpoint = 'https://indexing.googleapis.com/v3/urlNotifications:publish';

// Define contents here. The structure of the content is described in the next step.
$content = '{
  "url": "
https://site.ru/url
",
  "type": "URL_UPDATED"
}';

$response = $httpClient->post($endpoint, [ 'body' => $content ]);
$status_code = $response->getStatusCode();

echo "$status_code";

?>

[XPraptor]

sanek1991, https://developers.google.com/search...sing-api?hl=ru
Там в самом конце указано как массово отправлять и пример POST есть.
Та урл другой куда надо слать и пост запрос идет пакетный с разделителем, прямо кусок бери оттуда и дописывай куски со следующими циферками и урлами.

[sanek1991]

Да читал я там, но вот не получается сделать скрипт для отправки пакетных запросов.
У меня новые урлы сайта сохраняются в файле url.txt, я его хотел что-бы текущий скрипт его обрабатывал.
А сам скрипт отправки прикрутить в cron что-бы раз в сутки их отправлял.
Ну и может какие-то другие url закидывать в файл и жамкать кнопку.

[sanek1991]

В общем, после некоторых попыток удалось сделать работающий скрипт отправки списком.
Проверил, работает, может кому будет нужно

PHP код:

<?php
require_once 'vendor/autoload.php';
$client = new Google_Client();
$client->setAuthConfig('service_account.json');
$client->addScope('https://www.googleapis.com/auth/indexing');
$httpClient = $client->authorize();


$client->setUseBatch(true);
$batch = new Google_Http_Batch($client,false,'https://indexing.googleapis.com');
$arr_url = array(
    "https://site.ru/url1",
    "https://site.ru/url2",
);
foreach ($arr_url as $url) {
    $postBody = new Google_Service_Indexing_UrlNotification();
    $postBody->setType('URL_UPDATED');
    $postBody->setUrl($url);
    $service = new Google_Service_Indexing($client);
    $request = $service->urlNotifications->publish($postBody);
    $batch->add($request);
}
$results = $batch->execute();

echo "<pre>";
print_r($results);
echo "</pre>";

?>

Осталось сделать что-бы массив урлов брал из текстовика

[sanek1991]

Забыл спросить - если массив просто брать так, никаких подводных камней нет?

PHP код:

$arr_url = file("urls.txt"); 


URL-ы в каждой строке по одному.
Так всё работает, но PHP практически не знаю, возможно нужно по другому.

[ziliboba0213]

Сообщение от sanek1991

Забыл спросить - если массив просто брать так, никаких подводных камней нет?

PHP код:

$arr_url = file("urls.txt"); 


URL-ы в каждой строке по одному.
Так всё работает, но PHP практически не знаю, возможно нужно по другому.

Да вроде верно... Ну такой собирает:

PHP код:

$arr_url = array(
    "https://site.ru/url1",
    "https://site.ru/url2",
); 


[XPraptor]

sanek1991, Да, функция потокбезопасна (не вылетит из-за нехватки памяти) и сразу в массив читает файл.
Единственное, FILE_IGNORE_NEW_LINES флаг укажи, иначе в конце каждого урла будет символ конца строки.