Скрипт проверка наличия обратных ссылок

[Неуч]

Скриптец на питоне для проверки обратных ссылок на наличие и доступность к индексации. Пригодится после прогонов.

Как пользоваться:
Список url для проверки надо залить в файл urls.txt, каждый url с новой строки (обычный отчет от прогонщиков). Затем ввести свои данные в файл main.py (сразу вверху). (домен, таймаут, выбрать юзерагента). Далее запускаете main.py и ждете Настроено на 4 потока. При желании можно увеличить имея базовые знания.

Написано на коленке. За основу взят старый код, писался несколько лет назад, без особых знаний ))) Но работает. Решили дописать - скидывайте сюда, что получилось.

Используемые библиотеки:
csv (вроде стандартная)
datetime (стандартная)
asyncio
aiohttp
lxml
requests
protego

[burunduk]

Неуч, а через что идёт проверка через яндекс или гугл?

[Неуч]

Сообщение от burunduk

Неуч, а через что идёт проверка через яндекс или гугл?

Не совсем логику вы поняли. После прогона обычно предоставляют список ссылок. Так вот, скрипт идет по ссылке и проверяет - проставлена на этой странице ссылка на ваш сайт или нет. Если проставлена - доступна ли она для индексации (проверяет robots.txt, canonical, meta robots, попутно собирает анкоры и rel=follow).

[burunduk]

Сообщение от Неуч

Не совсем логику вы поняли.

не, я всё правильно понял, но проверять напрямую обращаясь на сайт - бесполезное занятие, для вас ссылка может быть, а для поисковика нет

[Неуч]

Сообщение от burunduk

не, я всё правильно понял, но проверять напрямую обращаясь на сайт - бесполезное занятие, для вас ссылка может быть, а для поисковика нет

Мало кто по ip проверяет, а обратным запросом к dns темболее) Поэтому можно выбрать юзерагента для проверки.

[burunduk]

Сообщение от Неуч

Мало кто по ip проверяет, а обратным запросом к dns темболее

из тех кто занимается размещением ссылок профессионально, нормальный процент

я даже на сапе таких встречал, для робота сапы ссылка есть, при переходе из сапы ссылка есть, для остальных ссылки нет

были варианты, когда добавляли ноиндекс, для поисковых роботов
а самое весёлое это загнать ссылку в комментарий и вытаскивать её оттуда средствами js

[Неуч]

Сообщение от burunduk

из тех кто занимается размещением ссылок профессионально, нормальный процент

Ну, редко встречался) разве что на pbn таким задуряться будут. В прогонах такие сайты практически не участвуют. Да и в ggl с миралинкос тоже. Проверять через вебмастера слишком не стабильно. У гугла лимиты, в яндекс падает стабильно. Поэтому только вот такой вариант

[Неуч]

Сообщение от burunduk

из тех кто занимается размещением ссылок профессионально, нормальный процент

я даже на сапе таких встречал, для робота сапы ссылка есть, при переходе из сапы ссылка есть, для остальных ссылки нет

были варианты, когда добавляли ноиндекс, для поисковых роботов
а самое весёлое это загнать ссылку в комментарий и вытаскивать её оттуда средствами js

Обойти мою проверку можно только 2 способами:
1) задать пул ip кому показывать ссылку, а кому нет
2) обратный dns запрос.

Других вариантов на сегодня нет. Проверяется исходный код, без обработки js.
В общем, человек должен не плохо так заморочиться.

[burunduk]

Неуч, поэтому проще через переводчики проверять

[Неуч]

Сообщение от burunduk

Неуч, поэтому проще через переводчики проверять

Там юзер агент другой. И учитывая, что это один из методов создания дорвеев и сателлитов - могут банить такое) в общем палка о двух концах