Эта страница — для администратора, который увидел наше имя в журнале своего сайта. Здесь сказано, кто приходил, что читал и как запретить приходить снова.
Кто приходит
NeivoSiteCheck— проверка сайта, запущенная человеком на нашем сайте. Приходит один раз на один адрес: посетитель вводит адрес и смотрит, что мы нашли.NeivoOutreach— разбор списка адресов. Тоже читает открытые страницы, но запускается пачкой, без человека за каждым адресом.
Что читаем
Главную страницу, robots.txt и несколько устоявшихся адресов товарной выгрузки (/yml, /price.xml и подобные). Сайт целиком не обходим: нам нужны признаки, видимые снаружи, — на чём сделан сайт, есть ли выгрузка, какой стоит чат, как ловятся заявки, как показаны цены.
Страницы не сохраняем: ни целиком, ни кусками, ни в кеше. Остаются только перечисленные признаки. Имена, должности и личные телефоны со страницы контактов отбрасываются сразу при разборе — берём каналы связи, опубликованные как контакты бизнеса.
Чего не делаем
- Не заходим в закрытые разделы и не подбираем пароли.
- Не обходим капчи и защиты от автоматических обращений: получив отказ, уходим.
- Не нагружаем сайт: держим паузу между обращениями и ограничиваем их число.
Как запретить
Мы читаем robots.txt первым и уважаем его. Запрет действует с ближайшего обращения:
User-agent: NeivoOutreach
Disallow: /Так же запрещается и NeivoSiteCheck. Правило User-agent: * закрывает обоих.
Стоп-лист
Вместо правки файла можно написать: пришлите адрес сайта наhello@neivo.ru. Домен уходит в стоп-лист: после этого разбор по нему не идёт ни у нас, ни у наших клиентов, и адрес не попадает ни в один список.