MailSharksBot: что это за робот

Наш обходчик заходит на сайты, чтобы найти контактный адрес, который компания опубликовала сама. Здесь — как он себя ведёт и как попросить его больше не приходить.

Кто ходитОбходчик представляется строкой MailSharksBot/1.0 и ссылкой на эту страницу. Другие роботы, как бы они ни назывались, к нам отношения не имеют.

Что берётТолько контактные страницы: адрес, опубликованный компанией открыто, для связи. Ни личных данных посетителей, ни закрытых разделов, ни форм.

Как частоНе больше пяти страниц с одного сайта за раз, с паузой между запросами. Нагрузки вы не заметите.

Правила, которые он соблюдает

robots.txt читается до каждого запроса. Запрет — значит запрет, включая Crawl-delay.
Только открытые страницы. Ничего, что требует входа, и ничего, что закрыто от индексации.
Ролевые ящики. Собираются адреса организации — info@, sales@, contact@. Личные адреса сотрудников по умолчанию не собираются вовсе.
Источник сохраняется. По каждому адресу мы храним страницу, на которой он опубликован, и дату — чтобы на вопрос «откуда у вас мой адрес» был точный ответ.

Как запретить обход

Добавьте в robots.txt вашего сайта:

User-agent: MailSharksBot
Disallow: /

Робот прочитает это при следующем заходе и больше не придёт. Отдельного запроса нам для этого не нужно.

Как удалить свой адрес

Напишите нам с адреса, который нужно удалить, или укажите его в письме — удалим из базы и внесём в стоп-лист, чтобы он не попал туда снова при следующем сборе. Ответ по существу приходит в течение нескольких дней.

Это же касается любого письма, которое вы от нас получили: ссылка на отказ есть в каждом, и после неё писем не будет.

Кто отвечает за сбор

MailSharks — сервис рассылок: письма уходят из почтового ящика клиента и от его имени. Поиск контактов клиент запускает сам, он же решает, писать по найденному адресу или нет. Вопросы о конкретном письме адресуйте отправителю, чей адрес стоит в поле «От кого»; вопросы о самом обходчике — нам.