Определение веб-паутинга и веб-сканеров

Crazy Frog - Axel F (Official Video)

Пауки - это программы (или автоматизированные сценарии), которые «ползают» по сети в поисках данных. Пауки путешествуют по URL-адресам веб-сайтов и могут извлекать данные с веб-страниц, например адреса электронной почты. Пауки также используются для подачи информации, найденной на веб-сайтах, в поисковые системы.

Пауки, которые также называются «поисковыми роботами», ищут в Интернете, и не все дружелюбны в своих намерениях.

Сайты Spammers Spider для сбора информации

Google, Yahoo! и другие поисковые системы - не единственные, кто заинтересован в сканировании веб-сайтов, как и мошенники и спамеры.

Пауки и другие автоматизированные инструменты используются спамерами для поиска адресов электронной почты (в интернете эту практику часто называют «сбором») на веб-сайтах, а затем используют их для создания списков спама.

Пауки также являются инструментом, используемым поисковыми системами для поиска дополнительной информации о вашем веб-сайте, но при отсутствии контроля веб-сайт без инструкций (или «разрешений») о том, как сканировать ваш сайт, может представлять серьезную угрозу информационной безопасности. Пауки путешествуют по ссылкам, и они очень искусны в поиске ссылок на базы данных, программные файлы и другую информацию, к которой у вас может не быть доступа.

Веб-мастера могут просматривать журналы, чтобы увидеть, какие пауки и другие роботы посетили их сайты. Эта информация помогает веб-мастерам узнать, кто и как часто индексирует их сайт.

Эта информация полезна, потому что позволяет веб-мастерам настраивать свои SEO и обновлять файлы robot.txt, чтобы запретить определенным роботам сканировать их сайт в будущем.

Советы по защите вашего сайта от нежелательных роботов

Существует довольно простой способ не допустить нежелательных сканеров на ваш сайт. Даже если вы не обеспокоены тем, что злоумышленники просматривают ваш сайт (запутывание адреса электронной почты не защитит вас от большинства сканеров), вам все равно придется предоставить поисковым системам важные инструкции.

На всех веб-сайтах должен быть файл, расположенный в корневом каталоге, который называется файлом robots.txt. Этот файл позволяет указать веб-сканерам, где вы хотите, чтобы они просматривали индексные страницы (если в метаданных конкретной страницы не указано иное, чтобы они не индексировались), если они являются поисковой системой.

Точно так же, как вы можете указать разыскиваемым сканерам, где вы хотите их просматривать, вы также можете указать им, куда они могут не пойти, и даже заблокировать определенные сканеры со всего вашего сайта.

Важно помнить, что правильно составленный файл robots.txt будет иметь огромное значение для поисковых систем и даже может стать ключевым элементом повышения производительности вашего сайта, но некоторые роботы-роботы все равно будут игнорировать ваши инструкции. По этой причине важно постоянно обновлять все программное обеспечение, плагины и приложения.

Статьи по теме и информация

Из-за распространенности сбора информации, используемой для гнусных (спам) целей, в 2003 году был принят закон, запрещающий определенные виды практики. Эти законы о защите прав потребителей подпадают под действие закона CAN-SPAM 2003 года.

Важно, чтобы вы уделили время чтению Закона о спаме CAN, если ваш бизнес занимается какой-либо массовой рассылкой или сбором информации.

Вы можете узнать больше о законах против спама и о том, как бороться со спамерами, а также о том, что вы, как владелец бизнеса, можете не делать, прочитав следующие статьи: