Для экономии времени и ресурсов разработаны и применяются автоматизированные системы скачивания (парсинга) контента. Специально настроенное программное обеспечение выполняет краулинг сайта – автоматически скачивает веб-страницу, анализирует контент, находит ссылки на другие разделы и рекурсивно копирует всё содержимое сайта.
Сайты-доноры лишаются уникального контента и теряют позиции в органической поисковой выдаче.
Автоматическая правка ворованных текстов затрудняет поиск дубликатов даже с помощью поисковых систем.
При автоматическом скачивании данных возникает серьезная паразитарная нагрузка; это нарушает стабильную работу сайта и может привести к отказу в обслуживании легитимных посетителей.
Автоматически созданная копия сайта может использоваться для фишинга, когда злоумышленники с помощью форм авторизации в массовом порядке воруют данные пользовательских аккаунтов.
Компании, которые собственными силами создают, поддерживают и регулярно обновляют базы данных. Как правило, в такие проекты вкладываются солидные средства, которые должны своевременно окупаться, а результаты таких инвестиций должны приносить прибыль. Чаще всего это:
Информационные сервисы – документальные, лексикографические и фактографические базы данных.
Навигационные и картографические сервисы – рабочие слои, картографическая основа, спутниковые фотографии и другая официальная документация.
Интернет-магазины – личная информация, персональные данные, товарные позиции, цены на товары и др.
Поэтому собственники и правообладатели заинтересованы в применении технических методов, способных полностью исключить либо максимально ограничить возможности систем автоматического копирования информации через открытые интернет-ресурсы.
Юридические методы защиты от парсинга имеют ограниченные возможности:
Автоматическое копирование и распространение персональной информации ограничено Федеральным законом № 152 «О персональных данных».
Автоматическое скачивание информации из источников в открытом доступе не относится к нарушениям российского законодательства.