Найти тему
ePochta.ru

Давайте жить дружно: Спам-фильтры и принципы их работы

Оглавление

В канонический список смертных грехов email маркетинга пора добавить понятие “чрезмерная навязчивость”. Конечно же я имею в виду спам рассылки — незваные гости в почтовом ящике, намерения которых бывают не столь уж и безобидны. Методы спамеров постоянно совершенствуются, поэтому мы решили обновить эту статью новой информацией, которая будет полезна не только честным маркетологам, но и простым юзерам.

Дабы защитить себя от настойчивых спамеров и предотвратить попадание ваших email кампаний в спам, необходимо знать все тонкости процесса фильтрации таких сообщений. Предлагаю вам детальнее ознакомится с работой спам фильтров — защитников честных емейл маркетологов и простых пользователей электронной почты.

Что такое спам фильтры?

Хотя все мы прекрасно знаем что такое спам, но не каждый представляет себе суть понятия спам-фильтры. Возможно, вы не в восторге от их работы, ведь именно из-за фильтрации ваши тщательно подготовленные рассылки попадают в спам. Но не стоит торопиться с выводами, ведь в то же время, они защищают человечество от сотен тысяч атак “подозрительных” писем, которые могут нанести вред вашему благополучию.

Равно как и в жизни, дабы “подружиться” с этими ребятами, нужно узнать их поближе.

Спам-фильтры – это программное обеспечение, которое в автоматическом режиме позволяет фильтровать нормальную переписку от спам-рассылок. Предназначены такие программы для использования конечными пользователями или серверами.

От каких угроз нас защищает фильтрация спама?

Начнем с простого, по данным далекого 2011 года примерно 30 минут в месяц человек тратит на чистку спама, сегодня же это время увеличилось в разы.

  • Спам-атака ведется по всем фронтам — соцсети, мессенджеры, доски объявлений, смс и конечно же email рассылки.
  • В разных странах от 50% до 80% почтового трафика составляет спам.
  • Из-за спама российский бизнес лишается $500 млн. в год, американский — $22 млрд., европейский — 51 млрд. евро.
  • Посредством email рассылок распространены случаи  кражи мошенниками личных данных, блокировки компьютеров и последующего за этим вымогательства.

Примеры спам рассылок

Виды спама в зависимости от канала распространения:

В СМС рассылках
В СМС рассылках
В мессенджерах
В мессенджерах
В соцсетях
В соцсетях
В email рассылках
В email рассылках

Сегодня нас интересует наиболее распространенный вид — спам в email рассылках.

По своей сути эти письма бывают четырех видов:

  • Несанкционированные коммерческие рассылки рекламы легальных и нелегальных товаров/услуг.
  • Антиреклама конкурентов, как коммерческого, так политического характера.
  • Фишинг или мошеннические предложения, связанные с участием в денежных операциях, которые “принесут вам миллионы”.
  • Вирусный спам, способен повредить работу вашего компьютера или похитить важную информацию (личные данные, пароли от банковских карт, сервисов и т.д.).

Как работает спам фильтр

Существует два главных принципа распознавания деятельности спамеров:

  • автоматический — параметры которого полностью подвластны программе,
  • неавтоматический — параметры которого задаются человеком и требуют постоянного обновления (чаще всего основывается на определенном списке “стоп-слов”).

Автоматическая фильтрация рассылок более распространена, так как благодаря системе обучения, она отсеивает около 97% спама. Фильтры такого типа основываются на разных методах работы, основные из которых:

  • Проверка содержания email-сообщения
    На основании анализа делается вывод – помещать письмо в спам или нет. Для этого используется статистический анализ содержания. Для работы этих методов требуется «обучение» фильтров, т.е. используются рассортированные вручную письма для выявления статистических особенностей нормальных писем и спама. Метод очень хорошо работает при сортировке сообщений, в которых рекламная информация представлена в виде простого текста или HTML. После обучения на достаточно большой выборке, удаётся отсечь до 95—97 % спама. Однако есть методы для обхода таких фильтров. Для этого в письмо помещается произвольный текст и реклама в виде присоединенного к письму изображения. Наличие случайного текста обманывает фильтр, и не даёт возможности его обучить. Для обучения фильтров многие почтовые сервисы используют кнопку «пожаловаться на спам». Сведения о том, какие сообщения пользователи считают спамом, используются как для фильтрации этих сообщений, так и для обучения фильтров в дальнейшем. Подобную систему использует Gmail.
  • Анализ отправителя письма
    В интернете существует множество черных списков IP-адресов компьютеров, о которых известно, что с них ведется рассылка спама. Для получения информации, находится ли IP в черном списке, делается обращение через службу DNS. Поэтому подобные списки называются DNSBL (DNS Black List). Данный метод в данный момент не очень эффективен, так как спамеры находят новые сервера для своих целей быстрее, чем их успевают заносить в черные списки. Кроме того, несколько компьютеров, отправляющих спам, могут скомпрометировать весь почтовый домен или подсеть, и тысячи законопослушных пользователей на неопределённое время будут лишены возможности отправлять почту серверам, попавшими такой чёрный список. Также нередко безответственное и неправильное использование черных списков администраторами ресурсов, приводящее к блокированию большого числа ни в чем не повинных пользователей.
  • Байесовская система фильтрации спама
    Основана на процессе “обучения” программ путем анализа уже отсортированных писем. После данного “обучения” по выявленным параметрам программа будет сортировать письма на “хорошие” и “плохие”.
    НО, так как спамеры тоже не сидят сложа руки, их способы совершенствуются. Они научились обходить эту защиту с помощью замены текста тела письма на картинки, которые система не может адекватно проанализировать. Выход — постепенно “дообучать” программы.
    Именно таким способом проходит совершенствование относительно более новых способов фильтрации электронной корреспонденции:
  • Проверка темы email рассылок
    Программы, которые используют спамеры для рассылки спама также далеко не идеальны. Например, они не умеют оформлять заголовки и письма не соответствуют установленным стандартам. Этот минус и стал еще одним ориентиром для фильтрации почты программами серверов.
  • Анализ вложений электронных писем
    Чаще всего такими вложениями являются картинки. Эта методика анализа рассылок на спам является одной из наиболее успешных и позволяет практически полностью уберечь человека от нежелательных писем.
  • Определение признаков массовости
    Здесь все понятно, в огромном потоке email-сообщений система определяет одинаковые или незначительно отличающиеся сообщения. Данная методика используется в бизнесе в случаях больших оборотов электронной коммерции.
  • Проверка по черным спискам
    Метод старый и эффективный. Суть его состоит в том, что система создает список “плохих парней” и блокирует их домен, а иногда и всю сеть. Чаще всего в черный список заносят:

- IP компьютеров, с которых ведется подозрительная рассылка;

- адреса, которые попали в черные списки, составленные другими системами;

- списки dial-up;

- открытые релеи.

  • Серые списки
    Метод серых списков основан на анализе «поведения» программного обеспечения, предназначенного для рассылки спам писем, так поведение обычных почтовых серверов отличается от спам серверов. Простейший вариант работы ПО, основанный на серых списках, работает примерно следующим образом: все ранее неизвестные SMTP-сервера считаются «серыми». Почта с таких серверов не принимается, но и не отклоняется окончательно – им возвращается код временной ошибки. В случае, если сервер-отправитель повторяет свою попытку через определенный период, то сервер вносится в белый списо, если не повторяет — в черный. Поэтому нормальные письма не теряются, а только задерживается их доставка.  Этот метод в настоящее время позволяет отсеять до 90 % спама практически без риска потерять важные письма. Однако его тоже нельзя назвать безупречным.

Как обойти критерии работы спам фильтров

Это базовые рекомендации не для спамеров, а для всех кто занимается легальным Email маркетингом, так как никто не застрахован от попадания в спам список.

Человеческий фактор:

  • Делайте рассылки равномерно, например, еженедельно или ежемесячно. Тогда вероятность, что читатели отнесут письмо к спаму меньше;
  • Сохраняйте тематическую ориентацию рассылки, не надо превращать рассылку в сплошную рекламную площадку;
  • Будьте аккуратными и вежливыми, старайтесь избегать грамматических ошибок;
  • Обязательно оставляйте свои координаты. Читатели должны иметь возможность написать Вам письмо в случае недовольства, или наоборот, чтобы поблагодарить Вас.
  • Всегда оставляйте видимую ссылку на отписку;
  • Ну и не делайте рассылки людям, которые не подписались на неё:)

О том как не попасть в спам на mail.ru читайте здесь.

Машинный фактор:

  • Используйте правильные слова. Лучше написать так: Subscribe / Unsubscribe, вместо Remove. Для автоматических систем это важно.
  • Обратите внимание на тему письма (Subject). Некоторые заголовки просто кричат о том, что это спамерские письма, например, те в которых содержится: «Free,» «Respond Now!» «Money,» и т.п.
  • Старайтесь не отправлять прикрепленных файлов. Это вызовет лишние подозрения как у фильтров, так и у Ваших читателей.
  • Используйте только авторитетные сервисы и программы рассылки писем в случае рассылки не со собственного домена, а использовании специальной службы.

Мораль сей басни такова

Все мы ошибаемся, и программы не исключение, но они учатся и совершенствуют свои умения. Если рассылка спама — это зло, то спам-фильтры — современные рыцари мира интернет-коммуникации, которые ежедневно защищают ничего не подозревающих обывателей от легионов темных спамеров.