Как мы тестируем антивирусы

Многие антивирусные компании рекламируют свои продукты как “лучший продукт на рынке со 100% защитой от вредоносного ПО”, но это не всегда так.

Ни один антивирус не может обеспечить полноценную защиту от всех существующих вирусов и вредоносных программ. Но некоторые антивирусы намного лучше других справляются с обеспечением защиты от киберугроз.

Вот как мы тестируем антивирусные продукты:

Разбивка по категориям

5% - Покупка и скачивание
10% - Установка и настройка
30% - Защита от вредоносных программ
10% - Веб-защита
15% - Дополнительные функции и утилиты
10% - Влияние на производительность системы
10% - Цена
10% - Поддержка пользователей и возврат средств

Примечание редактора: Intego и этот сайт принадлежат одной и той же управляющей группе.

1. Покупка и скачивание — 5%

В начале наши эксперты покупают подписку на антивирус — обычно на самый многофункциональный пакет. Мы оцениваем стоимость и доступность способов оплаты, а также ищем скрытые платежи, которые могут быть связаны с покупкой подписки на антивирус.

После этого мы скачиваем файл установки антивируса и оцениваем его размер, а также занимаемое место на диске после установки.

Наши эксперты выставляют оценку по 10-балльной шкале на основе своего опыта покупки и скачивания каждого продукта. Эта оценка составляет 5% от итоговой оценки.

2. Установка и настройка — 10%

После этого мы начинаем процесс установки на разных системах, в том числе на Windows, Mac, Android и iOS, и оцениваем сложность настройки антивируса.

Также мы оцениваем время установки продукта и необходимость наличия технических знаний для успешного завершения процесса установки.

После установки наши эксперты выполняют все заключительные этапы настройки и проверяют, чтобы приложение установилось полностью.

Мы выставляем оценку за установку и настройку по 10-балльной шкале. Эта оценка составляет 10% от итоговой оценки.

3. Защита от вредоносных программ — 30%

Мы подробно изучаем используемые каждым антивирусом технологии, чтобы убедиться в их безопасности, точности, актуальности и эффективности против новейших угроз.

Для проверки эффективности каждого антивируса мы используем несколько методик:

3a. Поиск вредоносных программ — 15%

Наши эксперты выполняют несколько проверок системы и определяют, сколько вредоносных программ способен обнаружить модуль поиска вредоносного ПО каждого антивируса.

В каждой проверке мы используем сотни образцов вредоносных программ. Но при выполнении таких тестов мы просто оцениваем способность каждого антивируса обнаруживать файлы, хранящиеся в системе, то есть мы не открываем и не запускаем вредоносные файлы.

Все антивирусы проверяются на противодействие многим старым и новым вредоносным программам, в том числе вирусам, программам-вымогателям, шпионским программам, троянам, кейлоггерам и т.д.

Вот несколько примеров вредоносного ПО, используемого в наших тестах:

Программы-вымогатели — шифруют/блокируют устройство пользователя и вынуждают его заплатить выкуп для разблокировки устройства.
Бэкдоры/трояны — используют уязвимости системы для скрытого получения доступа к устройству пользователя и кражи данных.
Шпионские программы/трояны удалённого доступа (RAT — Remote access trojan) — удалённо управляют устройством пользователя, получают доступ к важным файлам и устанавливают вредоносное ПО.
Регистраторы нажатия на клавиши — отслеживают нажатие пользователя на клавиши, что позволяет хакерам украсть имена пользователя, пароли, банковские данные и прочую информацию.
Взломщики веб-камер и микрофона — предоставляют хакерам несанкционированный доступ к веб-камере или микрофону пользователя для скрытой записи активности пользователей.

После завершения тестов на поиск вредоносного ПО, мы смотрим, сколько образцов вредоносного ПО обнаружил антивирусный модуль. Конечно же мы бы хотели видеть 100% результат, но мы считаем, что при обнаружении 95% вредоносных файлов антивирус является “очень безопасным”.

Мы переводим общий процент обнаружения вредоносного ПО в баллы по 10-балльной шкале. Эта оценка составляет 15% от итоговой оценки.

3b. Проверка защиты в реальном времени — 15%

Проверка защиты в реальном времени включает в себя симуляцию атак для оценки качества блокирования всех подобных атак модулем защиты в реальном времени.

Вот некоторые из симулированных атак, проводимых во время наших тестов:

Исполняемые вредоносные файлы — мы запускаем скрипт, который “выполняет” или “запускает” все тестовые вредоносные программы по очереди, после чего мы оцениваем способность модуля защиты в реальном времени заблокировать и удалить все угрозы во время попыток обойти систему защиты.
Симуляция программ-вымогателей — мы запускаем несколько симуляций программ-вымогателей, которые повторяют настоящие атаки таких программ, и проверяем способность защиты в реальном времени блокировать и отключать программы-вымогатели.
Вирусы нулевого дня — мы симулируем атаки при помощи неизвестных вредоносных файлов, которые ранее не были добавлены в базы известных вредоносных программ. Мы замеряем, насколько быстро каждый антивирус обнаруживает такие неизвестные угрозы, и как антивирусы реагируют на подобные атаки.

После выполнения всех тестов защиты в реальном времени и симуляций, мы смотрим, сколько угроз заблокировал модуль защиты в реальном времени каждого антивируса. 100% результат ожидаемо является отличным, но мы считаем, что результата выше 90% будет вполне достаточно для большинства пользователей.

Мы переводим общий процент защиты в реальном времени в баллы по 10-балльной шкале. Эта оценка составляет 15% от итоговой оценки.

4. Веб-защита — 10%

Наши эксперты проверяют веб-защиту каждого антивируса, после чего мы выполняем серию тестов, проверяющих надёжность работы веб-защиты.

Многие антивирусы предоставляют функции веб-защиты, например сетевой фаервол, защиту от фишинга, обнаружение утечек конфиденциальных данных, блокировку трекинговых ссылок и т.д.

Мы проверяем эффективность веб-защиты всех антивирусов от следующих угроз:

Сетевые атаки — попытки внедриться в частную сеть пользователя и получить доступ к устройствам, подключённым к сети.
Фишинговые сайты — поддельные сайты, которые обманом заставляют пользователей ввести личную информацию, например пароли и данные банковских карт.
Вредоносные сайты — опасные сайты, известные содержанием вредоносного ПО и скриптов.
Фишинговые электронные письма — мошеннические письма, маскирующиеся под обычные письма, в которых содержатся фишинговые ссылки.
Рекламные и трекинговые ссылки — назойливая всплывающая реклама и трекинговые ссылки, которые отслеживают вашу активность в интернете.

Мы считаем, сколько сетевых атак, фишинговых ссылок, вредоносных сайтов, рекламы и трекинговых ссылок заблокировал каждый антивирус при помощи своей веб-защиты.

В наших обзорах мы даём общую оценку веб-защиты, но при этом мы также отмечаем, какие именно функции веб-защиты работают лучше всего, а какие — хуже, чем должны.

После выполнения всех тестов веб-защиты мы выставляем оценку по 10-балльной шкале. Эта оценка составляет 10% от итоговой оценки.

5. Дополнительные функции — 15%

Многие антивирусы предоставляют не только защиту от вредоносных программ. Мы изучаем все дополнительные возможности и функции всех антивирусов.

Мы тестируем все дополнительные функции на работоспособность, назначение и полезность для большинства пользователей. Многие дополнительные функции повышают итоговую стоимость продукта, поэтому мы оцениваем, насколько такие дополнительные функции добавляют полезности продукту.

Обычно антивирусные пакеты предоставляют дополнительные функции, например оптимизацию устройства/производительности, удаление ненужных файлов, виртуальную частную сеть (VPN), менеджер паролей и т.д.

Согласно нашим стандартам испытаний, мы оцениваем все дополнительные функции следующим образом:

Производительность — насколько хорошо функция выполняет своё назначение.
Полезность — насколько функция полезна для пользователей, или она является лишь ненужным дополнением.
Влияние на производительность системы — сколько памяти процессора, оперативной памяти и ресурсов системы использует функция.
Ценность — сколько стоит данная функция.
Сравнение с самостоятельными сервисами — как данная функция показывает себя по сравнению с самостоятельными приложениями, выполняющими подобную функцию (например VPN/менеджер паролей).

Каждая функция получает оценку по результатам нашей проверки. После этого мы рассчитываем средний балл по 10-балльной шкале. Эта оценка составляет 15% от итоговой оценки.

6. Влияние на производительность системы — 10%

Антивирус должен работать эффективно и при этом не замедлять систему пользователя. Мы замеряем влияние всех антивирусов на процессор, оперативную память, потребление заряда батареи и общую производительность системы.

Чтобы наш обзор был полезен и релевантен для большинства пользователей, мы проверяем, сколько ресурсов системы использует каждый антивирус на разных старых и новых системах, в том числе на Windows, Mac и мобильных устройствах, что обеспечивает честный средний результат.

Мы оцениваем производительность каждого антивируса в режиме ожидания (без выполнения активной проверки), при выполнении всех видов проверок и при симуляции атак вредоносного ПО. При проверке производительности мы проверяем:

Использование памяти процессора — сколько вычислительной мощности компьютера использует каждый антивирус.
Использование оперативной памяти — сколько системной памяти требуется каждому антивирусу для эффективной работы.
Потребление заряда батареи — сколько заряда батареи использует каждый антивирус (при выполнении полной проверки и в режиме ожидания) и насколько антивирус обеспечивает эффективное потребление энергии.

Если антивирус использует примерно 20% мощности процессора, менее 500 МБ оперативной памяти при выполнении полной проверки системы и показывает эффективное потребление питания (измеряемое диспетчером задач системы), по нашему мнению, он станет отличным выбором. Любую программу, использующую более 50% мощности процессора, 2 ГБ оперативной памяти и/или плохой эффективностью расхода батареи, можно считать плохим выбором.

После выполнения всех тестов производительности мы выставляем оценку по 10-балльной шкале. Эта оценка составляет 10% от итоговой оценки.

7. Цена — 10%

Мы оцениваем пакеты или подписки, предлагаемые каждым антивирусом, и определяем, насколько цена завышена, занижена или обоснована.

Наши эксперты определяют ценность каждого продукта путём изучения количества и качества функций, предоставляемых на каждом пакете. После этого мы сравниваем цену каждого пакета с похожими продуктами и оцениваем, насколько пакет соответствует средней цене на рынке.

Такой способ позволяет точно определить, какие антивирусы приобретать выгодно, а какие — не стоят своих денег.

На основе нашего анализа мы выставляем оценку по 10-балльной шкале. Эта оценка составляет 10% от итоговой оценки.

8. Поддержка пользователей и возврат средств — 10%

Мы изучаем способы поддержки всех антивирусов и тестируем все способы путём отправки нескольких вопросов по электронной почте, в онлайн-чате, по телефону, через FAQ на сайте, форумы и другие каналы.

Затем наши эксперты оценивают, насколько хорошо работает служба поддержки каждой компании на основании времени ответа, качества ответа и полезности ответа по части решения заданных вопросов.

Мы ставим высокую оценку командам поддержки с несколькими способами связи, быстрыми и полезными ответами и обеспечивающим удовлетворённость пользователей продуктом.

В заключении мы проверяем, есть ли у компании политика или гарантия возврата средств. Мы оцениваем весь процесс возврата путём запроса возврата средств в течение установленного срока, после чего оцениваем, насколько просто или сложно было получить одобрение возврата, и сколько времени деньги возвращались на счёт.

Мы выставляем оценку по 10-балльной шкале на основании нашего пользовательского опыта. Эта оценка составляет 10% от итоговой оценки.

Итоговая оценка антивирусов

После выполнения подробного тестирования наши эксперты рассчитывают итоговую оценку для каждого антивируса на основании оценок, полученных в каждой категории испытаний.

Все проверяемые категории по-разному влияют на итоговую оценку, поэтому мы разделяем результаты испытаний следующим образом:

Покупка и скачивание: 5%

Дополнительные функции и утилиты: 15%

Установка и настройка: 10%

Влияние на производительность системы: 10%

Защита от вредоносного ПО: 30%

Цена: 10%

Веб-защита: 10%

Поддержка пользователей и возврат средств: 10%

После этого мы суммируем результаты и получаем итоговую оценку по каждому антивирусу, которая показана в верхней части обзора. Продукты с общей оценкой выше 8/10 обычно считаются отличным выбором для большинства пользователей. Продукты с оценкой около 7/10 обычно достаточно хороши, однако скорее всего есть более подходящие варианты. Оценка около 6/10 и ниже означает, что наши эксперты столкнулись с многочисленными проблемами, и такой продукт в своём нынешнем виде вероятно не станет лучшим решением для большинства пользователей.