Как происходит тестирование. Тесты в процессе разработки программного обеспечения. Инструменты и инфраструктура

В этой статье представлен расширенный список вопросов (и ответов), которые потенциальный работодатель может задавать тестировщикам программного обеспечения. Статья построена в формате вопрос-ответ, и, в частности, содержит вопросы относительно автоматизации тестирования, сертификации ISTQB и CSTE и многого другого, что дает возможность оценить уровень подготовки. Надеемся, что по прочтении статьи, вы сможете подготовиться к любым собеседованиям, или, как минимум, увереннее отвечать на вопросы.

В. Что такое динамическое тестирование?

О. Это тестирование за счет выполнения кода или программы с различными входными значениями и подтверждением результатов.

В. Что такое GUI-тестирование (GUI Testing)?

О. Тестирование GUI (графического интерфейса пользователя): интерфейс программного обеспечения проверяется на предмет соответствия требованиям.

В. Что такое формальное тестирование?

О. Верификация программного обеспечения, согласно тест-плану, тестовым процедурам и соответствующей документации, с учетом пожеланий клиента.

В. Что такое тестирование на основе рисков?

О. Определяются наиболее важные части системы, затем устанавливается порядок их тестирования, затем следует, собственно, тестирование.

В. Что такое раннее тестирование?

О. Тестирование по возможности проводится как можно раньше, чтобы выявить дефекты на ранних этапах SDLC. Это позволяет быстрее обнаружить и устранить дефекты, экономит расходы.

В. Что такое исчерпывающее тестирование?

О. Тестирование функциональности, с использованием неверных и верных данных ввода и входных условий.

В. Что такое скопление дефектов?

О. Даже небольшой модуль или функциональность могут содержать в себе ряд дефектов, поэтому необходимо больше уделять внимания тестированию функциональности.

В. Что такое «парадокс пестицида»?

О. Если с помощью имеющихся тестовых сценариев не получается обнаружить дефекты, возможно, стоит дополнить/пересмотреть тест-кейсы, чтобы можно было находить больше дефектов.

В. Что такое статическое тестирование?

О. Верификация кода вручную без программы. В этом процессе проблемы находятся в коде, во время его проверки и сравнения с требованиями.

В. Что такое позитивное тестирование?

О. Тестирование, которое проводится в приложении с целью определить, насколько система функциональна. Такой подход больше известен как «тест на прохождение».

В. Что такое негативное тестирование?

О. Тестирование негативных сценариев в ПО: высвечивает ли система ошибку, когда она должна это делать, или не должна.

В. Что такое сквозное тестирование (еnd-to-end)?

О. Тестирование общей функциональности системы, включая интеграцию данных в модулях.

В. Что такое исследовательское тестирование?

О. Это исследование приложения, чтобы составить представление о его функциональности, добавление (или) изменение существующих тест-кейсов для более качественного тестирования.

В. Что такое «обезьянье тестирование» (Monkey Testing)?

О. Тестирование приложения без какого-либо плана, тестирование выборочных мест, чтобы обнаружить какие-то сложные системные сбои, а затем и дефекты, которые к этому привели.

В. Что такое нефункциональное тестирование?

О. Валидация различных нефункциональных аспектов системы, таких как пользовательские интерфейсы, совместимость, производительность и прочее.

О. Проверка на предмет того, насколько легко конечные пользователи способны понять и управлять приложением.

О. Проверяется, насколько хорошо реализованы в приложении все условия безопасности.

О. Анализ эффективности различных характеристик системы - времени ответа, общей производительности с целью установить, как быстро система работает под нагрузкой.

В. Что такое нагрузочное тестирование?

О. Анализ функциональности и производительности приложения в разных условиях.

В. Что такое стресс -тестирование?

О. Проверка устойчивости системы в условиях превышения пределов обычного функционирования. Или снижение ресурсов системы и сохранение нагрузки на определенном уровне, чтобы проверить, как приложения при этом себя ведет.

В. Что такое процесс?

О. Процесс - это набор практик для достижения определенной цели; может включать инструменты, методы, материалы и людей.

В. Что такое конфигурационное управление?

О. Процесс поиска, организации и контроля изменений в разработке ПО. Или методология контроля и управления проектом разработки ПО.

О. Составление:

• Тест-плана
• Тест-сценариев
• Тест-кейсов
• Выполнение тест-кейсов
• Проверка результатов
• Составление отчетов о дефектах
• Дефект-трекинг
• Закрытие дефектов
• Тестовый релиз

В. Как расшифровывается CMMI?

О. Capability Maturity Model Integration (Модель зрелости процессов разработки).

В. Что такое разбор программы?

О. Неформальный анализ исходного кода программы с целью выявить дефекты и верифицировать техники программирования.

О. Тестирование отдельных программ, модулей или элементов кода.

В. Что такое тестирование уровня интеграции?

О. Тестирование соответствующих программ, модулей (или) единиц кода.

В. Что такое тестирование на уровне системы?

О. Тестирование всей компьютерной системы по всем модулям. Такая разновидность тестирования может включать функциональное и структурное тестирование.

В. Что такое альфа-тестирование?

О. Тестирование всей компьютерной системы перед этапом пользовательского тестирования (UAT).

В . Что такое UAT?

О. Тестирование компьютерной системы клиентом, чтобы проверить, соответствует ли система требованиям.

В. Что такое тестовый план?

О. Документ, описывающий масштаб, подход, ресурсы и график тестирования, в котором определены тестовые элементы, отдельные части функционала, тестовые задания, специалисты, которые будут проводить конкретные тесты, и любые риски, требующие дополнительного планирования.

В. Что такое сценарий тестирования?

О. Идентификация всех возможных зон тестирования.

В. Что такое ECP (Equivalence Class Partition)?

О. Метод генерации тест-кейсов.

В. Что такое дефект?

О. Любое несовершенство в работе софта. Или когда ожидаемый результат не соответствует фактической работе приложения.

В. Что такое критичность?

О. Определяет уровень дефекта с функциональной точки зрения, т.е. насколько критичен дефект для приложения.

В. Что такое приоритет?

О. Указывает на срочность устранения дефекта.

В. Что такое повторное тестирование?

О. Повторное тестирование приложения с целью узнать, устранены ли дефекты.

О. Верификация существующих функциональных и нефункциональных зон после того, как были изменены отдельные части приложения или добавлены новые функциональные возможности.

В. Что такое тестирование восстановления?

О. Проверяется возможность системы справиться с некоторыми неожиданными ситуациями.

В. Что такое тестирование глобализации (Globalization Testing)?

О. Тестируется возможность запуска приложения независимо от его географической и культурной среды. Проверяется возможность смены языка, даты, формата и валюты, если приложение разработано для пользователей из нескольких стран.

В. Что такое тестирование локализации?

О. Проверка на предмет того, подходит ли приложение для отдельной локальной группы пользователей, культурных и географических условий.

В. Что такое тестирование установки?

О. Проверяется возможность успешной установки ПО, в соответствии с документацией по установке.

В. Что такое тестирование удаления?

О. Проверка возможности удаления ПО.

В. Что такое тестирование на совместимость?

О. Проверяется совместимость приложения с другим программным и аппаратным обеспечением.

В. Что такое стратегия тестирования?

О. Это часть тест-плана, описывающая, как проводится тестирование и какие разновидности тестирования необходимо сделать.

В. Что такое тест-кейс?

О. Тест-кейс - набор определенных шагов, по которым проверяется функциональность системы.

В. Что такое тест-кейс для валидации бизнес-процессов?

О. Этот тест-кейс составляется для того, что проверить определенное условие или требование.

В. Как определяется хороший тест?

О. Тест-кейс, у которого высокий приоритет обнаружения дефектов.

В. Что такое тестирование по сценарию использования?

О. Такое тестирование определяет, было ли ПО разработано согласно случаю использования.

В. Что такое возраст дефекта?

О. Время между датой обнаружения и датой закрытия дефекта.

В. Что такое дефект Showstopper?

О. Дефект, который вынуждает остановить ход тестирования.

О. Это последний этап STLC. Руководство составляет отчеты по тестам, разъясняет статистику проекта, исходя из имеющихся данных.

В. Что такое Bucket Testing?

О. Bucket Testing, или A/B-тестирование. Чаще всего исследуется эффект разного дизайна, используется метрика для веб-сайтов. Две версии сайта запускаются на одной или нескольких веб-страницах, чтобы определить разницу в кликах.

В. Что такое критерии запуска и завершения тестирования?

О. Критерии запуска - процесс, который должен быть представлен в начале системы. Это может быть:

• SRS – ПО
• Случай использования
• Тест-кейс
• План тестирования

Критерий завершенности определяет готовность приложения к релизу. Это может быть:

• Отчет по тестированию
• Метрики
• Отчет по анализу теста

В. Что такое тестирование валюты?

О. Это комплексное пользовательское тестирование одновременного доступа к приложению, для верификации влияния на код, модуль или базу данных. Главным образом обнаруживает тупиковые ситуации в коде.

О. Тестирование веб-приложения проводится на веб-сайте для проверки загрузки, производительности, безопасности, функциональности, интерфейса, совместимости и других вопросов, относящихся к юзабилити.

О. Тестирование элементов (или побочное тестирование) позволяет проверить отдельные работу модулей исходного кода.

В. Что такое тестирование интерфейса?

О. Тестирование интерфейса проверяет взаимодействие отдельных модулей. Чаще всего используется для тестирования пользовательского интерфейса приложений с GUI.

В. Что такое гамма-тестирование?

О. Гамма-тестирование проводится когда ПО уже готово к релизу, проверяется соответствие требованиям.

Значительная часть производственного процесса опирается на тестирование программ. Что это такое и как осуществляется подобная деятельность обсудим в данной статье.

Что называют тестированием?

Под этим понимают процесс, во время которого выполняется программное обеспечение с целью обнаружения мест некорректного функционирования кода. Для достижения наилучшего результата намеренно конструируются трудные наборы входных данных. Главная цель проверяющего заключается в том, чтобы создать оптимальные возможности для отказа Хотя иногда тестирование разработанной программы может быть упрощено до обычной проверки работоспособности и выполнения функций. Это позволяет сэкономить время, но часто сопровождается ненадежностью программного обеспечения, недовольством пользователей и так далее.

Эффективность

То, насколько хорошо и быстро находятся ошибки, существенным образом влияет на стоимость и длительность разработки программного обеспечения необходимого качества. Так, несмотря на то, что тестеры получают заработную плату в несколько раз меньшую, чем программисты, стоимость их услуг обычно достигает 30 - 40 % от стоимости всего проекта. Это происходит из-за численности личного состава, поскольку искать ошибку - это необычный и довольно трудный процесс. Но даже если программное обеспечение прошло солидное количество тестов, то нет 100 % гарантии, что ошибок не будет. Просто неизвестно, когда они проявятся. Чтобы стимулировать тестеров выбирать типы проверки, которые с большей вероятностью найдут ошибку, применяются различные средства мотивации: как моральные, так и материальные.

Подход к работе

Оптимальной является ситуация, когда реализовываются различные механизмы, направленные на то, чтобы ошибок в программном обеспечении не было с самого начала. Для этого необходимо позаботится о грамотном проектировании архитектуры, четком техническом задании, а также важно не вносить коррективы в связи, когда работа над проектом уже начата. В таком случае перед тестером стоит задача нахождения и определения небольшого количества ошибок, которые остаются в конечном результате. Это сэкономит и время, и деньги.

Что такое тест?

Это немаловажный аспект деятельности проверяющего, который необходим для успешного выявления недочетов программного кода. Они необходимы для того, чтобы контролировать правильность приложения. Что входит в тест? Он состоит их начальных данных и значений, которые должны получиться как результирующие (или промежуточные). Для того чтобы успешнее выявлять проблемы и несоответствия, тесты необходимо составлять после того, как был разработан алгоритм, но не началось программирование. Причем желательно использовать несколько подходов при расчете необходимых данных. В таком случае растёт вероятность обнаружения ошибки благодаря тому, что можно исследовать код с другой точки зрения. Комплексно тесты должны обеспечивать проверку внешних эффектов готового программного изделия, а также его алгоритмов работы. Особенный интерес предоставляют предельные и вырожденные случаи. Так, в практике деятельности с ошибками часто можно выявить, что цикл работает на один раз меньше или больше, чем было запланировано. Также важным является тестирование компьютера, благодаря которому можно проверить соответствие желаемому результату на различных машинах. Это необходимо для того, чтобы удостовериться, что программное обеспечение сможет работать на всех ЭВМ. Кроме того, тестирование компьютера, на котором будет выполняться разработка, является важным при создании мультиплатформенных разработок.

Искусство поиска ошибок

Программы часто нацелены на работу с огромным массивом данных. Неужели его необходимо создавать полностью? Нет. Широкое распространение приобрела практика «миниатюризации» программы. В данном случае происходит разумное сокращение объема данных по сравнению с тем, что должно использоваться. Давайте рассмотрим такой пример: есть программа, в которой создаётся матрица размером 50x50. Иными словами - необходимо вручную ввести 2500 тысячи значений. Это, конечно, возможно, но займёт очень много времени. Но чтобы проверить работоспособность, программный продукт получает матрицу, размерность которой составляет 5x5. Для этого нужно будет ввести уже 25 значений. Если в данном случае наблюдается нормальная, безошибочная работа, то это значит, что всё в порядке. Хотя и здесь существуют подводные камни, которые заключаются в том, что при миниатюризации происходит ситуация, в результате которой изменения становятся неявными и временно исчезают. Также очень редко, но всё же случается и такое, что появляются новые ошибки.

Преследуемые цели

Тестирование ПО не является легким делом из-за того, что данный процесс не поддаётся формализации в полном объеме. Большие программы почти никогда не обладают необходимым точным эталоном. Поэтому в качестве ориентира используют ряд косвенных данных, которые, правда, не могут полностью отражать характеристики и функции программных разработок, что отлаживаются. Причем они должны быть подобраны таким образом, чтобы правильный результат вычислялся ещё до того, как программный продукт будет тестирован. Если этого не сделать заранее, то возникает соблазн считать всё приблизительно, и если машинный результат попадёт в предполагаемый диапазон, то будет принято ошибочное решение, что всё правильно.

Проверка в различных условиях

Как правило, тестирование программ происходит в объемах, которые необходимы для минимальной проверки функциональности в ограниченных пределах. Деятельность ведётся с изменением параметров, а также условий их работы. Процесс тестирования можно поделить на три этапа:

• Проверка в обычных условиях. В данном случае тестируется основной функционал разработанного программного обеспечения. Полученный результат должен соответствовать ожидаемому.
• Проверка в чрезвычайных условиях. В этих случаях подразумевается получение граничных данных, которые могут негативно повлиять на работоспособность созданного программного обеспечения. В качестве примера можно привести работу с чрезвычайно большими или малыми числами, или вообще, полное отсутствие получаемой информации.
• Проверка при исключительных ситуациях. Она предполагает использование данных, которые лежат за гранью обработки. В таких ситуациях очень плохо, когда программное обеспечение воспринимает их как пригодные к расчету и выдаёт правдоподобный результат. Необходимо позаботиться, чтобы в подобных случаях происходило отвержение любых данных, которые не могут быть корректно обработаны. Также необходимо предусмотреть информирование об этом пользователя

Тестирование ПО: виды

Создавать программное обеспечение без ошибок весьма трудно. Это требует значительного количества времени. Чтобы получить хороший продукт часто применяются два вида тестирования: «Альфа» и «Бета». Что они собой представляют? Когда говорят об альфа-тестировании, то под ним подразумевают проверку, которую проводит сам штат разработчиков в «лабораторных» условиях. Это последний этап проверки перед тем, как программа будет передана конечным пользователям. Поэтому разработчики стараются развернуться по максимуму. Для легкости работы данные могут протоколироваться, чтобы создавать хронологию проблем и их устранения. Под бета-тестированием понимают поставку программного обеспечения ограниченному кругу пользователей, чтобы они смогли поэксплуатировать программу и выявить пропущенные ошибки. Особенностью в данном случае является то, что часто ПО используется не по своему целевому назначению. Благодаря этому неисправности будут выявляться там, где ранее ничего не было замечено. Это вполне нормально и переживать по этому поводу не нужно.

Завершение тестирования

Если предыдущие этапы были успешно завершены, то остаётся провести приемочный тест. Он в данном случае становиться простой формальностью. Во время данной проверки происходит подтверждение, что никаких дополнительных проблем не найдено и программное обеспечение можно выпускать на рынок. Чем большую важность будет иметь конечный результат, тем внимательней должна проводиться проверка. Необходимо следить за тем, чтобы все этапы были пройдены успешно. Вот так выглядит процесс тестирования в целом. А теперь давайте углубимся в технические детали и поговорим о таких полезных инструментах, как тестовые программы. Что они собой представляют и в каких случаях используются?

Автоматизированное тестирование

Ранее считалось, что динамический анализ разработанного ПО - это слишком тяжелый подход, который неэффективно использовать для обнаружения дефектов. Но из-за увеличения сложности и объема программ появился противоположный взгляд. Автоматическое тестирование применяется там, где самыми важными приоритетами является работоспособность и безопасность. И они должны быть при любых входных данных. В качестве примера программ, для которых целесообразным является такое тестирование, можно привести следующие: сетевые протоколы, веб-сервер, sandboxing. Мы далее рассмотрим несколько образцов, которые можно использовать для такой деятельности. Если интересуют бесплатные программы тестирования, то среди них качественные найти довольно сложно. Но существуют взломанные «пиратские» версии хорошо зарекомендовавших себя проектов, поэтому можно обратиться к их услугам.

Avalanche

Этот инструмент помогает обнаружить дефекты, проходя тестирование программ в режиме динамического анализа. Он собирает данные и анализирует трассу выполнения разработанного объекта. Тестеру же предоставляется набор входных данных, которые вызывают ошибку или обходят набор имеющихся ограничений. Благодаря наличию хорошего алгоритма проверки разрабатывается большое количество возможных ситуаций. Программа получает различные наборы входных данных, которые позволяют смоделировать значительное число ситуаций и создать такие условия, когда наиболее вероятным является возникновение сбоя. Важным преимуществом программы считается применение эвристической метрики. Если есть проблема, то ошибка приложения находится с высокой вероятностью. Но эта программа имеет ограничения вроде проверки только одного помеченного входного сокета или файла. При проведении такой операции, как тестирование программ, будет содержаться детальная информация о наличие проблем с нулевыми указателями, бесконечными циклами, некорректными адресами или неисправностями из-за использования библиотек. Конечно, это не полный список обнаруживаемых ошибок, а только их распространённые примеры. Исправлять недочеты, увы, придётся разработчикам - автоматические средства для этих целей не подходят.

KLEE

Это хорошая программа для тестирования памяти. Она может перехватывать примерно 50 системных вызовов и большое количество виртуальных процессов, таким образом, выполняется параллельно и отдельно. Но в целом программа не ищет отдельные подозрительные места, а обрабатывает максимально возможное количество кода и проводит анализ используемых путей передачи данных. Из-за этого время тестирования программы зависит от размера объекта. При проверке ставка сделана на символические процессы. Они являются одним из возможных путей выполнения задач в программе, которая проверяется. Благодаря параллельной работе можно анализировать большое количество вариантов работы исследуемого приложения. Для каждого пути после окончания его тестирования сохраняются наборы входных данных, с которых начиналась проверка. Следует отметить, что тестирование программ с помощью KLEE помогает выявлять большое количество отклонений, которых не должно быть. Она может найти проблемы даже в приложениях, которые разрабатываются десятилетиями.

Юзабилити тестирование помогает повысить конверсию сайта или интернет-магазина, найти скрытые интенты и пожелания пользователей, принять решение о разработке дополнительного функционала. Это не единственный метод исследования сайта. Принимайте решение о выборе метода, опираясь на поставленные задачи. Если нужно

найти огрехи в интерфейсе или проверить удобство пользовательских сценариев, тестируйте юзабилити сайта. Когда требуется сравнить конверсию двух вариантов лендингов, лучше сделайте А/В-тест.

Цели проведения тестирования у каждой компании разные: кто-то тестирует прототип или концепцию, кто-то проверяет гипотезы, кто-то исследует пользовательские сценарии, поэтому методы и метрики различаются. Но правила проведения, этапы подготовки и комплект сопроводительной документации схожие. Подготовили подробную инструкцию, как провести юзабилити тестирование сайта.

С чего начать

Цели и задачи. Поставьте главную цель тестирования, которая определит дальнейшее направление: задачи, задания, методы и выбор респондентов. Исходя из цели сформулируйте проблему или задачу. Это может быть проверка разработанного продукта или поиск недочетов после редизайна. Например, компания поменяла дизайн формы заказа, после этого снизилась конверсия. С помощью тестирования исследователи будут разбираться, почему так произошло и что делать.

Гипотезы. Составьте гипотезу, которую исследование подтвердит или опровергнет. Допустим, пользователи при бронировании отеля заказывают трансфер из аэропорта отдельным сообщением, не используя специальную форму заказа. В таком случае вариант гипотезы может быть такой: «пользователи не понимают, что это форма для заказа трансфера, или считают ее громоздкой для заполнения».

Сценарии. Отдельно тестируйте сценарии поведения пользователей - то, как люди взаимодействуют с сайтом. Для каждой страницы работает собственный сценарий. Для его составления ответьте на четыре вопроса:

1. Откуда пришел пользователь?
2. Что он должен увидеть на этой странице?
3. С какой целью он пришел на страницу?
4. Чем должно закончиться посещение?

Сценарий пользователя не обязательно должен быть длинным и сложным. Иногда чем короче взаимодействие, тем лучше конверсия. Например, для бизнеса по доставке картриджей, зарядок, линз важна скорость, поэтому желательно, чтобы пользователь сразу понимал, что служба доставка ему подходит.

Когда на сайт приходят разные группы посетителей, разработайте для каждой группы собственные сценария поведения. Допустим, сайт по продаже товаров оптом и в розницу имеет три группы клиентов: крупные оптовики, мелкие оптовики и розничные покупатели. Создайте для каждой группы отдельные разделы и составьте сценарии, основываясь на ответах на типовые вопросы.

Что можно померить

Количественные исследования всегда конкретны и сфокусированы, нацелены на получение числовых показателей. Это может быть время выполнения действий на сайте или доля респондентов, выполнивших задание. Результаты «да/нет» тоже можно представить в виде цифр. Например, привести их в бинарную систему: да - 1 балл, нет - 0 баллов.

Часто в тестировании применяют метод Якоба Нильсена, который переводит результаты в процентное соотношение и считает процент успешности. Рекомендуем упростить шкалу оценок и оперировать тремя вариантами:

• выполнил самостоятельно - 100%;
• выполним с помощью модератора - 50%;
• не выполнил - 0%.

Чтобы определить, насколько часто пользователи сталкиваются с проблемами, вычисляйте их частотность. Для этого посчитайте количество респондентов, которые не смогли выполнить задание из-за одной и той же проблемы. Давайте участникам тестирования одинаковые задания, тогда показатель частотности будет достоверным.

Качественные исследования выбирают, чтобы получить много разных замечаний, понять мышление пользователей, найти скрытые проблемы. Тестирование основано на открытых и гибких вопросах. Для этого проводится интервью, которое показывает степень удовлетворенности респондентов. Существует множество методик и опросников для проведения качественных исследований.

Например, модель Кано, которая была разработана японским ученым. С ее помощью узнавайте не только удовлетворенность текущей версией сайта, но и ожидания пользователей. Все ответы респондентов переводятся в баллы и ранжируются по шкале ожиданий от «мне нравится» и «я ожидаю это» до «мне не нравится и я не могу это принять». В результате исследователи строят график, который показывает, что именно аудитория считает:

• само собой разумеющимся;
• конкурентным преимуществом сайта;
• функциями, которые вызывают у них восторг;
• неважным.

По итогу проведения качественных исследований необходимо правильно интерпретировать полученные результаты. Возможно респонденты дадут много интересных предложений, но оцените их с точки зрения технической реализации и затрат на их разработку. В любом случае постарайтесь понять, какую именно потребность закрывает их предложение. Это нужно, чтобы найти способ улучшить юзабилити сайта, подходящий для вашей компании.

Какой выбрать метод

Наблюдение - самый простой метод: респондент работает в обычном режиме, модератор смотрит и анализирует его действия. В завершении респондент заполняет опросник и делится впечатлениями о сайте. Метод хорош тем, что пользователь взаимодействует с сайтом естественно, на него не давят окружающие обстоятельства.

Но есть и недостаток: респондент заполняет опросник после завершения тестирования, поэтому может не вспомнить точно, почему он поступил так или иначе. Тогда это приведет к неверному толкованию действий респондента.

Мысли вслух. Этот популярный метод был предложен Якобом Нильсеном. Суть его заключается в том, что пользователь все свои действия проговаривает вслух. Однако при подобном поведении респонденты начинают более вдумчиво подходить к выполнению заданий и часть естественности теряется.

Диалог с модератором. Метод больше всего подходит для проведения качественных исследований прототипов и концепций. Во время тестирования респонденты активно общаются с модератором, задают ему вопросы и сразу дают фидбек.

Теневой метод. Одновременно работают три участника: респондент, модератор и эксперт. Респондент свободно и независимо выполняет задания, модератор фиксирует, эксперт комментируют действия респондента.

Ретроспектива. Это метод, который сочетает в себе наблюдение и «мысли вслух». Сначала респондент выполняет задания, затем - смотрит видеозапись своих действия и комментирует их. Основной недостаток - значительное увеличение времени тестирования.

Как проводить тестирование

Личный контакт. Пусть модератор установит доброжелательный контакт с респондентами. Расскажите о тестировании и его целях, обратите внимание участника, что его ответы помогут компании сделать продукт лучше. Проведите краткий инструктаж, в котором объясните суть заданий, озвучьте регламент тестирования.

Документация. Подпишите с респондентом необходимые документы: соглашение об обработке персональных данных и договор о неразглашении результатов тестирования, если он необходим. Когда в тестировании участвуют дети, подписывайте с родителями документ о согласии на участие в исследовании.

Пробное тестирование необходимо, когда продукт сложный или задания могут вызвать затруднения у респондентов. Так они познакомятся с сайтом и поймут требования. Когда предстоит масштабное и длительное исследование, сделайте пробное тестирование перед основным. Так вы найдете недочеты в подготовке и устраните их.

Запомните

Взаимодействие пользователя с usability каждого сайта должно быть эффективным, продуктивным и удовлетворенным. Стремитесь к оправданию ожиданий пользователей. Для этого тестируйте прототипы, действующий или новый дизайн сайта. Проводите тестирование при возникновении проблем или для улучшения текущих показателей.

Материал подготовила Светлана Сирвида-Льорентэ.

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

• Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:
• Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
• Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

1. Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

1. Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

1. Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

1. Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

1. Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

1. Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

1. Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

Сегодня многие компании и учебные центры обращают свое внимание на онлайн-тестирование , почувствовав все выгоды, которые несет этот инструмент проверки знаний и навыков. Поэтому все чаще возникают вопросы о том, как проводится подобное тестирование, какие требования предъявляются к программному обеспечению и как осуществить контроль за объективностью результатов. Все актуальные вопросы мы рассмотрим в этой статье.

Что такое онлайн-тестирование?

Все мы помним студенческие времена, когда с дрожащими руками заходили в аудиторию, отвечали на вопросы преподавателя во время экзамена. Похожие эмоции люди испытывают и во время собеседования, стараясь показать себя с лучшей стороны и продемонстрировать свои знания. Легко заметить, что обе процедуры имеют много общего и обычно требуют личного присутствия участников.

Но как быть, если студенты или претенденты на должность находятся в других городах? Оплачивать переезд соискателям – дорогостоящее занятие. Это верно и для людей, обучающихся дистанционно в учебных центрах. Именно для решения этих задач и нужна система онлайн-тестирования – способ экзаменации и определения навыков человека через интернет. Все, что нужно – это компьютер и доступ в сеть.

Обычно онлайн-тестирование применяется в различных формах – это могут быть анкеты, языковые и числовые тесты, абстрактно-логические задачи. Иногда нужно давать устные ответы на вопросы программы. Методики всегда разные и зависят они от целей, которые ставит организация.

Онлайн-тестирование для учебных центров

Проведение тестирования в обучающих центрах – это инструмент, который дает возможность с минимальными затратами времени и финансовых ресурсов объективно оценить знания и навыки большого количества студентов. Онлайн-тесты всегда положительно воспринимаются и могут проводится в общем порядке или же по индивидуальному графику, как разновидность самостоятельной работы студентов.

Этот инструмент, построенный на базе системы дистанционного обучения (СДО), приобрел большую популярность, ведь он позволяет существенно расширить аудиторию и настроить тесты под индивидуальные потребности каждого учебного центра. Ушли в прошлое времена бумажной работы, связанной с тестированием студентов.

Информационные технологии предоставляют сегодня широкий спектр методов и приемов организации проверки знаний на базе компьютера. Онлайн-тестирование может быть организовано очень оперативно, именно тогда, когда оно наиболее актуально и востребовано. И сделать это сможет специалист самостоятельно, при наличии минимального опыта владения ПК. Эти причины обусловили популярность дистанционного метода проверки знаний в частных обучающих центрах и в государственных ВУЗах.

Online Assessment для HR-отделов

В настоящее время профессиональное тестирование применяется, как первый этап отбора не только во многих крупных компаниях, но и в небольших фирмах. Соискатели должны пройти автоматизированные интернет-тесты для определения манеры поведения, мотивации, способностей и знаний кандидатов.

Такая форма проверки может применяться и в процессе корпоративного обучения персонала , как способ контроля успеваемости. Благодаря этой системе проверяются реальные качества сотрудников, их психологические и профессиональные особенности, соответствия требованиям должностных позиций, а также выявление потенциальных возможностей специалистов.

Главным преимуществом подобного тестирования можно назвать удобство организации и экономичность. Не стоит забывать и про объективность, ведь перед компьютером все равны. Претендент на должность или сотрудник сможет свободно сосредоточиться на ответах, показав истинный уровень знаний. Однако стоит заметить, что такая проверка не сможет полностью заменить личное общение и дать абсолютно точное представление о навыках испытуемых.

Организация онлайн-тестирования

Для проведения экзаменации на базе компании или учебного центра, необходимо развернуть соответствующий модуль в системе дистанционного обучения. Чаще всего используются коммерческие расширения (модули) для СДО Moodle – эта система является бесплатной и установка на сервер занимает не более 10 минут. Есть и готовые онлайн-сервисы для проведения проверки знаний, однако нельзя дать полную гарантию объективности систем, которые вы не администрируете.

Важно, чтобы в модуле были качественно реализованы основные функции (создание проведение, проверка тестов). Перед началом работы пользователь должен заполнить регистрационную форму, получить свой индивидуальный номер. Одним из основных требований к организации тестирования является разработанная система оценивания результатов. Обычно, за правильный ответ дается один балл, за неправильный – ноль. Но бывают и более сложные алгоритмы выставления оценок, которые применяются в психологических и других узкоспециализированных тестах.

Как оценить модуль Online Assessment?

Выбирая решение для онлайн-тестирования, в первую очередь нужно обращать внимание на его функциональность и удобство использования. А потому к модулям обычно предъявляют такие требования:

• Доступ к тестированию и администрированию через обычный веб-браузер.
• Возможность добавлять файлы любого формата со ссылкой на них из статей.
• Качественная система отчетности по результатам тестирования с выводом диаграмм.
• Возможность создания психологических тестов.
• Поддержка стандарта ipv6 .
• Настраиваемая система оценок для каждого теста (баллы, проценты).
• Использование медиа-контента в вопросах тестов.
• Наличие различных типов вопросов: множественный выбор, одиночный выбор, произвольный ввод.
• Автоматическая проверка тестов.
• Удобный и русифицированный интерфейс.

Контроль результатов

При дистанционной форме тестирования и экзаменации, ключевой становится проблема контроля за достоверностью результатов. Именно поэтому и принимаются специальные меры, которые призваны минимизировать возможность обмана и обеспечить объективность тестирования:

• Доступ к учебным ресурсам осуществляется только по индивидуальным паролям или идентификаторам.
• Используются шифры и кодировки с целью защиты тестов от несанкционированного доступа со стороны.
• Программы тестирования запускаются администраторами только под паролем.
• Использование дополнительных технических средств (веб-камер).
• Ограничение времени на ответ, применение случайного перемешивания вариантов ответов.
• Использование статистической защиты при тестировании – оценка данных протоколов специальными алгоритмами, которые позволяют обнаружить подлог.

Эти и другие методы призваны обеспечить достоверность и точность проведенного тестирования и уже доказали свою эффективность. Но конечно главной гарантией является профессионализм и слаженная работа ответственных сотрудников при проведении экзаменации.

Как видим, система онлайн-тестирования получила широкое распространение и уже давно внедрятся многими компаниями, не только из-за того, что является крайне выгодным, экономичным решением, но и потому что позволяет оперативно организовывать проверку знаний, получая максимально объективный результат.

Верю, что с помощью качественного контента можно обогнать конкурентов, завоевать доверие читателя и превратить его в благодарного клиента.