UX
Usability Testing
Analytics
как делать продукты,
которые любят
Зачем проводить юзер-тестирование
Get out of the building.
Steve Blank• Кто наши клиенты?
• Какие их проблемы мы решаем?
• Какое их текущее поведение?
• За какие продукты они готовы платить (ещё до
запуска)
• Как создавать продукты, которые соответствуют
тому, как клиенты принимают решения, покупают и
пользуются ими
Шаг №1 - цель
• Для чего мы проводим интервью?

• Что хотим узнать?

Можно сформулировать гипотезы:

• Я предполагаю, что мобильные маркетологи тратят много времени на
настройку A/B-тестов вручную.

• Я предполагаю, что пользователи конструктора приложений смогут найти
на страничке интеграцию со сторонними сервисами
Сколько нужно интервьюируемых?
5 интервью
85% проблем с интерфейсом
Jacob Nielsen and Thomas K.
Landauer, “A Mathermatical Model of
the Finding of Usability Problems”
выявляют
Где искать респондентов?
B2B: Linkedin B2C: Craigslist
Какие тесты проводить?
- water cooler тест

- guerilla tests

- usability

- внутренние тесты с командой (новые
сотрудники)

- проверка опыта прохождения целевых
действий в продукте (регистрация,
оплата)
Структура: интро
Зачем мы здесь сегодня собрались?
Кто мы?
Как будет проходить сессия?
Сколько она продлится?
Ведется ли запись (разрешение)?
Кто будет смотреть запись?
Структура: контекст
Задать контекст:
- если это beta - подчеркните это
- погружение - расскажите
историю о том, как человек узнал
о продукте
- начальная точка - App Store для
приложения, Google Search page
для вебсайта
Структура: разговори меня!
Задаем общие вопросы

Самые важные: 

- демография

- пользовались ли похожими продуктами 

- опыт: что нравится/не нравится в текущих
продуктах

- откуда узнали о них?
Список задач, успешность и простоту выполнения
которых вам нужно проверить в продукте

Например, SaaS для A/B-тестирования:

1. Регистрация

2. Создание A/B-теста

3. Трафик для теста - создание рекламной кампании

4. Анализ отчета по проведенной кампании
Структура: к делу!
Структура: к делу!
В рамках каждого пункта список задач
разбивается на более мелкие подпункты,
которые проверяют, работает ли каждая
составляющая интерфейса.

Пример из SaaS для A/B-тестирования
Задача 1: регистрация
Задача 2: создание A/B-теста
Задача 3:
создание
рекламного
поста в Facebook
Задача 4: анализ отчета по A/B-тесту
Что спрашивать:
исследование продуктов конкурентов
○ Что нравится в этом продукте?
○ Что больше всего не нравится?
○ Что смущает?
○ Что раздражает? Чего не хватает?
○ Как начали пользоваться этим решением/сервисом?
○ Откуда узнали о нём?
○ Пробовали до этого что-либо подобное?
○ Если да, то почему выбрали именно это решение
Что спрашивать: usability
• Что делает этот продукт/приложение?
• Для кого этот продукт предназначен?
• Что можно сделать на этой странице/экране?
• Что бы вы делали дальше?
• Что вы думаете об этом продукте?
• Как всё прошло?
• Как бы вы делали, если бы меня не было рядом?
• Что вы ожидаете, когда зайдете сюда?
Когда user тестирование не работает:
Entertainment и Gamedev
Basecamp way
Basecamp не
проводит
тестирование - они
запускают
функционал сразу
части клиентов и
смотрят, как это
работает по
аналитике
Project management tool
Аналитика: запись сессий
для WEB
для MOB
Аналитика
Анализ паттернов поведения пользователей
Оценка каналов привлечения
Измерение эффективности A/B-тестов
Аналитика Что?
Аналитика Кто?
Аналитика: как посмотреть на
продукт глазами пользователей
• Проверить, происходит ли “правильное” (то, что вы задумали)
использование продукта?
• Какие шаги проходят пользователи, прежде чем понимают
крутость/полезность вашего продукта (a-ha moment)?
• Как и для чего люди используют ваш продукт?
• С какими проблемами они сталкиваются?
• Какие пользователи остаются, а какие уходят? Чем они
отличается их поведение?
Проанализировать сессии 50-100 пользователей
http://gopractice.ru/sessions-yo/
Ресурсы
1. Introduction
• Lean Customer Development by Cindy Alvarez. The complete guide to customer development.
• UX for Lean Startup by Laura Klein. Design Qualitative Validation
2. Validation
• Running Lean by Ash Maurya. Building a sustainable business model - core interview types
• The Entrepreneur’s guide to Customer Development by Brant Cooper (short version of the 4 Steps to Epiphany - optional,
part of it is covered in Running Lean)
3. How-to Articles Lists
• 26 Resources to Help You Master Customer Development Interviews Hacks and tricks https://blog.kissmetrics.com/26-
customer-development-resources/
• Top tips to get started with user research List of must-reads - https://userresearch.blog.gov.uk/2015/03/18/so-youre-
going-to-be-a-user-researcher-top-tips-to-get-you-going/
4. Source
• Customer Development Theory The whole “Get out of the building” theory by Steve Blank - 4 Steps to Epiphany
5. Interview Questions
• How to maintain neutrality: https://sensible.com/downloads/things-a-therapist-would-say.pdf
• Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems by Steve Krug
Спасибо!
Anna Maistrenka
anna.maistrenka@gmail.com
annnette
amaistrenka

More Related Content

PDF
Как мы строили дизайн-команду
PDF
Дизайнер в аутсорсе: как победить себя и всех
PPTX
ДЗ №2
PPTX
Post Agile эра / Борис Вольфсон (HeadHunter)
PPTX
#No estimate. Безоценочная разработка
PDF
Николай Борисов, Кирилл Сатюков. Подход к ведению бизнеса в крупных компаниях...
PPTX
Сергій Марцинюк "A kind of Magic." Lviv Project Management Day 2017
PPTX
Lean leadership
Как мы строили дизайн-команду
Дизайнер в аутсорсе: как победить себя и всех
ДЗ №2
Post Agile эра / Борис Вольфсон (HeadHunter)
#No estimate. Безоценочная разработка
Николай Борисов, Кирилл Сатюков. Подход к ведению бизнеса в крупных компаниях...
Сергій Марцинюк "A kind of Magic." Lviv Project Management Day 2017
Lean leadership

What's hot (20)

PDF
Галина Митричева
PPTX
Тестировщик в стартапе. Зачем и как
PDF
Виктор Яковлев, Aitoc влияние внешних участников на успешность продукта #pcam...
PPTX
Правила отбора: как отобрать правильных тестировщиков в свою команду
PDF
Как тестировщику выжить в стартапе
PPTX
Тестирование в условиях Lean: как приручить MVP?
PPT
Шпунтенко Ольга, Mail.ru Group
PPTX
Промышленная разработка ПО. Лекция 8. Особенности работы руководителя проекто...
PPTX
Product development. Founder Institute
PPTX
Agile Coach и Scrum Master как руководители нового типа
PPTX
Промышленная разработка ПО. Лекция 7. Особенности работы руководителя проектов
PPTX
Иван Константинов
PPTX
Development process в большой компании
PPT
Алена Новоселова, Яндекс.Деньги
PDF
Принцип YAGNI в управлении проектами - Анна Тарасенко Dev2Dev v2.0 30.05.2015
PDF
Роман Бочаров. Быстрые циклы и качественные исследования в разработке продукта.
PPTX
Дизайн-мышление. Что это и могут ли аналитики его применять?
PPTX
Как обеспечить свою студию квалифицированными кадрами
PDF
Дмитрий Плетнев
Галина Митричева
Тестировщик в стартапе. Зачем и как
Виктор Яковлев, Aitoc влияние внешних участников на успешность продукта #pcam...
Правила отбора: как отобрать правильных тестировщиков в свою команду
Как тестировщику выжить в стартапе
Тестирование в условиях Lean: как приручить MVP?
Шпунтенко Ольга, Mail.ru Group
Промышленная разработка ПО. Лекция 8. Особенности работы руководителя проекто...
Product development. Founder Institute
Agile Coach и Scrum Master как руководители нового типа
Промышленная разработка ПО. Лекция 7. Особенности работы руководителя проектов
Иван Константинов
Development process в большой компании
Алена Новоселова, Яндекс.Деньги
Принцип YAGNI в управлении проектами - Анна Тарасенко Dev2Dev v2.0 30.05.2015
Роман Бочаров. Быстрые циклы и качественные исследования в разработке продукта.
Дизайн-мышление. Что это и могут ли аналитики его применять?
Как обеспечить свою студию квалифицированными кадрами
Дмитрий Плетнев
Ad

Similar to Design Talks 2017 (20)

PPTX
Как быть заказчиком продукта?
PPTX
CodeFest 2013. Бесков Д. — Как быть заказчиком продукта
PDF
Startup Sprint
PPT
Presentacion Ruso
PPT
Presentacion Ruso
PDF
Лицом к лицу с клиентом пойми кто твой клиент и продавай больше
PDF
Ключевые этапы подготовки и запуска мобильного приложения (Сергей Канищев, Co...
PPTX
Landing Pages для разных видов бизнеса.
PDF
Продвижение мобильных приложений: с чего начать?
PPT
Growhackua
PDF
Running Lean (Игорь Акимов, ABBYY)
PPTX
Карго-культ
PDF
Дернов Григорий
PDF
10 принципов маркетинга крупного интернет-проекта
 
PPTX
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
PPT
Юзабилити Сайта
PPT
Юзабилити сайта
PDF
Интернет маркетинг (День 3), лекция в НИУ ВШЭ. Пермь
PDF
A/B тестирование и грабли
PDF
тестирование и грабли
Как быть заказчиком продукта?
CodeFest 2013. Бесков Д. — Как быть заказчиком продукта
Startup Sprint
Presentacion Ruso
Presentacion Ruso
Лицом к лицу с клиентом пойми кто твой клиент и продавай больше
Ключевые этапы подготовки и запуска мобильного приложения (Сергей Канищев, Co...
Landing Pages для разных видов бизнеса.
Продвижение мобильных приложений: с чего начать?
Growhackua
Running Lean (Игорь Акимов, ABBYY)
Карго-культ
Дернов Григорий
10 принципов маркетинга крупного интернет-проекта
 
QA Fest 2014. Виктор Гожий. Практика юзабилити тестирования на проекте от а до я
Юзабилити Сайта
Юзабилити сайта
Интернет маркетинг (День 3), лекция в НИУ ВШЭ. Пермь
A/B тестирование и грабли
тестирование и грабли
Ad

Design Talks 2017

  • 1. UX Usability Testing Analytics как делать продукты, которые любят
  • 2. Зачем проводить юзер-тестирование Get out of the building. Steve Blank• Кто наши клиенты? • Какие их проблемы мы решаем? • Какое их текущее поведение? • За какие продукты они готовы платить (ещё до запуска) • Как создавать продукты, которые соответствуют тому, как клиенты принимают решения, покупают и пользуются ими
  • 3. Шаг №1 - цель • Для чего мы проводим интервью? • Что хотим узнать? Можно сформулировать гипотезы: • Я предполагаю, что мобильные маркетологи тратят много времени на настройку A/B-тестов вручную. • Я предполагаю, что пользователи конструктора приложений смогут найти на страничке интеграцию со сторонними сервисами
  • 4. Сколько нужно интервьюируемых? 5 интервью 85% проблем с интерфейсом Jacob Nielsen and Thomas K. Landauer, “A Mathermatical Model of the Finding of Usability Problems” выявляют
  • 6. Какие тесты проводить? - water cooler тест - guerilla tests - usability - внутренние тесты с командой (новые сотрудники) - проверка опыта прохождения целевых действий в продукте (регистрация, оплата)
  • 7. Структура: интро Зачем мы здесь сегодня собрались? Кто мы? Как будет проходить сессия? Сколько она продлится? Ведется ли запись (разрешение)? Кто будет смотреть запись?
  • 8. Структура: контекст Задать контекст: - если это beta - подчеркните это - погружение - расскажите историю о том, как человек узнал о продукте - начальная точка - App Store для приложения, Google Search page для вебсайта
  • 9. Структура: разговори меня! Задаем общие вопросы Самые важные: - демография - пользовались ли похожими продуктами - опыт: что нравится/не нравится в текущих продуктах - откуда узнали о них?
  • 10. Список задач, успешность и простоту выполнения которых вам нужно проверить в продукте Например, SaaS для A/B-тестирования: 1. Регистрация 2. Создание A/B-теста 3. Трафик для теста - создание рекламной кампании 4. Анализ отчета по проведенной кампании Структура: к делу!
  • 11. Структура: к делу! В рамках каждого пункта список задач разбивается на более мелкие подпункты, которые проверяют, работает ли каждая составляющая интерфейса. Пример из SaaS для A/B-тестирования
  • 15. Задача 4: анализ отчета по A/B-тесту
  • 16. Что спрашивать: исследование продуктов конкурентов ○ Что нравится в этом продукте? ○ Что больше всего не нравится? ○ Что смущает? ○ Что раздражает? Чего не хватает? ○ Как начали пользоваться этим решением/сервисом? ○ Откуда узнали о нём? ○ Пробовали до этого что-либо подобное? ○ Если да, то почему выбрали именно это решение
  • 17. Что спрашивать: usability • Что делает этот продукт/приложение? • Для кого этот продукт предназначен? • Что можно сделать на этой странице/экране? • Что бы вы делали дальше? • Что вы думаете об этом продукте? • Как всё прошло? • Как бы вы делали, если бы меня не было рядом? • Что вы ожидаете, когда зайдете сюда?
  • 18. Когда user тестирование не работает: Entertainment и Gamedev
  • 19. Basecamp way Basecamp не проводит тестирование - они запускают функционал сразу части клиентов и смотрят, как это работает по аналитике Project management tool
  • 21. Аналитика Анализ паттернов поведения пользователей Оценка каналов привлечения Измерение эффективности A/B-тестов
  • 24. Аналитика: как посмотреть на продукт глазами пользователей • Проверить, происходит ли “правильное” (то, что вы задумали) использование продукта? • Какие шаги проходят пользователи, прежде чем понимают крутость/полезность вашего продукта (a-ha moment)? • Как и для чего люди используют ваш продукт? • С какими проблемами они сталкиваются? • Какие пользователи остаются, а какие уходят? Чем они отличается их поведение? Проанализировать сессии 50-100 пользователей http://gopractice.ru/sessions-yo/
  • 25. Ресурсы 1. Introduction • Lean Customer Development by Cindy Alvarez. The complete guide to customer development. • UX for Lean Startup by Laura Klein. Design Qualitative Validation 2. Validation • Running Lean by Ash Maurya. Building a sustainable business model - core interview types • The Entrepreneur’s guide to Customer Development by Brant Cooper (short version of the 4 Steps to Epiphany - optional, part of it is covered in Running Lean) 3. How-to Articles Lists • 26 Resources to Help You Master Customer Development Interviews Hacks and tricks https://blog.kissmetrics.com/26- customer-development-resources/ • Top tips to get started with user research List of must-reads - https://userresearch.blog.gov.uk/2015/03/18/so-youre- going-to-be-a-user-researcher-top-tips-to-get-you-going/ 4. Source • Customer Development Theory The whole “Get out of the building” theory by Steve Blank - 4 Steps to Epiphany 5. Interview Questions • How to maintain neutrality: https://sensible.com/downloads/things-a-therapist-would-say.pdf • Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems by Steve Krug