Włączenie kultury ciągłego eksperymentowania do procesu projektowania produktu jest niezbędne dla podniesienia poziomu doświadczeń użytkowników i zwiększenia zysków firmy. Zamiast skupiać się na jednym rozwiązaniu, wdrażać je, a następnie oceniać, eksperymentalny projekt produktu buduje szereg rozwiązań, aby szybko określić, które z nich działa najlepiej.

Aby dowiedzieć się, jak poprawić doświadczenia użytkowników poprzez eksperymentalne projektowanie produktów, rozmawialiśmy z Chrisem Gibbinsem, dyrektorem ds. doświadczeń (CXO) w Creative CX, firmie konsultingowej zajmującej się zaawansowanymi eksperymentami z siedzibą w Londynie. Chris jest zorientowanym na człowieka profesjonalistą w dziedzinie projektowania/UX z ponad 20-letnim doświadczeniem, który mówił o eksperymentowaniu na wielu imprezach i konferencjach.

Czym jest eksperymentalne projektowanie produktów?

Chris: Eksperymentalne projektowanie produktów polega na przyjęciu naukowej metody eksperymentowania stosowanej od wielu lat w medycynie, rolnictwie i innych dziedzinach i zastosowaniu jej do optymalizacji doświadczeń w projektowaniu produktów cyfrowych. Zazwyczaj polega ona na testowaniu różnych treści i elementów interfejsu pod kątem skuteczności: nagłówków, obrazów, układu, kolorów, przycisków i innych elementów. Jednak nie tylko w przypadku małych udoskonaleń UX-ów, firmy wykorzystują go również do testowania przeprojektowania całych podróży użytkowników, nowych funkcji, a nawet funkcjonalności back-end.

Kluczowa zasada eksperymentowania polega na udowodnieniu lub obaleniu hipotezy metodą naukową. Chodzi o obalenie tego, że różnica, którą widzimy pomiędzy dwoma wersjami projektu, ma cokolwiek wspólnego ze szczęściem. Zamiast polegać na korelacji, chodzi o przyczynę. Używając pomiarów, dowiadujemy się, czy dany projekt jest statystycznie lepszy od innego. Czy możemy być pewni w 70% lub 95%? Statystyki dadzą nam odpowiedź.

Eksperymentalny projekt produktu jest wykonywany w sposób randomizowany z kontrolą, stanem aktualnym projektu. Podczas przeprowadzania testu porównujemy nowe warianty projektu z kontrolą za pomocą testów A/B/n lub testów wieloczynnikowych. Kontrola zapewnia wiarygodność wyników poprzez porównanie jej pomiarów z wahaniami". Krótko mówiąc, eksperymentowanie polega na ilościowym określeniu, jak ludzie reagują na zmiany w projekcie. Może być ona tak mała jak zmiana ikony, lub tak duża jak przeprojektowany proces kasy.

Intencją jest podejmowanie lepszych decyzji dotyczących ulepszeń projektu i szybkie ustalenie, które rozwiązanie projektowe działa i dlaczego. Wszystkie projekty produktów są oparte na hipotezach i pomysłach, które mogą okazać się nieskuteczne. Jeśli założenia nie zostaną przetestowane, projektanci nie dowiedzą się, co działa, a co nie, więc będą trzymać się określonego sposobu działania, często określając go jako wynikający z "najlepszych praktyk" i swoich wieloletnich doświadczeń.

Jaka jest wartość eksperymentalnego projektowania produktów?

Chris: Domena cyfrowa jest doskonałym środowiskiem do stosowania naukowych metod eksperymentowania, ponieważ jest o wiele łatwiejsza do zrobienia niż w prawdziwym świecie. Założenie eksperymentu zajmuje trochę czasu, ale dzięki niektórym nowym narzędziom możemy szybciej uzyskać głębszy wgląd, śledząc zachowanie ludzi. Ten przyspieszony proces szybko wzmacnia UX, a wyniki dają również wymierne wskaźniki biznesowe.

Podczas eksperymentu zazwyczaj testujemy trzy lub cztery warianty projektu. Jeśli mamy trzy warianty, 25% ruchu przechodzi do kontroli (obecna strona), 25% przechodzi do wariantu pierwszego, 25% do wariantu drugiego i 25% do wariantu trzeciego.

Wykonywanie testów A/B/n (kilka wariantów) jest preferowane w porównaniu z wykonywaniem testów A/B (pojedynczy wariant), ponieważ ten pierwszy daje nam więcej swobody twórczej, aby być "eksperymentalnym". Na przykład, jedna z wariacji może być pomysłem z dzikiej karty, który niekoniecznie od razu przyniesie pożądany rezultat , ale może poprowadzić nas w innym kierunku i otworzyć nowe możliwości.

W związku z tym możemy myśleć na dwa sposoby o wartości eksperymentowania w projektowaniu. Po pierwsze, gdzie chcemy zmierzyć efektywność: czy projekt sprawdza się lepiej, czy nie. Po drugie, gdzie możemy wykorzystać go jako kreatywny plac zabaw do wypróbowania nietypowych pomysłów.

Nasz sukces w Amazonce zależy od tego, ile eksperymentów przeprowadzamy w ciągu miesiąca, tygodnia i dnia...Jeff Bezos

Jakie są niektóre przykłady projektowania eksperymentalnego?

Chris: Dzięki eksperymentom odnieśliśmy wiele sukcesów, ułatwiając i przyspieszając wykonywanie zadań użytkownikom, co również wpłynęło na wynik finansowy firmy.

Podczas ostatniego projektu testowania użyteczności przeanalizowaliśmy wysiłek, jaki ludzie musieli włożyć w poruszanie się po mobilnej stronie z menu hamburgera. Trochę czasu zajęło im odkrycie menu, trzy do czterech kliknięć, aby znaleźć odpowiednią kategorię, a następnie dostać się do produktów. Wydawało się to zbyt dużym wysiłkiem - "ładunkiem poznawczym" w salonie UX.

Po napisaniu oświadczenia o problemie klienta i przeprowadzeniu sesji ideowej, przeprowadziliśmy internetowy eksperyment. Najpierw, A/B przetestowali ulepszenia w menu hamburgera poprzez dodanie etykiety "menu". Po drugie, wypróbowaliśmy bardziej radykalną zmianę projektu, wprowadzając przewijane menu w poziomie na górze, aby ułatwić nawigację. Wyniki pokazały, że zmiana wyglądu z przewijanym menu poziomym znacznie zwiększyła liczbę osób szybciej przechodzących na strony produktu i dokonujących zakupów.

W innym, niedawno zrealizowanym projekcie eCommerce mobile, stwierdziliśmy, że pomimo założeń projektantów, że wszyscy wiedzą, jak machać ręką na rzeczy, nie było to możliwe w przypadku galerii zdjęć produktów na urządzeniach mobilnych. Umieścili oni pod obrazem produktu sześć małych wskaźników kropkowych (czasami nazywanych "pipami"), aby wskazać, że dostępnych jest wiele zdjęć. Wskaźniki karuzelowe są powszechnym wzorcem mobilnego interfejsu użytkownika, ale mimo to klienci nie wchodzili w interakcję ze zdjęciami tak, jak chcieli tego projektanci.

Zastanawialiśmy się: "Jak to się stało, że wszyscy wchodzą w interakcję ze zdjęciami produktów na pulpicie, ale nie na urządzeniach mobilnych? Wiele osób korzystających z urządzeń mobilnych w ogóle tego nie robi i być może jest to jeden z powodów, dla których wskaźnik konwersji w urządzeniach mobilnych jest tak niski". Może dlatego, że nie potrafią rozszyfrować, co te małe kropki oznaczają, albo po prostu nie są wystarczająco oczywiste. Niektórzy ludzie niekoniecznie rozumieją wzorzec UI oznaczający "machnij, żeby zrobić więcej zdjęć". Ponieważ zdjęcia produktów są krytyczne dla użytkowników podczas zakupów online, był to poważny problem klienta, który wymagał rozwiązania.

Aby znaleźć rozwiązanie, przetestowaliśmy trzy warianty wzornictwa. Dla pierwszego wariantu umieściliśmy strzałki w lewo i w prawo obok zdjęć, aby zasygnalizować dostępność większej ilości zdjęć. Teoria mówiła, że będą one oznaczać "swipeability" dla tych, którzy nie są z tym zaznajomieni.

Dla wariantu drugiego, dodaliśmy miniatury pod obrazami na telefonie komórkowym, aby użytkownicy mogli uzyskać podgląd innych dostępnych obrazów, nawet jeśli były one trochę małe. Wariancja trzecia łączyła w sobie obie te zmiany i zawierała miniatury i strzałki, które uważaliśmy, że mogą być trochę zbyt zagracone dla użytkowników, ale nadal warte przetestowania. Ku naszemu zaskoczeniu, wersja z miniaturami i strzałkami wygrała. Dane pokazały, że znacznie poprawiła ona sposób interakcji ludzi z wizerunkami produktów.

Widzieliśmy30% wzrost liczby osób zajmujących się wizer unkami produktów w związku z tymi zmianami projektowymi, a także znaczący wzrost wskaźników konwersji, co zwiększyło przychody firmy. Na marginesie, pozostałe dwie zmiany projektowe również odniosły sukces, jednak nie tak duży jak zmiana trzecia. Jedyne, co zrobiliśmy, to ulepszenie doświadczenia użytkownika poprzez eksperymentowanie z projektowaniem. Niektórzy projektanci mogą sprzeciwiać się niektórym z tych opcji z powodów estetycznych, ale to działa. Naszym zadaniem, jako projektantów, jest ulepszanie UX-ów dla klientów i dostarczanie wartości dla firm.

Czym jest test "Fałszywych Drzwi"?

Chris: Test "fałszywych drzwi", zwany też "malowanymi drzwiami", pokazuje coś w produkcie, co przypomina pewną cechę i mierzy, jak ludzie się z nią angażują. Metoda "fałszywych drzwi" polega na testowaniu czegoś przed jego zbudowaniem. Może być wykorzystywana do oceny nowych cech produktu, nowych pomysłów biznesowych, a nawet nowych usług.

Wiemy, że budowanie nowych funkcji produktu i ich testowanie wiąże się z ogromnymi kosztami. Może to być cecha wysokiego ryzyka, którą zespoły produktowe chcą zbadać. Na przykład, stworzenie zupełnie nowej usługi na stronie e-commerce wymaga nie tylko front-endu, ale także infrastruktury back-endu. Firma może również być zmuszona do przemyślenia całego projektu usługi, który się za nią kryje: obsługi klienta i wsparcia technicznego.

Test drzwi malowanych jest podobny do metody eksperymentalnej Kreatora typu Oz, gdzie "podrabiaszgo przed wykonaniem". Zaprojektowalibyśmy minimalną reprezentację danej funkcji, np. wprowadzenie nowej metody płatności podczas kasowania. Następnie umieszczalibyśmy ją przed segmentem użytkowników, testowalibyśmy i zbierali opinie. Po uruchomieniu "udawanej funkcji", projektanci mogą obserwować, co dzieje się z projektem poprzez pomiary.

Ten rodzaj testowania jest nieco kontrowersyjny i musi być traktowany delikatnie. Musimy ostrożnie radzić sobie z rozczarowaniami, ponieważ nie jest to funkcja działająca. Kiedy ludzie klikają na nią, musimy umieścić przyjazną wiadomość, która mówi: "Dziękuję za zainteresowanie. Ta funkcja nie jest jeszcze gotowa, ale to jest coś, co rozważamy." Opcjonalnie, możemy kontynuować z pytaniem: "Czy to jest coś, czego byście użyli?" Jeśli pomiary wykażą pozytywny oddźwięk, firma może zdecydować się na jego zbudowanie.

Czy eksperymentalny projekt produktu jest taki sam jak projekt oparty na danych?

Chris: Eksperymentalne projektowanie, ze swej natury, jest przede wszystkim ilościowy. Możemy A/B przetestować dziesiątki projektów, przyjrzeć się danym i wybrać ten najbardziej wydajny. To wszystkie decyzje oparte na danych.

Jednakże, w dzisiejszych czasach, eksperymentalny projekt produktu przecina Jakościowy Dziedzina. Możemy śledzić przewijanie i inne rodzaje interakcji z każdym elementem w UI. Poprzez analizę strumienia kliknięć możemy obserwować zmiany w zachowaniu, co ludzie mogą myśleć. Kiedy przewijają stronę, klikają coś, machają obrazem; jeśli to wszystko jest śledzone, możemy zobaczyć dobre i złe jak "ich oczami" w danych. To nie jest czysto ilościowe. Zawiera w sobie wgląd behawioralny.

W dzisiejszych czasach dysponujemy również bardzo zaawansowanymi narzędziami, takimi jak komputerowa analiza wspomagana widzeniem, która może wykryć wahanie, wykryć frustrację na twarzach i wysłuchać rozczarowania w głosach ludzi. Następnie możemy połączyć dane ilościowe z jakościowymi, aby uzyskać bardzo bogaty wgląd w użytkowanie produktu.

Dlaczego analiza behawioralna z danymi ilościowymi jest cenna? Wypełnia ona luki. Zazwyczaj możemy zaobserwować kilka kluczowych rzeczy podczas testów osobistych: ludzie wahają się lub gdy się wymykają. W zdalnych, moderowanych testach użyteczności, na przykład, mamy możliwość zadawania kolejnych pytań lub wyznaczania kolejnych zadań. Nie jest to coś, co generalnie możemy zrobić z eksperymentowaniem. Jednakże, jeśli możemy połączyć dane behawioralne z innymi typami danych, nasze spostrzeżenia mogą być głębsze.

Zadziwiające może być obserwowanie takich rzeczy, jak "wściekłe kliknięcia", na przykład, za pomocą narzędzi do nagrywania sesji. Pozwala nam to wyjść poza zimne, twarde dane. Widzimy, jak ludzie są sfrustrowani lub źli, gdy utknęli. Możemy obserwować to poprzez nieregularne ruchy myszki lub powtarzające się kliknięcia w tę samą rzecz. Coś nie działa i możemy się z tego nauczyć.

Codziennie przeprowadzamy tysiące jednoczesnych eksperymentów, aby szybko potwierdzić swoje pomysły. Eksperymenty stały się tak zakorzenione w kulturze Booking.com, że każda zmiana z całych przebudowy do zmian infrastrukturalnych jest owinięta w eksperyment.Booking.com

Jakich narzędzi mogą używać projektanci do eksperymentowania?

Chris: Istnieją dwa rodzaje narzędzi do eksperymentowania, które firmy zwykle używają: narzędzia gotowe do użycia, takie jak Optimizely, Monetate, Qubit, Google Optimize, VWO, Adobe Target i AB Tasty oraz niestandardowe narzędzia, które wiele z nich opracowuje.

Niektóre firmy, takie jak Booking.com słynący z eksperymentów - zbudowały narzędzia testowe i zintegrowały je z systemem. Dla nich opłaca się to, ponieważ są one tak rozległą organizacją. Facebook, Google i Amazon również mają niestandardowe narzędzia, oczywiście, ale większość projektantów eksperymentalnych produktów używać gotowych narzędzi.

Narzędzia eksperymentalne rozwijają się i są coraz lepsze przez cały czas. Narzędzia do nagrywania sesji nowej generacji, takie jak Smartlook, SessionCam, Contentsquare i Hotjar dostarczają użytecznych, bogatych danych z wyrafinowanymi interfejsami UI. Narzędzia takie jak te mogą pomóc w udoskonaleniu naszych eksperymentów, ponieważ zapewniają większy wgląd w to, jak użytkownicy wchodzą w interakcję z każdą odmianą projektu. Pomagają one zespołom produktowym lepiej zrozumieć, dlaczego niektóre projekty są lepsze lub gorsze, a także mogą pomóc w iteracji follow-on.

99% wszystkich innowacji w firmie Amazon ma charakter przyrostowy.Jeff Bezos

Jak projektanci mogą wykorzystać zalety eksperymentalnego projektowania produktów?

Chris: Eksperymenty to potężna technika projektowania, która może być łatwo zintegrowana z procesem projektowania. Jest ona podobna do metody "How-Might-We" w myśleniu projektowym, która jest ważną częścią procesu ideowego. Pytając , jak możemy rozwiązać ten problem? projektanci mogą eksperymentować z kilkunastoma projektami, aby udoskonalić ten, który działa.

Projektanci mają tendencję do myślenia o projektowaniu jako o układach i schematach kolorystycznych, chłodnej typografii, umiejętnym wykorzystaniu negatywnej przestrzeni, równowadze i innych elementach wizualnych. Wszystko to jest ważne, ale projekt musi działać na rzecz klienta i biznesu.

Poprzez proces eksperymentowania, działania klienta i wykonanie zadania decydują o tym, który projekt działa najlepiej. Jeśli monitorujemy odpowiednie wskaźniki, takie jak postęp w obrębie witryny, zwiększenie liczby oglądanych obrazów produktów oraz wskaźniki biznesowe, takie jak współczynnik konwersji, przychody i średnia wartość zamówienia, w efekcie śledzimy to, co ma największe znaczenie dla użytkownika i firmy. W końcu, użytkownik wykonujący zadanie, do którego przyszedł na stronę, jest krytyczną metryką, która powinna mieć największe znaczenie dla projektantów UX. Na przykład: Jak łatwo klient mógł znaleźć lokalizator sklepu? Czy przepływ w kasie był tak wolny od tarcia, jak to tylko możliwe?

Mądrzy ludzie biznesu nauczyli się dawno temu: "To, co jest dobre dla klienta, jest zazwyczaj dobre dla biznesu". W przypadku strony e-commerce chodzi o ułatwienie zakupów i przekazanie klientom szczegółowych informacji o zegarku, bucie czy luksusowej torbie, które są dla nich istotne. Kolejnym celem jest szybkie i łatwe dokończenie zakupu. Aby to zrobić, musimy usunąć wszelkie tarcie, w czym wyróżnia się eksperymentowanie. Ta część polega na tym, aby skutecznie przeprowadzić ludzi przez lejek i pomóc im w ukończeniu ostatecznego zadania, jakim jest zakup produktu.

W coraz bardziej cyfrowym świecie, jeśli nie eksperymentujesz na dużą skalę... jesteś martwy.Mark Okerstrom, dyrektor generalny Expedia

Czy eksperymentalne projektowanie produktów zabija kreatywność?

Chris: Jest to pojęcie, które pojawia się często. Ostatnio słyszałem hecklera na konferencji, na której mówca mówił o projektowaniu i eksperymentowaniu w oparciu o dane. Krzyknął: "Jak możesz być kreatywny, skoro masz liczby, które mówią ci, co powinieneś robić?" Uważał, że patrzenie na liczby zabija kreatywność.

Jest zupełnie odwrotnie. To wzmacnia skuteczność tego, co robimy. Zwiększa kreatywność, ponieważ możemy pozwolić sobie na projektowanie "poza pudełkiem". Nie tylko zero na najbardziej efektywny projekt, ale też testowanie pomysłów z dzikiej karty. Radykalnie kreatywny projekt może okazać się zwycięzcą, który przemieni wiele osób lub przyniesie więcej dochodów. Możemy przesuwać granice, ponieważ mamy sieć bezpieczeństwa polegającą na eksperymentowaniu. Zamiast podążać za wszystkimi innymi (lub kopiować), możemy wykorzystać eksperymentowanie, aby pomóc organizacjom wprowadzać innowacje i przewodzić.

Proces projektowania eksperymentów jest niekonwencjonalnym sposobem myślenia, który może być trudny do przyjęcia. Większość projektantów jest przyzwyczajona do łączenia się w jedno rozwiązanie po badaniach nad UX-em i produkcji różnych artefaktów UX-owych. Opracowują oni ostateczny projekt, który przechodzi przez implementację. Później zespół projektantów mierzy go, aby sprawdzić, czy jest lepszy od poprzedniego i czy cały wysiłek był tego wart. Dzięki eksperymentalnemu projektowi produktu, ryzykujemy o wiele mniej i znacznie szybciej dowiadujemy się, co działa.

Warto zauważyć, że bycie kreatywnym nie zawsze polega na dodawaniu rzeczy. Może polegać na ich usuwaniu. Projektanci mogą powiedzieć: "Patrzcie, możemy dostosować układ" lub "Co jeśli usuniemy ten element?". Niektóre eksperymenty z doskonałymi wynikami mogą wynikać z usunięcia bałaganu na stronie lub w aplikacji mobilnej w celu uproszczenia doświadczenia.

Mimo to, musimy przyznać, że spychanie rzeczy na skraj w kreatywny sposób może być ryzykowne. Kiedy eksperymentujemy, ważne jest, aby przetestować małą partię i "nie postawić farmy" na nic. Dla firmy, która zarabia miliony dolarów tygodniowo, na przykład, jest to zbyt ryzykowne, aby iść z jelitem i wprowadzać projekty bez prowadzenia kontrolowanego eksperymentu online. Jeśli to nie zadziała, możemy natychmiast wrócić do oryginalnego projektu. Wszystkie duże marki e-commerce i social media prowadzą w ten sposób eksperymenty projektowe.

Jedną z rzeczy, z których jestem najbardziej dumny, a która moim zdaniem jest kluczem do naszego sukcesu, są ramy testowe, które zbudowaliśmy.Mark Zuckerberg, Facebook

Podsumowanie

Eksperymentalne projektowanie wyostrza proces projektowania i pomaga projektantom w tworzeniu najbardziej efektywnych rozwiązań. Pozwala to projektantom na podejmowanie lepszych decyzji, ponieważ mogą oni szybciej odkryć, czy coś działa, czy nie. Lepiej służy również firmom, napędzając wskaźniki biznesowe, które mają znaczenie.

Małe zmiany w projekcie mogą mieć duży wpływ. Wiele z najbardziej udanych marek na świecie praktykuje eksperymentalne projektowanie produktów. Marki te zdają sobie sprawę, że łączenie rygorystycznego projektowania z kreatywnością, innowacyjnością i eksperymentowaniem jest niezbędne dla ich rozwoju.

Jednakże, aby zoptymalizować doświadczenia klientów i zmaksymalizować wartość biznesową, kultura eksperymentowania musi być kultywowana i włączana do zespołów produktowych. Interesariusze biznesowi mogą być potrzebni, ale gdy wskaźniki pokażą pozytywne wyniki, nie powinno to być zbytnio przekonujące. Zdadzą sobie oni sprawę, że eksperymenty mają zasadnicze znaczenie dla przedsiębiorstw dostarczających lepiej zaprojektowane produkty, pozyskujących większą liczbę klientów i zwiększających przychody.