EK 02: Jak dzięki testom A/B zwiększono konwersję o 30% – na przykładzie sklepu internetowego z akcesoriami fryzjerskimi

Podcast do czytania – transkrypcja odcinka

Grzegorz: Cześć Tomku! Witam Cię serdecznie w podcas’cie: “Ekomersowa Kawa”. Co tam dzisiaj u Ciebie słychać?
Tomek: Cześć Grzegorzu! Wszystko dobrze, dziękuję bardzo.

G: Tomku, powiedz mi i słuchaczom, czym się zajmujesz obecnie w życiu zawodowym?
T: Jeśli chodzi o sklepy internetowe, zajmuje się nimi od 2012 roku – to już parę lat. Liczne szkolenia, studia z tym związane. Jeśli chodzi o sam sklep i moją pracę w sklepie internetowym, to zajmuję się przede wszystkim reklamą w wyszukiwarkach, analizą danych oraz reklamą w samym sklepie. Oprócz tego pracuję nad nowymi rozwiązaniami, które mają polepszyć działanie sklepu, a także pomóc ekipie w firmie w codziennej pracy, by była bardziej wydajna. W tej pracy dużo czasu poświęcamy na zautomatyzowanie naszych działań.

G: No tak, jak nie ma automatyzacji, wiąże się to z wysokimi kosztami związanymi z obsługą wszystkich zamówień, prawda?
T: Dokładnie tak.

G: Widzę, że w e-commer’sie siedzisz od 2012, to już 7 lat, jeśli dobrze liczę. Szkolisz się, a z drugiej strony pracujesz jako e-commerce manager w dwóch sklepach podobnych marek. Powiedz, za co tam odpowiadasz?
T: Jeśli chodzi o sklepy internetowe to są to dwa sklepy, które sprzedają produkty do włosów, do salonów fryzjerskich oraz dla osób indywidualnych, które chcą w profesjonalny sposób zadbać o swoje włosy. W sklepie jestem odpowiedzialny przede wszystkim za reklamę w wyszukiwarkach, analizę danych oraz za nowe wdrożenia, które mają ulepszać sklep oraz prace techniczne.

G: Wspominałeś, że odpowiadasz za wprowadzanie automatyzacji, które obniżają koszty po waszej stronie.
T: Dokładnie. Automatyzacji związanej z codzienną pracą, czy to przy wystawianiu produktów przez naszych pracowników, czy z automatyzacją w firmie, jeśli chodzi o pakowanie i obsługę paczek. Z roku na rok jest tego coraz więcej. Dlatego potrzebujemy tych procesów, aby wyrabiać się ze wszystkimi zamówieniami tak, by nasi klienci odbierali paczki, tak jak tego oczekują – czyli w ciągu 24h, co powoli staje się standardem.

G: Powiedz mi, w tych dwóch sklepach – ile mieliście tak średnio paczek w tym roku? Jeśli możesz zdradzić, by słuchacze wiedzieli jakiej wielkości jest sklep. Czy jest to kilka tysięcy w miesiącu, czy więcej?
T: Jeśli chodzi o te dwa sklepy, to jest to kilka tysięcy zamówień w miesiącu.

G: Widać zatem, że to całkiem spore sklepy są. Powiedz mi – w zeszłym roku zajmowałeś się testami A/B?
T: Tak, dokładnie.

G: Z tego, co mówiłeś, konwersja wzrosła Wam o ponad 30%.
T: Tak. Myślę, że warto porozmawiać chwilę właśnie o narzędziach do testów A/B, ale też przede wszystkim o narzędziach do analizy danych. Dobrze jak sklep – mówię do osób, które chcą otworzyć sklep internetowy – ma wdrożone aplikacje, które zliczają ilość użytkowników, pokazują skąd przyszli, jak się zachowywali, co kupili w naszym sklepie. Po tego typu analizach można próbować dokonywać odpowiednich zmian i sprawdzać, czy później one przyniosły odpowiedni skutek – pozytywny czy negatywny. Dopiero wtedy możemy myśleć o tym, czy wdrażać te zmiany, czy nie. Dzięki Testom A/B możemy sprawdzać czy nowa wersja strony, którą chcemy wprowadzić – pozytywnie wpłynie na naszą sprzedaż. To zależy oczywiście również od tego, jaki mamy cel. Oczywiście celów w sklepie możemy mieć ustanowionych wiele aczkolwiek, jeśli będzie to cel zapisu na newsletter, czy dokonania zakupu, testy A/B z pewnością nam w tym pomogą.

G: Powiedz mi, jakich narzędzi używacie do tego?
T: Jeśli chodzi o narzędzia do analizy danych to głównie opieramy się na darmowym narzędziu Google Analytics. Jest to potężne narzędzie. Osoby, które będą wprowadzały to narzędzie do sklepu, z pewnością po zainstalowaniu skryptu na stronie i po wejściu w panel Analytics’a będą miały problem, za co się zabrać. Warto szkolić się w temacie i starać się wyciągać odpowiednie wnioski poprzez te dane, które są w Analytics’ie zawarte.

G: No właśnie. Dwie rzeczy mi tutaj się nasuwają: gdzie się szkolić oraz na czym się szkolić? A także, czy wy go używaliście i tak po prostu go podłączyliście, czy później go optymalizowałeś do analiz? Wiem, że Google Analytics ściąga bardzo dużo różnych danych, dużo jest śmieci, dużo błędów, jeśli się go odpowiednio nie poustawia. Wnioski z tych danych, mogą być kompletnie błędne pomimo tego, że znamy procedury jak je analizować.
T: Zgadza się. Jeśli chodzi o Analytics’a – jest wiele firm na rynku, które oferują ustawienie odpowiednio Analytics’a, aby nie pokazywał nam tak zwanego “spamowego ruchu”, który w rzeczywistości jest bardzo wysoki. Często może nam się wydawać, że mamy bardzo duży ruch w sklepie, a tak naprawdę są to po prostu boty, które w świecie Internetu nas otaczają w bardzo dużej ilości. Generują one duży ruch, przez co analiza tych danych, jest po prostu niepoprawna. Zatem konfiguracja jest jak najbardziej potrzebna i można próbować ją ustawić samemu, dowiadując się o tym na szkoleniu, z książek lub Internetu. Myślę jednak, że dobrym rozwiązaniem jest znalezienie osoby, która już ma w tym doświadczenie, i która sprawi, że już od początku te dane będą nam się zbierały prawidłowo.

G: My współpracujemy z taką osobą i wiem, że ustawienie przez nią Analytics’a to miesiąc pracy i to bardzo szczegółowej. Na koniec dostaje się gruby plik Excel z informacją, co dokładnie zostało zmienione. Z tego, co widzę to czasami myślimy, że mamy dobrą konwersję w raporcie, a w rzeczywistości okazuje, że tak naprawdę to fikcja, ponieważ została źle przypisana albo nie temu ruchowi, czyli na przykład do banków zamiast do AdWordsa. Miałeś może podobny problem?
T: Tak, tak, dokładnie. Wykluczenie właśnie między innymi banków, czy takich serwisów jak Dotpay, czy też PayU – to jest podstawa, jeśli chodzi o konfigurację Analytics’a. Odnośnie tego, co wspomniałeś, czyli banków, to słyszałem ostatnio pewną historię. Opowiadał ją znajomy, który prowadzi agencję. Mówił, że zadzwonił do niego klient i spytał się, czy ma jakiś kontakt do jednego z banków, ponieważ chciałby się tam bardzo reklamować. Zdziwiony tym zapytaniem, spytał – Dlaczego? A klient odparł: “Słuchaj, no to jest taka cicha sprawa, ale mamy bardzo dużo zamówień właśnie od ludzi, którzy przechodzą z tej platformy. Myślimy o tym, żeby się tam zareklamować.” No i niestety osoba ta nie wiedziała, że ma błędnie ustawionego Analytics’a i dlatego błędnie wyciągała wnioski.

G: Konsekwencją tego później są złe decyzje, za które ponosimy niepotrzebne koszty i dziwimy się, dlaczego to nie zarabia, a także, dlaczego nie ma zwrotu z inwestycji.
T: Zgadza się. Google Analytics daje nam potężną wiedzę odnośnie tego, gdzie powinniśmy się reklamować, na jakie strony zwrócić uwagę, które nam generują odpowiedni ruch, czy odpowiednią sprzedaż. Możemy się dowiedzieć, czy przypadkiem dana strona, która przynosi nam odpowiednią sprzedaż jest odpowiednio zoptymalizowana pod kontem tej sprzedaży, czy są na niej np.: zawarte rzeczy, które powodują, że strona się długo ładuje. Poprawiając m. in.: czas wczytywania tej strony poprawilibyśmy sprzedaż danego produktu, czy produktów w danej kategorii. Sam program może nam dać olbrzymią wiedzę odnośnie sprzedaży i tego jak ją poprawić.

Z jakich narzędzi korzystać

G: Czy do testów A/B, które robiliście używaliście głównie Google Analytics’a? Czy jakiegoś jeszcze narzędzia?
T: Do wyciągania wniosków używaliśmy Google Analytics, a do samych testów A/B używamy Google Optimize. Jest to kolejne darmowe narzędzie do przeprowadzania testów A/B, które jest ciągle, podobnie jak w Google Analytics, rozwijane przez firmę Google.

G: Sami zajęliście się ustawianiem tych stron w Google Optimize, czy korzystaliście z czyjejś pomocy? Wiem, że to narzędzie jest bardzo przydatne i na tej platformie sklepowej, na której jesteście, udało Wam się to zrobić z naszą małą pomocą. Google Optimize dobrze automatyzuje prace i nie potrzeba przy tym wiele pracy programistycznej, jeśli dobrze myślę?
T: Moim zdaniem do prostych testów A/B można próbować wdrożyć to samemu. Uważam jednak, że powinna być osoba z boku, która zajmuje się tym, na co dzień i sprawdzi przed wdrożeniem takiego testu, czy na pewno ustawienia są zrobione prawidłowo.

G: Czyli mówisz, że warto mieć t osobę dedykowaną, która potrafi poustawiać narzędzia i, która zna się na Google Optymize?
T: Myślę, że tak. Niestety, są pewne rzeczy, na które początkowo użytkownik bez doświadczenia po prostu nie spojrzy i kolejny raz możemy źle odczytać dane, a co za tym idzie – po prostu na tym stracić. Sądzę, że taka osoba jak najbardziej powinna być.

W jakich sklepach warto zainwestować w realizację testów A/B

G: Kod z tego narzędzia podmienia nam strony na sklepie i powoduje, że różne wersje wyświetlają się różnym użytkownikom. Jeśli to źle podłączymy to: A – klient może nie zobaczyć w ogóle tej strony, a B – będzie się źle wyświetlać i tak naprawdę to doświadczenie będzie kiepskiej jakości. A co za tym idzie wnioski z takiego doświadczenia będą niemiarodajne.
T: Dokładnie tak. Tutaj, jeśli chodzi o testy, warto też wspomnieć o tym, że dobrze się tym zająć w momencie, kiedy mamy już dosyć duży sklep internetowy. Ruch na sklepie jest ważny, aby mieć istotność statystyczną. Przy małym sklepie, czyli małym ruchu, te dane zanim nam się zbiorą to będzie trwało bardzo długo. To jest temat, myślę dla większych sklepów o większym ruchu.

G: Co znaczy dla Ciebie duży sklep? Przy jakim ruchu już warto to analizować? Przy ilu zamówieniach? Bo przecież to też chodzi o to, że muszą być realizowane jakieś cele, na podstawie, których my mamy podjąć decyzję – prawda? Jakiej wielkości musiałby być sklep, by móc w ogóle pomyśleć o tym, żeby zacząć testowanie?
T: Patrząc na moje doświadczenie, a także na rozmowy z ludźmi, którzy prowadzą agencje reklamowe – zajmujące się typowo testami A/B – sklep powinien mieć minimum 50 000 sesji w miesiącu. To jest takie, moim zdaniem absolutne minimum. Choć przy takim ruchu może być ciężko wyciągnąć odpowiednie wnioski. Jeśli chodzi o samą sprzedaż – no to ta sprzedaż też musi być, bo jeżeli test opieramy na tym, aby zwiększyć sprzedaż, to głównym celem dla takiego testu jest wykonanie transakcji przez użytkownika. Testy możemy ustawić dla różnych urządzeń. Często jest tak, że ustawiamy np. test tylko i wyłącznie dla komputerów stacjonarnych. Komputery stacjonarne, w obecnych czasach zajmują średnio dla sklepów internetowych 30-40% ruchu, więc jeżeli ustawimy test dla komputerów stacjonarnych to ten test będzie dłużej trwał, do momentu, aż zbierzemy potrzebne dane.

G: Jeśli mówisz o 50 000 sesji, to przy założeniu, że mamy 1% konwersji – to jest 500 zamówień w miesiącu, tak?
T: To też, tak jak wspominałem, musielibyśmy to podzielić. I jeżeli byśmy brali pod uwagę, tylko komputery stacjonarne wówczas też nam się zmniejsza ta liczba zamówień. By była istotność statystyczna, mówi się, że na daną wersję testu, powinno być około 100 wykonanych celów – 100 wykonanych zakupów.

G: No właśnie, bo na samym początku nie powiedzieliśmy, czym są testy A/B. Testy A/B polegają na tym, że mamy dwie wersje strony internetowej, gdzie np. zmieniamy nagłówek, zmieniamy położenie przycisku “Dodaj do koszyka”, zmieniamy położenie zdjęcia. Zazwyczaj test polega na tym, że zmienia się jeden element na danej stronie i badamy, która wersja strony jest lepsza dla użytkowników, przy której wersji lepiej to konwertuje, czyli, na której mamy większą sprzedaż. I w tym momencie włączamy połowę ruchu na jedną wersję strony, a drugą połowę na drugą wersję, czyli z każdej wersji powinno być przynajmniej 100 zrealizowanych celów.
T: To takie absolutne minimum. Z mojego doświadczenia mogę podać przykład testu, który trwał dwa tygodnie i wygrywała jedna wersja dosyć znacząco, a następnie mijał kolejny tydzień, i obydwie wersję zaczęły się do siebie zbliżać. Niestety po kolejnym tygodniu okazywało się, że wyniki były bardzo podobne. Ostatecznie nie zdecydowaliśmy się na wprowadzenie testowanej zmiany na stronie. Jeśli chodzi o Google Optimize, mamy taką możliwość, że on nam pokazuje, która wersja strony jest lepsza – jeżeli w 95% system wskaże daną wersję. Mamy wtedy potwierdzenie od narzędzia, że można zakończyć test i wprowadzać tą odmianę na stronę sklepu. Jeżeli tego nie ma, jest duże ryzyko, że testowana zmiana nie jest lepsza niż oryginał.

G: Mówiłeś o istotności statystycznej. Jeśli dobrze rozumiem, istotność statystyczna określa, czy dany test już jest ważny, czy już można na podstawie niego wyciągać odpowiednie wnioski. To jest zaawansowana matematyka. W tym narzędziu wyraża się w tej jednej liczbie – 95%, która wskazuje wersję strony, która jest lepsza.
T: Tak, dokładnie. Jeśli chodzi o testy, sytuacja, kiedy niestety coś nam się wydaje i próbujemy to przetestować, a finalnie okazuje się, że ta wersja przegrywa – to jest to coś przykrego. Niestety trzeba to przełknąć i próbować dalej. Zdarzają się takie sytuacje, że nie wszystkie testy kończą się wdrożeniem kolejnych zmian na stronie.

Ile czasu trzeba poświęcić na przeprowadzenie jednego testu

G: Ale mimo wszystko warto robić takie testy, ponieważ z tego, co mówiłeś, u was był wzrost konwersji o ponad 30%. Szybko policzę, nie mówiłeś dokładnie ile macie paczek tylko mówiłeś, że do kilku tysięcy w miesiącu. Jeśli założymy, że macie miesięcznie np. 5 000 paczek, to, jeśli wzrośnie konwersja o 30%, to mamy 1 500 paczek w miesiącu więcej. Czyli 30% przychodu – to pewnie też wpływa na wielkość koszyka. Jest to całkiem niezły pieniędzy. Niezły wzrost sprzedaży. Tylko pytanie: ile to kosztuje pracy? Ile to kosztuje, żeby taki wzrost osiągnąć. Wspominałeś, że z jednej strony ty na to poświęciłeś dużo czasu, miałeś też agencję. Tak, więc ile Ci to naprawdę zajęło?
T: Myślę, że to jest dosyć trudne pytanie. Z tego względu, że wiele czasu poświęciłem przede wszystkim na szkolenie się z tego tematu, a później analizowanie danych, a następnie na wyciąganie wniosków, rozmowy z agencjami oraz rozmowy z ludźmi, którzy zajmują się Google Analytics czy Google Optimize. Następnie przeprowadzenie pierwszych testów też przysporzyło dużo problemów. Z tego względu, że to jest narzędzie, które jest skierowane do wszystkich. Jeżeli my opieramy swój sklep na platformie Sote, to mamy pewne specyficzne rzeczy, które wymagały od nas odpowiedniego ustawienia w tym programie. To wszystko po kolei wymagało czasu. Ciężko, zatem określić w tej chwili, jaki jest to koszt. Na pewno nie mały – bo uwzględniał zarówno mój czas, czas agencji, czy czas osób dodatkowych, za które oczywiście firma musiała ponieść koszty.

Ile czasu musisz poświęcić, aby przygotować się do przeprowadzania testów A/B

G: To powiedz mi ile czasu zajęła ci nauka tego procesu? Rozumiem, że to pewnie było od 3 do 6 miesięcy zanim zacząłeś to dobrze łapać?
T: Zgadza się. Coś około tego.

G: Jakbyś miał oszacować – ile godzin w miesiącu poświęciłeś na szkolenie się w tym temacie?
T: Myślę, że zazwyczaj mój dzień wyglądał w ten sposób, że od godziny 7:00 do 11: 00 bądź 12:00 zajmowałem się bieżącymi sprawami, a później ok. 2-3 godz. w zależności czy coś jeszcze wyskakiwało dodatkowego – zajmowałem się właśnie szkoleniem w zakresie testów A/B

G: Czyli na początku, przez prawie pół roku, po dwie trzy godziny dziennie zajmowałeś się testami? A teraz zajmujesz się tyle samo czasu, czy już trochę mniej, bo już wiesz, na czym to polega?
T: W tej chwili wiem, jakie są nasze mankamenty na stronie internetowej. Wiem, jakie raporty niestandardowe ustawić w narzędziu i patrząc na wyniki, które tam są zaprezentowane po prostu próbujemy eliminować te błędy. Później sprawdzam, czy w rzeczywistości mamy coś do poprawy. Bo to też nie jest tak, że my tylko opieramy się na testach A/B. Mamy wiele stron, które wymagają poprawy i nie potrzebujemy do tego przeprowadzania testów A/B. Statystyki nam pokazują, że gdzieś, coś jest nie tak i działamy na tych stronach i nanosimy poprawki.

G: A możesz mi podać jakieś przykłady testów, które robiliście w ciągu ostatniego roku?
T: Jeden z większych testów, który wymagał dosyć dużego nakładu pracy – który razem zrobiliśmy z waszą firmą – to przede wszystkim test koszyka, czyli wdrożenie nowego koszyka do sklepu internetowego SOTE. Widziałem w dużych sklepach internetowych, że pracują nad koszykami, zmieniają je. My też zdecydowaliśmy, że chcemy to zrobić u nas w sklepie. Obawy przed tym, że będzie coś nie tak, były ogromne, dlatego bez testu A/B absolutnie nie chciałem tego wdrażać.

G: I co się okazało?
T: To jeden z takich najpotężniejszych testów, który wymagał bardzo dużej wiedzy informatycznej. Bez odpowiedniej agencji, odpowiednich programistów, takiego testu byśmy nie ustawili. Test okazał się sukcesem, mamy na stronie nowy koszyk, który lepiej konwertuje, dzięki czemu mamy lepszą sprzedaż.

G: Dużo czasu poświęciliście na wdrożenie tego testu, żeby sprawdzić czy to w ogóle działa?
T: To jest taki przykład, który odbiega troszeczkę od reszty, ponieważ rzeczywiście czasu na to poświęciliśmy sporo. Inne testy, które wymagały mniej czasu, to testy polegające na przykład na zmianie wyglądu karty produktu. I tutaj, jeśli chodzi o kartę produktu, przeprowadziliśmy wiele testów. Tak jak wcześniej mówiłem, nie wszystkie kończą się sukcesem, ale niektóre zdecydowanie polepszyły nam wynik współczynnika konwersji, więc jak najbardziej je wdrożyliśmy.

W jakim procencie zakładane hipotezy się sprawdzają

G: Jakbyś miał mi powiedzieć, ile procentowo było hipotez błędnych, a ile prawidłowych?
T: Myślę, że dobra połowa jest błędna.

G: Czyli nam się tylko wydaje, że coś będzie lepsze, a się okazuje, że jest to do bani kompletnie ;-), tak?
T: Dokładnie tak.

G: Czy okazuje się czasem, że sprzedaż była niższa z nowy pomysłem powiedzmy o 20-30%? Mieliście takie przypadki?
T: 30% może nie, ale około 20% to był jeden taki test, który rzeczywiście po dwóch tygodniach Zakończyliśmy, bo miał ponad 20% spadku. I było to odczuwalne. Ja, jak najdłużej chciałem go utrzymać, jako aktywny, ale w pewnym momencie po prostu z zewnątrz miałem informację, że coś jest nie tak. Po zakończeniu, znowu wróciło wszystko do normy.

G: A Ile testów w ciągu roku miałeś – kilkanaście, kilkadziesiąt? To przecież ogranicza ilość sprzedaży w sklepie. Żeby zgromadzić dobre wyniki na jeden test, potrzebujecie z 200 akcji, czyli200 zrealizowanych celów zrealizowanych.
T: To jest minimum. Tak, u nas ta liczba jest zdecydowanie większa. Szczerze, wcześniej jak współpracowaliśmy z pewną agencją, która zajmuje się testami A/B, troszeczkę ulegliśmy sprzedawcom z tej firmy. Może i dobrze się stało, ponieważ później zajęliśmy się tym tematem sami. Wydaje mi się, że lepiej na tym wyszliśmy. Wracając do tematu, agencja jest w większości po to, żeby zarabiać pieniądze dla siebie – zarobek dla klienta jest na drugim miejscu. W czasie współpracy z tamtą firmą wszystkie raporty, które otrzymywaliśmy wskazywały, że jest sukces, że będzie dużo większy przychód, że wszystko idzie w dobrym kierunku. Finał był taki, że dwie albo trzy modyfikacje, które były wdrożone na podstawie ich rekomendacji ostatecznie nie zostały utrzymane, bo po przetestowaniu przez nas nie okazały się lepsze, więc wróciliśmy do stanu poprzedniego. To też pokazuje, że jeżeli sami nie umiemy odczytywać danych, czy dany test lepiej wpływa na sprzedaż czy nie, możemy po prostu zostać oszukani przez jakąś firmę.

G: Powiedz mi, czy tamta agencja robiła testy tymi samymi narzędziami?
T: Innymi narzędziami, ale polegały one w sumie na tym samym. Wszystkie te narzędzia przeanalizowałem i większość miała te same funkcje.

G: Mówisz o tym, że nie wyszło z tamtą agencją. Czasami jak się powtarza ten sam test, trzy czy sześć miesięcy później to może się okazać, że wtedy wynik jest kompletnie inny, bo np. zmienia się środowisko. Czy to była na pewno wina agencji? Nie bronię ich. Zastanawiam się, co było przyczyną, że doszliście do innych wniosków, a oni do innych. Co finalnie doprowadziło do tego, że zrezygnowaliście ze współpracy z nimi?
T: Zmieniło się środowisko, ale funkcja działania się nie zmieniła. Test polegał na tym samym. Grupa docelowa na sklepie również się nie zmieniła – mamy cały czas podobnych użytkowników. Nie mamy sezonowości w naszym sklepie tak, żeby porównywać na przykład zimę do lata, jak innych branżach. Mamy rynek bardzo spłaszczony. Oczywiście, są terminy takie jak święta, ale to jest jedyny miesiąc, w którym rzeczywiście jest duży wzrost sprzedaży. Ja wiele czasu poświęciłem na analizę danych, wdrożeń i tamtej sytuacji. Rozmawiałem z ludźmi, którzy mają dużo większe ode mnie doświadczenie i dlatego chciałem przestrzec przede wszystkie młode firmy, żeby nie wierzyły do końca sprzedawcom.

G: Co masz na myśli?
T: Raport można stworzyć pod siebie, można stworzyć go tak, że on pięknie wygląda na papierze, lecz później w portfelu już nie jest aż tak różowo, jakby mogło się wydawać.

G: Rzeczywiście, liczbami można szafować i pokazywać to, co się chce.
T: Dokładnie. My mieliśmy po kilku miesiącach mieć wzrost o podany procent. Tego wzrostu absolutnie nie było. Obecnie w tych testach, które przeprowadziliśmy odnotowaliśmy liczby świadczące o tym, że będzie taki konkretny wzrost. I rzeczywiście, po paru miesiącach, sprawdzając statystyki oraz raporty sprzedażowe, widzimy ten wzrost na papierze. Jedno potwierdza drugie.

Na co zwrócić uwagę przy współpracy z agencjami zajmującymi się testami A/B

G: To super, gratuluję. Powiedz mi, jakbyś wybierał ponownie agencje, czego byś szukał, na co zwróciłbyś uwagę? Jakbyś ją wybrał? Być może nie wszyscy słuchacze będą chcieli sami to robić i będą potrzebować pomocy. Ty poświęciłeś na to, jak mówiłeś, po kilka godzin dziennie przez przynajmniej 150 dni – to jest 200-300 godzin samej nauki mniej więcej.
T: Jedna ważna rzecz, w Polsce, jeśli chodzi o ilość agencji, to z tego, co wiem, to jesteśmy liderami na rynku. Jest ich w tysiącach – dużo więcej niż np. w Niemczech. Niestety jest tak, że wiele się otwiera i wiele zamyka. Możemy tutaj wpaść w pułapkę. Sugeruję młodym sklepom, przede wszystkim zapoznać się z opiniami na temat agencji, spróbować porozmawiać z klientami, takiej agencji. Po takich zabiegach, testować i zaczynać od małego budżetu cały czas sprawdzając, czy przynosi on nam założony zysk. Pamiętając o tym, o czym już dziś wspominałem – agencja działa po to, aby zarabiać! Dopiero później myśli o tym, czy ich klienci mają się dobrze.

G: No właściwie to tak i nie.
T: Mam doświadczenie z kilkunastoma agencjami, tylko 2-3 podchodziły do klienta na zasadzie: “my dla was chcemy zarobić i też my chcemy zarobić” – tak, żeby każda ze stron była zadowolona. Wydaje mi się, że wtedy właśnie jest dobra współpraca.

G: Powiedz mi, my się kwalifikujemy to tego? Współpracujemy już 2-3 lata :-)?.
T: Myślę, że już tak długoletnia współpraca jest odpowiedzią na to czy jest dobrze.

G: Osobiście zawsze mówię, że mnie interesuje, żeby klient od nas nie odchodził. Pozyskanie nowego klienta, z punktu widzenia agencji, to jest straszny koszt. Trzeba zbudować zaufanie, pokazać jak coś działa itd. Nie wyobrażam sobie, żeby pracować tak, by potencjalny klient odszedł od nas po 3 miesiącach, czy nawet po 6 miesiącach. Ten koszt początkowy pozyskania klienta, jest tak ogromny. Dlatego ja liczę na to, że klient będzie z nami przynajmniej od 3 do 5 lat. Wtedy się to domyka. Tak jak w sklepach internetowych, mamy koszt pozyskania klienta. Teraz jest taki trend – nie wiem, czy zauważyłeś – że sklepy inwestują w nowego klienta, a ten koszt zwraca się dopiero po drugich, bądź trzecich zakupach. W twojej branży może tak nie jest, ale na pewno w takich branżach jak odzież można to zauważyć. Tam właśnie w ten sposób działają i to jest dużym zaskoczeniem dla mniejszych sklepów, które wówczas muszą konkurować czymś innym niż tylko ceną.
T: Dokładnie, mniejsze sklepy nie mają najmniejszych szans.

G: Powiedziałeś, na co zwrócić uwagę i jak sprawdzić agencje. Zastanawiam się, jak już masz wytypowaną taką agencję, to jakie jeszcze byś zadał pytania, albo co byś sprawdził, żeby wiedzieć, że oni dadzą radę i nie będą mnie oszukiwać na raportach?
T: Przede wszystkim, chciałbym, żeby test był ustawiony na moim koncie, do którego ja mam główny dostęp. Tak by agencja miała tylko dostęp, jeśli chodzi o Google Analytics, do widoków. By nie miała ustawień jako administrator i nie mogła manewrować w ustawieniach. W zeszłym roku słyszało się różne historie odnośnie ustawień sesji, którą standardowo w Google Analytics się aktywuje na nowo po 30 minutach. Cztery wielkie agencje ustawiły swoim klientom po jednej minucie, przez co ruch na danym sklepie mocno się zwiększał. Odnośnie testów A/B, to tak jak mówię, przede wszystkim chciałbym mieć osobę w firmie, która potrafi spojrzeć na te wyniki, na te ustawienia, a także potrafiłaby rozmawiać z agencją. Miałaby podstawową wiedzę i mogłaby sprawić by nie dochodziło do takich sytuacji, że bierzemy wszystko na słowo.

G: Ja właśnie mam pomysł w naszej agencji. Do tej pory głównie zajmowaliśmy się pracami programistycznymi, ale teraz mamy usługę niezależnego e-commerce managera na godziny, który koordynuje w małych i średnich sklepach różne prace, bo np. właściciel nie ma takiej wiedzy i potrzebuje niezależnego specjalisty. Staramy się odpowiedzieć na potrzeby rynku, aby niezależny specjalista pomógł klientowi podjąć właściwą decyzję w danej dziedzinie. Przechodząc dalej – nie mówię teraz o nas – ale być może warto mieć kogoś, kto podpowie nam, jakie działania podjąć, jeśli my nie mamy wiedzy i lub odpowiedniej osoby firmie. U was, tą funkcję pełnisz ty i pewnie dlatego tak szybko się rozwijacie.
T: Przyznam szczerze, że pierwszy raz słyszę o takim pomyśle. Myślę, że jak najbardziej jest to ciekawy pomysł. Sklepy, które “raczkują”, ale mają odpowiednią ilość zamówień, ponieważ sprzedają dosyć unikalne produkty, które mają ciekawy produkt i chcą się dalej rozwijać, mogłyby być zainteresowane taką współpracą..

G: Teraz testujemy to rozwiązanie na trzech sklepach i patrzymy jak to zrobić, żeby klienci byli zadowoleni. No, ale o tym może, kiedy indziej opowiem. Z tego, co mówisz, tych testów robiliście przynajmniej jeden na dwa tygodnie, czy mogę tak sobie założyć? Ciągle coś testujecie?
T: Tak, jeśli chodzi o testy, początkowo jeden w miesiącu. W tej chwili, około 2 w miesiącu – z góry mamy pewne założenia, zaplanowane prace. Często wymagają one pracy programistycznej, więc musimy kilka tygodni do przodu o tym myśleć i mieć to wszystko poukładane.

G: Czyli macie też plan testów na najbliższe pewnie miesiąc czy dwa, gdzie po prostu testujecie swoje hipotezy. A z drugiej strony, czego byś nie testował? To też jest ciekawe, ponieważ teraz mamy dużo pomysłów na różne rzeczy. Tak naprawdę, możemy stracić czas, bo okaże się, że są to nieistotne rzeczy i dopiero po czasie się o tym dowiemy. Co nie wpływa w ogóle na sprzedaż? Mówimy o twoich sklepach oczywiście, bo być może w innej branży, może być inaczej.
T: Myślę, że to jest bardzo ciężkie pytanie. Każdy sklep jest inny, więc moja odpowiedź absolutnie nie dotyczy innych sklepów. Moją odpowiedź bardziej bym skierował do tego, co już wcześniej mówiłem – nie testowałbym małych sklepów, o małym ruchu, ponieważ jest duże ryzyko, że będziemy wyciągać nie odpowiednie wnioski i wdrażać coś, co w rzeczywistości, może przełożyć się na obniżenie sprzedaży, a nie na jej wzrost.

G: Czyli nie podejmiesz się odpowiedzi na to pytanie? Czy może jakichś małych zmian? Będę drążył, bo to jest dość ważna informacja, żeby nie tracić czasu.
T: Tutaj też musimy pomyśleć o tym, że jeżeli mamy stronę informacyjną, która ma jedną stronę główną, to na takiej stronie oczywiście warto jest testować – czy teksty, czy nagłówki, zdjęcia itd. Ale w momencie, gdy mamy sklep internetowy, to są zmiany globalne zazwyczaj. Chyba, że testujemy stronę główną, która jest bardzo ważną stroną – ponieważ, patrząc na statystyki wiemy, że dobra strona główna przyczynia się do redukcji współczynnika odrzuceń i wysokiego czynnika konwersji. Testowanie strony głównej jak najbardziej tak pod kątem zmian, o których wcześniej wspomniałem. Natomiast odnośnie strony z kategoriami, czy strony produktów – tutaj już mamy zmiany globalne i małe zmiany mogą już być dosyć mocno odczuwane.

G: Powiedz mi taką rzecz, jak już zrobisz test, wynik jest pozytywny, masz dodatkowo 10% w konwersji, czy ta zmiana jest na zawsze? Czy to jest jednorazowa inwestycja kilkunastu godzin pracy Twojej i innych osób zaangażowanych w testy. Czy to jednak może się kiedyś skończyć? Wyobraźmy sobie, że poprawiliście ten koszyk i macie zwiększenie konwersji. Czy dobrze to rozumiem, że po prostu ta korzyść z poprawionego koszyka jest już ciągła – czyli konwersja wzrosła o te kilka czy kilkanaście procent i utrzymuje się na tym podwyższonym poziomie, więc mogę to traktować, jako taki dochód pasywny , ponieważ poprawiłem coś w konwersji i nie robię nic więcej tylko na tym zarabiam?
T: Rynek e-commerce na tyle się zmienia, że z miesiąca na miesiąc musimy śledzić trendy i zmieniać się razem z tymi trendami. Odnosząc się do pytania związanego z koszykiem, myślę, że jedna zmiana wprowadziła nam korzyść, ale za chwilę myślimy już o kolejnej zmianie, o kolejnym teście, aby wycisnąć z tego jak najwięcej.

G: Czyli to są kolejne testy, które jeszcze polepszają ten koszyk i jego funkcjonalność. Z tego, co mówisz rozumiem, to nie jest dochód pasywny i nie można na to patrzeć w ten sposób, że raz zrobiona zmiana przynosi mi korzyści każdego miesiąca przez najbliższe 50 lat, tylko raczej to się może skończyć. Dlatego nie można osiadać na laurach, zgadza się?
T: No tak. Osoby, które myślą o założenie sklepu internetowego, najlepiej jakby spojrzały w statystyki otwieranych i zamykanych co roku sklepów. Statystyki są przerażające pod tym względem. Wielu sklepów, nawet tych większych, które pamiętam początkowo, jako konkurencję, gdy zaczynaliśmy z naszym interesem w 2012-2013 roku, nie ma już na rynku. Rynek internetowy bardzo się rozwija. Jeżeli ktoś stoi w miejscu, to niestety dużej szansy na przeżycie nie ma. Często mieliśmy sytuację, że osoby, które miały mocne marki stacjonarnie, i mówiły “wchodzimy na rynek internetowy, tam się dzieje”. Wchodziły, i jak szybko wchodziły, tak szybko wychodziły, bo rynek internetowy jest coraz cięższy. Ciężko się na nim utrzymać. Jeżeli nie ma się odpowiedniej załogi, a także odpowiedniego planu to może być ciężko.

G: Generalnie e-commerce się bardzo mocno profesjonalizuje. Widać to wszędzie. Tak jak mówisz, business offline jest kompletnie innym biznesem, niż business online. Bez kompetencji w tym drugim zakresie, jest bardzo ciężko. Często mówię klientom, że jeśli chcą wejść, to muszą u siebie wyznaczyć kogoś (najlepiej kogoś z szefostwa czy zarządu), kto będzie wizjonerem w tym biznesie online i będzie mocno w to wchodził. Bez takiej osoby, agencje nic nie zrobią. Można mieć, tak jak mówisz agencje, która nas wspierają merytorycznie, ale musimy wiedzieć, o co w tym wszystkim chodzi. Musimy je sprawdzać, żeby biznes się rozwijał. Tak naprawdę, to właśnie właściciel, czy też szef, który zajmuje się e-commersem nadaje rytm do rozwoju dla całego biznesu.
T: Jest dokładnie tak jak mówisz.

G: A jeszcze taki przykład: ładne strony vs konwersja. Często jak realizujemy różne zlecenia na nowe strony, czy nowe grafiki – klient upiera się przy pewnego rodzaju rozwiązaniach, przy pewnym wyglądzie. Tak się zastanawiam, jak z twojej perspektywy wygląda to, co się w ogóle sprawdza później w konwersji. Czy to się przekłada na sprzedaż? Czy warto mieć piękną stronę, a może warto mieć brzydką stronę – jak to jest?
T: Dobrym przykładem jest Amazon, który od początku swojej działalności zmieniał się bardzo delikatnie. Wszystkie testy, które przeprowadzają u siebie, delikatnie zmieniają tą stronę i ulepszają ją. Myślę, że diametralna zmiana sklepu internetowego też może nie być do końca dobrym pomysłem. Jeżeli mamy sklep, który w ogóle nie sprzedaje, to wydaje mi się, że dobrze pójść do agencji, która już ma doświadczenie w tworzeniu sklepów, które sprzedają, które mają wysoką konwersję. Oni wiedzą, na które rzeczy zwrócić uwagę. Jeżeli natomiast mamy sklep, który sprzedaje, ma konwersję, która w miarę nas zadowala – nie chcielibyśmy mieć sytuacji takiej, że nie wiemy, co spowodowało wzrost lub spadek konwersji/sprzedaży. Myślę, że dobrze jest taki sklep ulepszać, ale nie diametralnie go zmieniać.

G: Często przychodzą małe sklepy, chcą odświeżyć grafikę, bo już jest po prostu “oldschool’owa” i w takich przypadkach widzę, że bardzo dużo wzrasta konwersja po odświeżeniu. Jakbyśmy nadali rytm, bo jesteśmy na bieżąco z trendami. To trochę tak jak z samochodami, które wyglądają wszystkie tak samo z tego jednego rocznika, podobne elementy, podobny np. wygląd przodu samochodu. Podobnie jest ze sklepami. Natomiast zgadzam się z Tobą, że , jeśli mamy sklep sprzedający, chcemy odświeżyć grafikę – to warto zacząć testować, co zmienić i jak.
T: Mniejsze zmiany. Jeżeli tak jak mówisz, ktoś przychodzi ze sklepem, który powstał powiedzmy 10, a nawet więcej lat temu – to już jest kompletnie inny problem.

G: Powiedziałbym, że nawet 3 do 5 lat, to już trzeba się zastanowić czy odświeżać grafikę, czy nie. To wszystko zależy, w jakiej jakości ta grafika została zbudowana.
T: U nas odświeżaliśmy stronę internetową. Tak jak pamiętasz 95% grafiki pozostało prawie w niezmienionej formie. Wyglądała prawie identycznie. Była już na nowych plikach lekko odświeżona. Dzięki temu, użytkownicy powracający nie czuli różnicy. To nie było na zasadzie wejścia i “O rany, gdzie ja jestem?”. Tylko: “ To jest dalej mój sklep, gdzie dokonuję zakupów”. Na takiej podstawie, po tej zmianie, można było iść dalej. Musieliśmy odświeżyć pliki, na których była wcześniejsza grafika. Stara wersja nie miała wersji RWD, która była odpowiednio skalowana do wersji mobilnej. Musieliśmy przejść na to, ale tak jak mówię, nie robiliśmy diametralnych zmian, tylko powoli szliśmy do przodu.

G: Powiem tak, ja się trochę z tobą nie zgodzę. Uważam, że to nie było w 95% to samo. Mi się wydaje, że to było tak koło 60- 50% :-). Jednak sądzę, że każdy ocenia z własnej perspektywy. Z tego, co mówisz, to głównie było to odświeżenie i dostosowanie do RWD, czyli ruchu mobilnego. To jest bardzo znaczące. Myślę, że dla większość słuchaczy to ważna informacja. Wracając do tematu ładna strona vs konwersja. Chciałem powiedzieć, że ja zawsze powtarzam klientom, że nie ma, co się upierać nad pewnymi rozwiązaniami odnośnie wyglądu strony, kategorii czy produktu. Tak naprawdę, mamy połowę szans na to, że to my w ogóle mamy rację. Z tego, co mówiłeś wcześniej, połowa waszych hipotez, nie potwierdza się w testach. Tak naprawdę, powinno się iść w zgodzie z trendami, w których są obecnie sklepy, a później testować, co pasuje do danej branży, do danej grupy docelowej.
T: Jeżeli mamy zaufanie do danej agencji, z którą jesteśmy po długiej rozmowie, i sprawdzeniu, że rzeczywiście ich klienci mają dobrze prosperujące sklepy, to wydaje mi się, że tutaj po prostu trzeba polegać na wiedzy osób, które siedzą w tym, na co dzień.

G: No właśnie. Kończąc temat testów, bo wydaje mi się, że zgłębiliśmy go bardzo mocno. Myślę, że wielu właścicieli, czy e-commerce menagerów jest w stanie wyciągnąć dla siebie Wnioski, co trzeba zrobić, jak te testy trzeba przeprowadzać. Jeśli ktoś by chciał wejść w dyskusję, to zapraszam. Jeszcze mam ostatnie pytanie do Ciebie: Jakie ty sam stawiasz przed sobą cele, a jakie szefostwo stawia przed Wami cele na następny rok?
T: Chciałbym przede wszystkim, aby nasze sklepy cały czas się rozwijały. By konkurencja nie zmiotła nas pod dywan, i abyśmy byli zgraną grupa, która idzie cały czas do przodu.

G: Jest kilkanaście osób tam u was, prawda?
T: Tak, kilkanaście. Kilkanaście osób jest na miejscu i kolejne kilkanaście jest rozsiane po całej Polsce.

G: My też pracujemy zdalnie, więc dobrze, że mówisz, że takie rozwiązanie jest dobre. Tak na koniec: trzymam kciuki, żebyście to wy pozamiatali konkurencję i byli numerem jeden w swojej branży. Bardzo Wam tego życzę i kibicuję. Mam nadzieję, że razem będziemy to osiągać. Bardzo Ci dziękuję za całą tą rozmowę, za to, czym się podzieliłeś. Myślę, że to jest duża wartość dla ludzi, którzy chcą wejść w testy. Zapewne zobaczą, że to nie jest takie proste, że potrzeba sporo czasu, ale mimo wszystko, że jest to warte zachodu. 30% wzrostu konwersji nie chodzi piechotą. Są to duże pieniądze. W przeciwieństwie do AdWordsa, czy Facebooka, reklam, pozycjonowania – to faktycznie jednorazowy wydatek, który daje duże korzyści. Kiedyś oglądałem amerykańskie szkolenie marketingowe. Było tam z 300 osób, a także jakiś wielki guru, który opowiadał o marketingu i pytał ludzi: “Kto testuje?”. Podniosły się tam ¾ osób. Zapytał “Kto testuje co miesiąc jedną rzecz?” – połowa usiadła. “A kto testuje codziennie?” – zostało parę osób. Wniosek z tego był taki, że te pare osób, to były te osoby, które faktycznie najwięcej zarabiały z całego tego otoczenia. Ja mam takie wrażenie, że trzeba testować i sprawdzać, co działa, co nie działa, i gdzie jest rzeczywistość. Często nam się tylko wydaje, że znamy naszą grupę docelową, a naprawdę się okazuje, że oni chcą czegoś innego niż nam się wydaje.
T: Piękne słowa – jak najbardziej zgadzam się z tym, co mówisz, również dziękuję za rozmowę i życzę powodzenia dla Was.

G: Jeszcze raz, dzięki za rozmowę. Do usłyszenia.
T: Wzajemnie! Wszystkiego dobrego!

Strony, osoby i tematy wymienione w podcast’cie:

Google Analytisc – bezpłatne narzędzie do analizy statystyk stron WWW
Google Optimize – bezpłatne narzędzie do przeprowadzania testów A/B
AdWords – system rekalmowy Google
SOTESHOP
RWD – Response Web Design, czyli technika projektowania strony www, tak aby jej wygląd i układ dostosowywał się automatycznie do rozmiaru okna przeglądarki, na której jest wyświetlany np. przeglądarki smartfonów, czy tabletów