Każda zmiana w rozmowie z klientem to u mnie test z hipotezą i progiem stopu

Skąd to się wzięło

Zdanie „wygląda lepiej” przestało u mnie kończyć spór o wersję

Rozmowa z klientem to najdroższa powierzchnia w mojej firmie. Wszystko, co dzieje się później, zaczyna się od bezpłatnego sprawdzenia pomysłu w tej jednej rozmowie. Długo zmieniałem ją tak, jak robi się to w małej firmie: bo komuś wydawało się, że tak będzie lepiej.

Ma to jedną wadę, której nie da się obejść uporem. Po zmianie nie wiadomo, czy lepsza była wersja, czy tydzień. Ruch bywa inny, kampanie się przełączają, ludzie przychodzą z innych miejsc. Wynik wygląda na dowód, a bywa zbiegiem okoliczności.

29 sierpnia 2026 zdecydowałem, że ten spór ma się rozstrzygać pomiarem. W zespole pojawił się agent od testów A/B, a dzień później mechanizm dwóch równoległych wersji ruszył na produkcji.

warto wdrożyć testy A/B i na tej podstawie oceniać, która wersja jest lepsza […] ja będę musiał ten test zatwierdzić — samemu tego nie odpalaj. Ja, decyzja z 29 sierpnia 2026

Kolejność, która wszystko zmienia

Hipoteza i metryka wchodzą do rejestru, zanim zmiana wejdzie na produkcję

U nas zmiana w lejku nie zaczyna się od wdrożenia, tylko od wpisu. Zanim cokolwiek trafi do klientów, w rejestrze zmian leży zdanie: co zmieniamy, czego się spodziewamy, po czym poznamy, że mieliśmy rację, i kiedy to sprawdzimy.

Kolejność nie jest formalnością. Metryka zadeklarowana przed startem jest niezmienialna po odczycie — także wtedy, gdy nowa wydaje się mądrzejsza. To jedyny sposób, żeby nie dobierać miary do wyniku, który już się zobaczyło.

Dzień odczytu też ustala się z góry, u nas najczęściej tydzień po wdrożeniu. Gdy materiał płynie szybciej, termin się nie skraca: wolno zapisać nową prognozę, nie wolno przesunąć daty. Podglądanie jest legalne, podglądanie z decyzją już nie.

Wpis przed zmianą jest zawsze z tych samych części:

• Hipoteza — zdanie, które może okazać się nieprawdziwe. Bez tego nie ma testu, jest wdrożenie.
• Jedna metryka główna — mierzona w punkcie zmiany, nie na końcu lejka.
• Minimalna próba — ile materiału musi się zebrać, żeby wynik coś znaczył.
• Dzień odczytu — ustalony przed startem, razem z zasadą pełnych tygodni.
• Próg stopu — różnica, poniżej której uznajemy obie wersje za równe.
• Plan odwrotu — gotowy, zanim zmiana wejdzie, nie gdy coś się posypie.
• Mój klik — żaden test nie startuje bez niego.

Kto ogłasza wynik

Werdykt wydaje ktoś inny niż autor zmiany

Autor zmiany jest ostatnią osobą, której wolno ogłosić, że zadziałała. Kto wymyślił wariant, jest jego adwokatem i znajdzie w danych to, czego szuka. Dlatego wyrok stawia właściciel etapu albo agent od testów — nigdy ten, kto zmianę zaproponował.

Rozdział ról idzie dalej. Treść wariantu należy do właściciela powierzchni: agent od testów projektuje eksperyment, ale nie pisze za kolegę jego słów. Gdy dwie sensowne definicje metryki dają rozjazd, wybiera właściciel, nie sędzia — tak samo jak przy pytaniu, kto buduje i kto odpowiada.

Werdykt mieści się w czterech słowach: potwierdzone, obalone, nierozstrzygnięte, odwrót. Obalone znaczy cofnięcie zmiany, nie notatkę na przyszłość. Potwierdzone znaczy, że zwycięzca zostaje sam, a druga wersja znika z produkcji razem z całym mechanizmem podziału.

Dlaczego testy sobie przeszkadzają

Dwa testy na wspólnym mierniku blokują się nawzajem

Najdroższa lekcja nie dotyczyła tego, jak testować, tylko ilu rzeczy naraz. Kilka zapisów do jednego mechanizmu w ciągu doby i żadnej zmiany nie da się odróżnić od sąsiedniej. Nie ma wtedy czego cofać ani potwierdzać.

Reguła brzmi więc: jeden miernik, jeden żywy test. Druga zmiana w tym samym miejscu przechodzi, jeśli mierzy się czymś innym. Jeśli obie chcą tej samej miary, druga czeka — bo żaden odczyt nie powie, która z nich pomogła.

10 września 2026 dopisywałem poprawkę do zmiany, która wciąż była mierzona. Wspólny miernik był zajęty, więc poprawka dostała własny, rozłączny. To nie obejście reguły, tylko jej jedyne uczciwe wyjście: zmiana z osobną miarą ma się czym wykazać samodzielnie.

Dla małej firmy

Firma bez działu analityki potrzebuje nie narzędzi, tylko kolejności

Nie mam działu analityki i nie zamierzam go mieć. To, co go zastępuje, nie jest programem ani pulpitem. Jest kolejnością pytań, którą każdy w firmie zna na pamięć: co zmieniamy, czego się spodziewamy, po czym poznamy, kiedy sprawdzamy.

Druga rzecz to mianownik. 3 września 2026 dostałem sygnał, który wyglądał na awarię pomiaru ruchu z reklam. Wystarczyło zestawić go z wizytami tych samych reklam, żeby zobaczyć, że mechanizm działa, a zjawisko idzie głównie z kampanii już wyłączonej.

Liczba bez mianownika nie znaczy nic. Procent z małego mianownika też nie — przy kilkunastu przypadkach uczciwiej podać liczbę niż odsetek, a „zero” mówi tylko tyle, że pierwszego przypadku jeszcze nie widzieliśmy.

Trzecia rzecz to ślad. Zmiana bez zapisanej hipotezy znika z pamięci firmy w tydzień. Ale nie zapisuję wszystkiego: poprawka kosmetyczna do rejestru nie wchodzi, bo pusty wpis zaśmieca miejsce, z którego zespół czyta, co naprawdę zmierzyliśmy. Masz pomysł, którego nikt nie sprawdził? Porozmawiaj o nim z agentem.