Fratres

Rehber

CRO'da hangi test önce yapılmalı? Önceliklendirme yöntemleri

Test önceliklendirme, sınırlı trafiği en çok öğreten deneye ayırma işidir. Dört yöntemin farkı, puan için kanıt kaynakları, adım adım test kuyruğu ve ölçüm.

Fratres Editör ·

CRO'da (conversion rate optimization, dönüşüm oranı optimizasyonu) test önceliklendirme, deney fikirlerini beklenen etki, kanıt gücü ve maliyete göre sıralayıp sınırlı trafiği en çok öğretecek teste ayırma işidir. ICE, PIE, PXL ve RICE bu sıralamayı yazılı ve tartışılabilir hâle getiren puanlama yöntemleridir. Hangisini seçerseniz seçin, puanı sezgi değil kanıt beslemelidir.

Önceliklendirme neden bu kadar belirleyici?

Ekiplerin fikir sıkıntısı nadiren olur; sıkıntı trafik ve zamandır. Aynı sayfada aynı anda ancak birkaç test çalışabilir ve her testin güvenilir sonuç vermesi haftalar sürebilir. Gereken süreyi örneklem büyüklüğü hesabı belirler. Yanlış sırayla geçen bir çeyrek, yılın test kapasitesinin dörtte birini harcar.

Yanlış sıranın bedeli büyük olabilir. Ron Kohavi ve Stefan Thomke'nin Harvard Business Review makalesindeki örnekte, 2012'de Bing'de reklam başlıklarının gösterimini değiştiren bir fikir düşük öncelikli sayıldı ve altı aydan uzun süre bekledi. Geliştirmesi birkaç günlük mühendislik işiydi. Sonunda test edildiğinde geliri %12 artırdı; bu, yalnız ABD'de yıllık 100 milyon doları aşan bir etkiye karşılık geliyordu.

Ters yön de geçerli: Fikirlerin çoğu tutmaz. Kohavi'nin Bing blog yazısına göre fikirler kontrollü deneyle sınandığında üçte birinden azı hedeflediği metriği iyileştiriyor, Bing gibi iyi optimize edilmiş bir üründe bu oran daha da düşük. Aynı yazıya göre Bing'de sıradan bir günde 250'den fazla deney çalışıyordu. Çoğu işletme bu hacme sahip değildir, bu yüzden her test hakkı daha değerlidir.

ICE, PIE, PXL ve RICE nasıl farklılaşır?

Dört yöntem de aynı üç soruyu sorar: Bu test ne kadar kazandırır, buna ne kadar güveniyoruz, ne kadara mal olur? Fark, puanın nasıl verildiğindedir.

  • ICE (etki, güven, kolaylık). Sean Ellis'in yöntemi her fikre üç ölçütte puan verir ve hızlıdır. Peep Laja'nın karşılaştırmasına göre zayıf yanı, ölçütlerin tutarlı puan üretecek kadar belirli olmaması; kişisel önyargı puanı kolayca kaydırır.
  • PIE (potansiyel, önem, kolaylık). Chris Goward'ın yöntemi sayfadaki iyileşme payını, sayfaya gelen trafiğin değerini ve testin uygulama zorluğunu puanlar. Aynı yazı PIE'nin yoruma çok açık olduğunu, kolaylığın da kime sorulduğuna göre değiştiğini not ediyor.
  • PXL. Laja'nın ekibinin geliştirdiği yöntem sorulara evet ya da hayır yanıtı ister: Değişiklik ilk ekranda mı, yüksek trafikli bir sayfada mı, 5 saniyeden kısa sürede fark ediliyor mu, sayfaya bir şey ekliyor ya da çıkarıyor mu, kullanıcı testi, ısı haritası veya analitik verisine dayanıyor mu? Ölçütler ağırlıklıdır: Fark edilebilirlik 2 ya da 0, daha az etkili ölçütler 1 ya da 0 puan alır. Öznelliği azaltır, puanlaması daha uzun sürer.
  • RICE (erişim, etki, güven, efor). Intercom'dan Sean McBride'ın 2018'de anlattığı yöntem ürün ekipleri için çıktı. Erişim, belirli bir dönemde etkilenen kişi sayısıdır. Etki 3, 2, 1, 0,5 veya 0,25 puan alır; güven %100, %80 ya da %50 olarak girilir; efor kişi-ay cinsinden tahmin edilir. Puan, erişim, etki ve güvenin çarpımının efora bölümüdür. Testin önündeki geliştirme işini sıralamada güçlüdür.

Seçim ekibin durumuna bağlıdır. Ekip küçükse ICE ya da PIE yeter, yeter ki her puanın neye karşılık geldiği bir sayfada yazılı olsun. Birden çok kişi puan veriyorsa PXL'in evet ve hayır yapısı tartışmayı azaltır. Test kuyruğu geliştirici zamanıyla yarışıyorsa RICE'ın efor böleni işe yarar. Hangisini seçerseniz seçin, tanımları bir çeyrek boyunca değiştirmeyin; yoksa eski ve yeni puanlar karşılaştırılamaz.

Puan için kanıt nereden gelir?

Bir fikrin güven puanı, arkasındaki kanıt kadardır. Kanıtı dört yerden toplayın:

  • Analitik. Kopuşun yoğunlaştığı adım. Aşamaların nasıl tanımlanacağını satış hunisi yazısı anlatır.
  • Davranış kaydı. Isı haritası ve oturum kaydı, kullanıcının nerede takıldığını gösterir. Microsoft Clarity oturum kaydı, ısı haritası ve huni özellikleri sunuyor; Microsoft'a göre hizmet ücretsiz ve ücretli sürüme geçme zorunluluğu yok.
  • Kullanıcı sesi. Anket, destek kaydı, satış görüşmesi notu ve küçük ölçekli kullanılabilirlik testi.
  • Dış araştırma. Benzer arayüzlerde belgelenmiş sorunlar.

Dış araştırmaya bir örnek: Baymard Institute, ideal bir ödeme akışının 12-14 form öğesine inebildiğini, ABD'de ortalama ödeme akışının ise varsayılan olarak 23,48 form öğesi gösterdiğini yazıyor. Kurum, belgelediği ödeme sorunları çözüldüğünde büyük bir e-ticaret sitesinin dönüşüm oranını ortalama %35,26 artırabileceğini hesaplıyor. Bu, kurumun kendi tahminidir ve sizin siteniz için bir öngörü değildir. Ama "ödeme formunu kısalt" fikrinin güven puanını yükseltmeye yeter. Kanıtı olmayan fikir silinmez; düşük güven puanı alır ve önce küçük bir araştırma işine dönüşür.

Araç sorusunu da baştan netleştirin. Google, Optimize ve Optimize 360'ı 30 Eylül 2023'te kapattı ve Analytics entegrasyonu için AB Tasty, Optimizely ve VWO ile çalıştığını belirtiyor. Kullandığınız aracın yapamadığı test türleri varsa o fikirlerin kolaylık puanı düşer.

Test kuyruğunu adım adım kurun

  1. Fikirleri tek listede toplayın. Her fikri hipotez cümlesiyle yazın: "Veride şu var, şunu değiştirirsek şu metrik artar, çünkü..." Cümlesi kurulamayan fikir kuyruğa girmez.
  2. Kanıt etiketi ekleyin. Analitik, davranış kaydı, kullanıcı sesi, dış araştırma ya da kanıt yok.
  3. Yöntemi seçip ölçütleri tanımlayın. Her puanın neye karşılık geldiğini tek sayfada yazın.
  4. Trafik kapasitesini hesaplayın. Her sayfanın haftalık ziyaretini ve dönüşüm oranını yazın, testin kaç hafta süreceğini önceden bilin. Kapasite yetmiyorsa fikri daha yüksek trafikli bir sayfaya taşıyın ya da daha belirgin bir değişiklikle sınayın.
  5. Bağımsız puanlayın. İki kişi ayrı ayrı puan versin, büyük farkları konuşun.
  6. Test gerektirmeyeni ayırın. Kırık bağlantı, hata veren form, mobilde çalışmayan buton test değil, düzeltmedir. Kuyruğu bunlarla meşgul etmeyin.
  7. Sonucu geri besleyin. Her test bittiğinde kazandı, kaybetti ya da nötr diye işaretleyin ve öğrendiğinizi bir cümleyle yazın. Benzer fikirlerin güven puanını buna göre güncelleyin.

Önceliklendirmenin işe yaradığını nasıl ölçersiniz?

Testlerin sonucu kadar sıralamanın kalitesini de izleyin:

  • Test hızı. Ayda tamamlanan test sayısı ve fikirden yayına geçen gün.
  • Kazanma oranı. Tamamlanan testlerin kaçı birincil metrikte anlamlı iyileşme verdi?
  • Puan ile sonuç ilişkisi. Yüksek puanlı fikirler düşük puanlılardan daha sık kazanıyor mu? Kazanmıyorsa ölçütlerinizi gözden geçirin.
  • Kalıcı etki. Kazanan değişiklik yayına alındıktan sonra metrik, test dönemindeki kadar iyi mi?
  • Öğrenme payı. Kaybeden testlerin kaçı bir sonraki hipotezi değiştirdi?

Birkaç ay sonra elinizde on, on beş tamamlanmış test olduğunda puan ile sonuç arasında ilk kaba karşılaştırmayı yapabilirsiniz. Sayı az olduğu için bu bir istatistik değil, bir sağlık kontrolüdür.

Sık yapılan hatalar

  • En kıdemli kişinin fikrini öne almak. Bing örneği, düşük öncelik verilen bir fikrin en değerli çıkabileceğini gösteriyor.
  • Puanlamayı ritüele çevirmek. Ölçütleri tanımsız puanlama, sezgiyi sayıya çevirip meşrulaştırır.
  • Kolaylığa fazla ağırlık vermek. Hep kolay testleri seçen ekip, kimsenin fark etmediği küçük değişikliklerle zaman harcar.
  • Trafiği hesaba katmamak. Az ziyaret alan sayfada iyi fikir de aylarca sonuç vermez.
  • Kaybeden testi çöpe atmak. Nötr ya da olumsuz sonuç da bir hipotezi eler.
  • Çakışan testler. Aynı kullanıcıya aynı anda iki değişiklik gösteren testler birbirinin sonucunu bulandırır.

Pazartesi üç sayfanın fikirlerini puanlayın

Trafiği en yüksek ve satışa en yakın üç sayfanızı seçin; çoğu sitede bunlar ürün veya hizmet sayfası, form ya da sepet ve ödeme adımıdır. Bu sayfalar için bekleyen tüm fikirleri tek tabloya alın, her birine kanıt etiketi ekleyin ve seçtiğiniz yöntemle iki kişi ayrı ayrı puanlasın. İlk üç fikrin her biri için gereken süreyi hesaplayıp takvime yerleştirin. Bu tablo, bir sonraki çeyreğin test planıdır. Kuyruğu düzenli bir sürece bağlamak isterseniz dönüşüm oranı optimizasyonu sayfası çalışmanın kapsamını anlatır.

Kaynaklar

  1. Harvard Business Review, Kohavi ve Thomke, The Surprising Power of Online Experiments, Eylül-Ekim 2017
  2. Bing Blogs, Large Scale Experimentation at Bing, 8 Ağustos 2013
  3. Speero, Peep Laja, How to Prioritize Your A/B Test Ideas, Ocak 2021
  4. Intercom, Sean McBride, RICE: Simple prioritization for product managers, Ocak 2018
  5. Microsoft Learn, Clarity overview
  6. Baymard Institute, Cart Abandonment Rate: 50 Statistics & Why People Abandon, Ekim 2026
  7. Google Analytics Yardım, Sunset of Google Optimize