Pazartesi sabahı panelde bir sayı kırmızıdır. Tıklama başı maliyet geçen haftanın üzerinde, form sayısı altında. Toplantıdaki ilk cümle hep aynı: “Bir şey yapalım mı?” Bu sorunun doğru cevabı çoğu zaman hayırdır ve hayır demek, evet demekten daha fazla hazırlık ister.
Refleksin maliyeti
Bir kampanyaya her dokunuş bedava değildir. Bütçe, teklif ya da hedefleme değiştiğinde platform yeni ayarla veri toplamaya baştan başlar; o süre boyunca performans zaten dalgalıdır. Birkaç günlük maliyet artışına tepki verip kurguyu değiştirmek dalgalanmayı düzeltmez, üstüne yenisini ekler.
İstatistiksel süreç kontrolünde bunun bir adı var: bir süreci doğal salınımına göre ayarlamaya çalışmak salınımı büyütür. Dokunulmasa kendi kendine ortalamaya dönecek bir sapmaya müdahale etmek, sapmanın süresini uzatır. Reklam yönetiminde en pahalı alışkanlık budur.
Üç kaynak: pazar, platform, kendi sistem
Bir metrik değiştiğinde ilk iş nedeni bulmak değil, kaynağı ayırmaktır.
- Pazar ortamı: mevsimsellik, rekabetin artan teklifi, medya maliyetinin genel yönü, bayram ve tatil takvimi. Müdahale edilmez; beklenti buna göre kurulur.
- Platform: açık artırma davranışı, envanter dağılımı, varsayılan ayarların değişmesi. Kısmen dışsaldır. Kontrol edemezsiniz, ama ayarı sizin seçtiğiniz yerde sonuç sizin sorumluluğunuzdadır.
- Kendi sistem: yeni kreatif, değişen açılış sayfası, bozulan izleme kodu, tükenen stok, tatile çıkan satış ekibi. Müdahale yalnızca buraya yapılır.
Sıralama önemli. Üçüncü kutuyu açmadan ilk ikisine sorumluluk yüklemek kolaydır. Kaynağı platformda aranıp sonunda kendi hattında bulunan sapmalar, bu işin en sık tekrarlayan sahnesi: iki hafta önce yapılmış ve kimsenin not almadığı bir ayar değişikliği. Basit bir değişiklik kaydı, çoğu ileri analizden önce gelir.
Kontrol limiti nasıl kurulur
Kontrol limiti bir hedef değildir; metriğin normal salınım aralığıdır. Kurulumu şöyle: metriği yeterince uzun bir dönem boyunca düzenli aralıklarla yazın, ortalamayı ve standart sapmayı hesaplayın, alt ve üst sınırı ortalamanın iki ya da üç standart sapma uzağına koyun.
İki ayrıntı bu hesabı bozar. Birincisi, dönem içinde büyük bir kampanya ya da bayram varsa aralık olduğundan geniş çıkar; o günler ayrı işaretlenir. İkincisi, veri seyrekse oran metrikleri çok oynar; az sayıda dönüşüm alan bir hatta günlük değil haftalık limit kurulur.
Limit bir kez kurulduğunda tartışma biter. Değer aralığın içindeyse rapor edilir, dışındaysa teşhis açılır. Bunun ön şartı tanımın sabit olması: metrik sözlüğü hangi sayının nasıl hesaplandığını yazmıyorsa, limit de anlamlı olmaz.
Limit içindeki dalgalanma rapor edilir, limit dışındaki sapma teşhis edilir. Aradaki farkı bilmeyen ekip sürekli müdahale eder.
Limit dışına çıkıldığında
Alarm çaldığında sıra bellidir: önce ölçüm, sonra kendi sistem, en son pazar. İzleme çalışıyor mu, çift sayım var mı, veri gecikmiş mi? Ardından son iki haftada hatta ne değiştiğine bakılır. Kaynak bulunduğunda düzeltme yapılır ve aynı sapmanın tekrarını yakalayacak kontrol yazılır.
Tek değişken kuralı burada da geçerli. Aynı hafta iki ayrı ayarı değiştirirseniz sayı düzelse bile hangisinin düzelttiğini öğrenemezsiniz; o bilgi bir sonraki sapmada lazım olur. Sabırsızlığın bedeli, aynı teşhisi ikinci kez baştan yapmaktır.
Kuralı önceden yazın
Müdahale kuralı sapma anında değil, sakin bir günde yazılır: hangi metrik, hangi aralık, kaç ölçüm üst üste, kim karar veriyor, ne kadar sürede. Yazılı kural yoksa karar, sesi en yüksek çıkan kişinin olur. Kişiden bağımsız sistem tam olarak bu kuralların toplamıdır. Kural bir kez yazıldığında pazartesi sabahındaki soru da değişir: “Bir şey yapalım mı” yerine “Limit dışına çıktık mı” sorulur.