Có một câu mà ai làm sản phẩm cũng từng nghe: "Đo outcome, đừng đo output." Output là cái bạn làm ra (số feature ship, số dòng code, số bài blog). Outcome là cái thay đổi ở người dùng vì cái bạn làm ra.
Tôi gật gù mỗi lần nghe câu này — nghe quá hợp lý. Nhưng khi bắt tay vào việc thật, tôi vẫn liên tục đo nhầm. Bài này là vài ghi chú về việc vì sao đo outcome khó tới vậy.
Output dễ đếm, outcome thì không
Số liệu output gần như tự nó hiện ra. Bạn nhìn vào Jira: tuần này ship được 5 ticket. Mở git log: 23 commit. Mở Mixpanel: 12 nghìn page view. Dễ tổng kết, dễ báo cáo, dễ tự khen.
Outcome thì không tự đếm. Lấy một ví dụ trừu tượng: một sản phẩm khuyến nghị quyết định cho user — đầu tư, sức khoẻ, học tập gì cũng được. Outcome thật của sản phẩm đó là gì?
- Người dùng ra quyết định tốt hơn nhờ sản phẩm? Cần nhiều tháng, có khi nhiều năm, để biết.
- Người dùng tránh được sai lầm tốn kém? Khó đo — làm sao biết một người không phạm sai lầm nhờ bạn, hay vì một nguồn khác?
- Người dùng tự tin hơn với quyết định? Đo bằng survey, nhưng survey hay lừa.
Trong khi đó, output thì dễ: tuần này ship thêm 3 feature. Tăng 30% so với tuần trước!
Cái bẫy hài lòng
Khi outcome khó đo, người ta hay đo proxy — chỉ số gần với outcome. Vấn đề: proxy dễ bị tối ưu sai cách.
Ví dụ: nếu chúng tôi chọn "số lần user mở app mỗi tuần" làm proxy cho "user yêu sản phẩm", chúng tôi sẽ bị cám dỗ thêm push notification, gamification, làm app gây nghiện. Số tăng, lãnh đạo vui. Nhưng outcome thật — user đầu tư tỉnh táo hơn — có thể tệ đi, vì chúng tôi đang khiến họ giao dịch nhiều hơn.
Mẹo tôi đang thử
Tôi không có lời giải. Có vài thứ tôi thử và thấy đỡ hơn:
- Viết outcome thành câu, không thành chỉ số. Trước khi nghĩ "đo bằng gì", viết: "Sau khi dùng sản phẩm này 6 tháng, user có thể trả lời câu nào tốt hơn về cuộc sống của họ?" Câu hỏi này định hình chỉ số sau, chứ không ngược lại.
- Chọn cửa sổ thời gian dài. Outcome quan trọng thường phải đo ở mốc tháng hoặc năm, không phải ngày. Output ngày-này-tuần-này không nên xuất hiện trong báo cáo outcome.
- Có ít nhất một outcome "nghịch". Một chỉ số mà nếu nó tăng, bạn biết mình đang sai. Ví dụ: với sản phẩm khuyến nghị, "tỷ lệ khuyến nghị dẫn tới kết quả tệ cho user" là một outcome nghịch tốt. Khi nó tăng, không có lý do gì che được rằng quy tắc của bạn đang tệ đi.
- Đừng báo cáo output trừ khi cần. Nghe nghịch lý, nhưng khi tôi để dashboard nội bộ chỉ hiện outcome (cộng cảnh báo nếu chỉ số nghịch tăng), nhóm bắt đầu nói chuyện khác. Họp không còn là "tuần này em làm những gì" mà là "tuần này outcome đang thế nào, có gì cần lo không".
Đoạn dài về sự kiên nhẫn
Một sự thật ngại nói: đo outcome buộc bạn kiên nhẫn. Bạn không biết một thay đổi có tốt không trong tuần đó. Có khi không biết trong quý đó. Trong khi sếp, nhà đầu tư, hoặc chính bạn vẫn cần cảm giác tiến độ.
Tôi nghĩ đó là lý do chính người ta vẫn đo output dù biết nó kém: output cho cảm giác kiểm soát. Đo outcome đòi hỏi bạn chịu được bất an trong khi chờ tín hiệu thật xuất hiện.
"We are what we measure" — Goodhart. Nếu đo output, bạn thành nhà máy. Nếu đo outcome, bạn thành nhóm phục vụ user.