AU 임팩트를 말해주는 프로덕트 메트릭
Intro
안녕하세요, 프로덕트 데이터 분석가 알렉스입니다! 일을 하면서 가장 인상 깊게 배운 사실은, 좋은 기능과 임팩트 있는 기능은 항상 일맥상통하지 않는다는 점입니다. 초기 스타트업은 편의성 개선 그리고 경험개선에 모든 리소스를 투입할 수가 없습니다. 생존을 위해서는 극한으로 한정된 리소스로 빠르게 임팩트를 내고 증명해보이면서 스케일업 해야하기 때문입니다.
IPO 전 단계의 B2C 스타트업들이 제품 임팩트를 증명해보이기 위해서 사용하는 지표는 월간 활성 사용자 수 (MAU) 입니다. 비즈니스 영역에 따라 차이는 분명 존재하겠지만, 초기 스타트업에서 일을 한다면 Active User (AU) 임팩트를 낼 수 있는 프로젝트들이 확실한 우선순위를 가져가는 경우가 많습니다.
LINER에서 AU 임팩트의 맥락은 퍼포먼스 마케팅 & 프로덕트 간에 쪼개져서 관리되는데요, 일반적으로 제품을 관리하는 PM/PO 들은 서비스 리텐션 쪽을 고려한 새로운 기능 출시와 최적화를 통해 AU 상승에 기여하게 됩니다.
*AU 임팩트를 낸다는 것은 MAU, DAU와 같은 활성 사용자 지표에 유의미한 영향을 미치는 것을 의미합니다.
자연스럽게 출시를 하자마자 AU 임팩트를 내는 기능들이 있는가 하면, 좋은 아이디어에서 시작해 많은 기획과 개발시간이 투입 되었는데도 불구하고 아무런 비즈니스적 임팩트도 내지 못하는 경우도 있습니다. 아픈 손가락이 되는거죠. (임팩트를 내지 못하는 기능들은 슬프게도 그냥 사라지게 되는 경우도 허다합니다)
그렇다면 AU 임팩트는 어떤 기능들이 내게 되는 것일까요? 딱히 알려주는 사람도 없습니다. 하지만, 경험있는 PO들 곁에서 데이터 분석가로서 서포트 하고 직접 PO 역할도 해보니 일종의 룰(rule) 혹은 프레임워크가 있다는 것을 알 수 있었습니다.
오늘은 AU 임팩트를 내고자 하는 기능들이 꼭 최적화 시켜야하는 지표 4가지를 공유합니다. Success metric (성공 지표) , Guardrail metric (가드레일 지표), Coverage metric (영향범위 지표), 그리고 Entry metric (진입지표)
Success & Guardrail 은 제품기능의 Value Delivery 여부의 지표가 되어주고, LINER 에서 Coverage & Entry 라고 부르는 지표들은 제품기능의 Impact 지표가 되어줍니다.
Value Delivery (가치전달)
1. Success Metric (성공 지표)
Success Metric 은 기능의 UX 플로우에 진입한 유저들 중 얼마만큼이 목표를 달성하는가? 다시 말해 기능이 사용되는 것 혹은 기능이 의도하고자한 바가 얼마만큼 이뤄지는지를 의미합니다.
서비스 그리고 프로젝트에 따라 success metric 은 장바구니 결제율일 수도 있고, 크로스플랫폼 설치율, 구독 전환율, 콘텐츠 소비율, 혹은 더 후행적인 재방문율을 의미할 수도 있습니다. 전사적인 우선순위에 따라서 각각의 다른 success metric을 겨냥한 프로젝트들이 열리게 됩니다.
Success metric은 신기능이 초기에 의도했던 만큼의 가치를 전달했는지를 판단해줍니다. 때문에 success metric은 프로젝트의 목표달성 여부 뿐만 아니라 이터레이션 여부를 결정하는 역할 또한 해줍니다. 조직이 success metric을 얼마나 올바르게 정하냐에 따라서 신기능의 임팩트를 조금 더 객관적인 시선으로 판단하고 공유할 수 있게 됩니다. 좋은 프로덕트 문화도 여기서 나온다고 개인적으로 생각합니다.
2. Guardrail Metric (가드레일 지표)
Guardrail metric은 실험설계 영역에서 자주 등장하는 용어인데요, 가설검증 과정에서 영향을 받을 수 있다고 판단되는 주요지표입니다. 가설이 검증되더라도 해당 과정에서 Guardrail metric이 허용범위를 넘어나면서 발생하는 비용이 너무 높아졌을 경우에는 해당 프로젝트를 놔야하는 경우도 생깁니다. Guardrail metric이 일정 수치에서 벗어나버리는 것은 우리가 제품 가설을 검증하는 과정에 있어 경계해야하는 리스크입니다.
목표를 달성하는 유저들이 있는 반면 우리가 무언가를 잃게되는 Trade-off 가 있을까? 생각해보는거죠.
많은 SaaS 제품들은 가드레일 메트릭으로 앱 삭제율, 환불률, 이탈률 등을 모니터링하는 것으로 알고 있습니다. LINER의 브라우저 익스텐션 제품에서는 가설검증을 할 때 익스텐션 삭제율을 주로 가드레일 메트릭으로 삼고 모니터링 합니다.
가설검증 시점에 파악되지 않거나 최적화되지 않은 Guardrail 에서 오는 리스크를 최소화하기 위해서 기능출시를 부분배포하는 경우도 이런 부분 때문입니다.
Impact
3. Coverage Metric (영향범위 지표)
AU 상승은 전체 유저들 중 더 많은 유저들이 제품의 활성 유저가 되는 것을 의미합니다. 따라서 기능이 AU 상승 임팩트를 내기 위해서는 Coverage를 높여 많은 유저들에게 UX 플로우에 노출 & 인입시키고, 확보한 유저들을 UX 플로우 내에서 Value Delivery를 통해 활성유저로 전환시켜야합니다.
이번 글에서 가장 강조하고 싶은 Coverage Metric (영향범위) 이야기입니다. 저는 전체 유저 중 해당 기능이 태핑하고 있는 유저 비중을 Coverage Metric (영향범위) 라고 부르고 있습니다.
Coverage는 말그대로 영향범위이고 쉽게 말하면 확보가능한 모수이기 때문에 신기능이 보유하고 있는 긍정적이고 부정적인 영향 모두를 극대화 시키는 성향을 갖고 있습니다. 따라서 Coverage 를 조절하거나 최적화 시킴으로서 Conversion & Guardrail에서 나오는 결과물 // 절대적 수치의 effect 들을 몇배로 증폭 혹은 증감시킬 수 있습니다.
Coverage를 조절하는 하나의 좋은 예시는 새로운 기능을 출시하거나 AB 테스트를 할 때 부분배포하는 상황입니다. Guardrail metric 이 최적화 되지 않은 상태에서 Coverage 가 높으면 서비스가 절대적으로 입게되는 타격도 커지기 때문에 부분배포를 먼저 하고 소량의 샘플로 모니터링을 하는 것입니다.
제품 예시는 아니지만, Braze 같은 마케팅 솔루션을 사용했을 때, CTR은 좋았으나 모수확보를 못했다고 이야기하는 상황도 좋은 예시입니다. 가장 많은 목표유저군한테 영향을 미치기 위해, Coverage를 확보하기 위해, 모수확보를 하는 상황입니다.
만약 신기능의 제품 퍼널들을 모두 최적화 시켰다고 생각했지만 전사적인 차원에서의 임팩트가 약했다는 이야기가 나오게 된다면, 꼭 coverage metric을 검토해보실 것을 추천드립니다.
4. Entry Metric (진입 지표)
Coverage metric이 전체 유저가 기능으로 향하는 창구를 발견하게 될 확률이었다면, Entry metric은 창구를 발견한 유저가 창구 안으로 진입할 확률입니다.
Entry를 기능의 유저 획득 지점이라고 생각해주시면 좋을 것 같습니다.
예시로 신기능으로의 진입 창구가 특정 배너 혹은 특정 페이지라고 해보겠습니다. 해당 예시에서 entry metric은 배너나 페이지를 본 유저들이 CTA 버튼을 클릭할 확률이 됩니다.
기능이 해소하고자 하는 맥락이 담긴 UX writing 혹은 디자인을 활용해서 지나가는 유저들을 붙잡고 신기능을 한번 사용해봐달라고 하는 시점입니다.
Entry metric을 다룰 때 주의할 점은 Entry metric과 Success metric 은 동일한 개념이 아니라는 사실입니다. 프로젝트를 소통할 때 두 개념을 명확히 구분해서 가져갈 필요가 있습니다.
Success, Guardrail, Coverage, Entry 예시
기능을 출시하는 것에 있어 의도한 임팩트를 내기 위해서는 4가지 지표 모두 최적화가 되어야합니다.
예시로 의류 브랜드를 운영하는 사람이 잠시 되어보겠습니다. 신기능을 새로 연 옷가게에 비유해볼게요. 저는 옷가게를 백화점에 새롭게 입점시켰고 단기간에 매출을 높이고 싶습니다.
- Success metric을 가게 안으로 들어온 사람들 중 얼마만큼이 옷을 사게 되는지의 전환율이라고 지정했습니다.
- Guardrail metric은 하룻동안 가게를 열어둠으로서 발생하는 전기세, 인건비를 포함한 비용입니다
- Coverage metric은 백화점 안의 사람들이 제 옷가게를 발견할 확률로 지정해봅니다. 백화점 안에서의 위치선정이 중요한 요소로 작용합니다. 백화점에 들어오자마자 가게가 보이는지, 푸드코너로 가는 길에는 무조건 보이게 된다던가요. (쇼핑몰 안의 사람들만 태핑 가능하다는 가정)
- Entry metric은 제 옷가게를 발견한 사람이 안으로 들어올 확률로 정할 수 있을 것 같습니다. 제가 옷을 팔 기회가 주어지는 순간입니다. Entry metric을 높이기 위해서 저는 아마 가게 입구를 힙하게 꾸미고 구매욕구를 자아내는 요소들을 마련해놓을 것 같네요.
넷 중 한가지라도 최적화가 안된다면, 저는 의류 브랜드를 운영하는 사람으로서 옷가게를 계속해서 열어두고 운영할 이유가 없어지게 됩니다.
Outro
오늘 소개드린 Value Delivery & Impact 지표들은 사실 새로운 개념이 아닙니다.
정리한 내용에서 Impact 부분의 용어들은 제가 선별하기는 했지만, 뛰어난 PM/PO 분들은 데이터를 찾을 때 자연스럽게 Coverage metric과 Entry metric 을 파악하고 변화시키기 위해 데이터를 봅니다. 이 글을 읽으시는 분들 중에서도 Coverage 와 Entry 라는 용어는 처음 들어보셔도 내용을 읽으신 다음에는 “이미 하고 있는거네!” 라고 하고 계신 분들이 많으실 것 같습니다.
다만 이렇게 개념에 이름을 붙여서 프레임워크로 지정하고 실무에 임하는 것은 중요하다고 생각합니다.
신기능의 초기 데이터를 목격할 때 너무 다양한 맥락의 데이터를 접하다 보면 정확한 문제상황을 파악하는데에 혼선이 생깁니다. 현재 LINER에서는 신기능의 이터레이션을 진행할 때, Value Delivery & Impact 구조가 효율적인 제품 스프린트 운영에 도움이 될 수 있다 생각하고 실행하고 있습니다.
오늘의 내용이 임팩트를 내기 위해서 데이터를 활용하고 전략을 세우는 모든 분들에게 도움이 되기를 희망합니다.
