LINER에서 실험은 어떻게 시작될까? – LINER ‘가설공장’ 이야기
안녕하세요~
프로덕트-그로스 플래닛 데이터 분석가 라이언입니다.
오늘은 LINER의 ‘가설공장’에 대한 소개를 드리려고 합니다. 가설공장은 말 그대로 가설을 만들어내는 프로세스, 시스템을 의미하는데요, LINER에서 어떤 고민과 합의의 과정을 거쳐 실험 소재들이 선정되는지 지금부터 함께 살펴보도록 할게요.
그럼 시작해볼까요? 🙂
LINER의 실험 현황
‘22년 4분기부터 ‘23년 3월 현재까지 약 30명의 LINER 팀원들은 2주의 스프린트 주기마다 평균 8개의 실험을 새로 시작하고 있습니다. 팀의 규모를 고려한다면 결코 적은 수는 아니지요. 이렇게 끊임없는 실험이 가능하려면 여러가지 것들이 충족되어야 하겠지만, 그 중에서도 가장 중요한 것은 실험을 위한 아이디어 혹은 가설이 조직 내에서 계속 흐르는 만드는 것이라고 볼 수 있습니다.
오늘 소개해드릴 ‘가설공장’이 그것을 가능하게 만드는 중심 축이라고 볼 수 있습니다. 가설공장은 좁은 의미로는 2주 단위의 개발 스프린트가 진행되기 전에 진행되는 미팅을 지칭합니다. 앞서 말씀드린 것처럼 실험(프로젝트)을 진행하기 전에 어떤 가설을 검증할 지, 그 가설들을 선정하기 위한 목적을 갖고 있어요. 물론, 미팅 전에 준비해야할 것들이 있습니다. 공장에 들어가기에 앞서 ‘원료’ 준비부터 잘 이루어져야겠죠?
가설공장 미팅 전 – 원료 준비하기
가설공장의 원료는 다름아닌, ‘아이디어’입니다. 프로덕트 오너(이하 PO), 데이터 분석가(이하 DA), 디자이너, 그 밖의 다른 LINER 팀원들은 검증하고자 하는 아이디어를 가설공장 미팅이 시작되기 전까지 자유롭게 쌓아둡니다.
이때 이 아이디어들은 일정한 방향성을 갖고 있어요. 보통 1~2개월에 한 번꼴로 LINER가 현재 집중해야 하는 목표나 지표에 대하여 전사적으로 공유가 이루어집니다. 이렇게 결정된 목표나 지표를 중심으로 아이디어를 떠올리기 때문에 실험이나 제품 개선의 방향이 회사의 목표와 어긋나는 것을 방지할 수 있습니다.
그리고 이렇게 아이디어를 쌓을 때는 지켜줘야 할 것들이 있습니다. 가정과 가설, 고객/제품/비즈니스의 문제, 아이디어에 대한 근거(정량적/정성적)를 명시해주는 것인데요, 데이터에 기반한 근거들은 아이디어를 본격적으로 검토하고 선정하는 과정에서 좀 더 투명하고 논리에 입각한 논의를 가능하게 만들어 줍니다.
가설공장 미팅 – 제품 생산하기
가설공장 미팅은 2주에 한 번 1시간~1시간30분 정도 진행됩니다.
미팅 참석자는 ‘프로덕트 가드너’라고 불리는 CEO, COS(COS 직무 소개), PO(모두), DA(모두), 디자이너(일부) 입니다. 미팅에서 좀 더 활발하고 적극적인 논의가 이어질 수 있도록 보통 아이디어를 많이 제안하는 직무 담당자를 중심으로 구성되어 있습니다.
미팅 진행 순서는 다음과 같습니다.
- 아이디어 리뷰
- 아이디어 투표
- RICE 스코어링
- 실험 대상 선정
# 아이디어 리뷰
- 먼저 2주 동안 차곡차곡 쌓아둔 아이디어 티켓을 미팅 참석자들이 모두 확인합니다.
- 읽으면서 가설, 근거와 관련하여 궁금한 점이나 추가 의견이 있으면 아이디어 티켓에 댓글을 남깁니다.
- 미팅 참석 중인 발제자는 아이디어 리뷰 과정에서 틈틈이 질문 댓글을 확인하고 궁금한 부분을 해소해 줍니다.
# 아이디어 투표
- 아이디어 리뷰 이후에 배움이나 임팩트가 클 것으로 생각되는 아이디어에 투표를 합니다.
- 미팅 참석자의 투표수에 특별히 제한은 없지만, 대개 1인당 5개 내외로 투표를 합니다.
- 이 과정에서 좀 더 활발하게 아이디어와 관련된 질의응답이 이어집니다.
- 아이디어를 낸 사람은 더 많은 득표를 위해 정견 발표(부연 설명)를 하기도 합니다.
# RICE 스코어링
- 미팅 참석자의 과반을 넘게 득표한 아이디어만 따로 추려냅니다.
- 이 아이디어들은 각각의 아이디어 발제자가 예상 효과(RICE 스코어)를 계산합니다.
- 예상 임팩트는 RICE(Reach, Impact, Confidence, Effort) 4가지 항목에 각각 1점부터 5점까지 부여할 수 있습니다.
- Reach : 영향 범위. 얼마나 많은 유저에게 영향을 줄 수 있는가?
- Impact : 효과 크기. 목표/지표를 얼마나 많이 개선할 수 있는가?
- Confidence : 확신 정도. 앞서 예상한 영향 범위와 효과 크기를 얼마나 확신할 수 있는가?
- Effort : 노력 크기. 실험 진행을 위한 비용과 노력이 얼마나 필요할 것인가?
- 최종 점수는 (R x I x C) ÷ E 로 계산합니다.
# 실험 대상 선정
- RICE 스코어링이 완료되면 LINER 팀의 리소스도 함께 고려하여 다음 개발 스프린트에서 진행할 실험 리스트를 확정합니다.
- 실험 리스트 확정 이후에는 각 실험을 담당할 프로덕트 오너와 데이터 분석가를 결정합니다.
가설공장에서는 결국 ‘타당한 근거’를 기반으로 ‘합의’를 거쳐 실험 소재들이 선정됩니다. 이 과정에서 누군가의 목소리가 더 큰지, 누가 더 오래 회사를 다녔는지, 누가 어떤 권한을 갖고 있는지는 영향을 주지 않아요. 실험의 근거와 결정 과정이 명확하기 때문에 실험 프로젝트에 함께하는 멤버들도 신뢰를 갖고 프로젝트에 참여할 수 있게 됩니다.
가설공장 미팅 후 – 포장 및 배송하기
실험 리스트와 PO, DA까지 확정되면 가설공장의 문은 2주 뒤를 기약하며 잠시 문을 닫게 됩니다.
가설공장 미팅이 끝난 이후에는 PO가 아이디어를 프로젝트로 구체화 하는 작업(기획서 작성)을 진행하고, 프로젝트 담당 디자이너와 개발자 매칭을 진행합니다. 이어서 프로젝트 기획에 부합하는 유저 경험 설계, 디자인 작업까지 마치게 되면 비로소 다가올 스프린트를 위한 준비가 모두 끝나게 됩니다.
가설공장을 통해 정말로 쓸 만한 ‘제품’, 즉 실험을 만들기 위한 노력은 가설공장의 문이 닫힌 이후에도 이렇게 계속 이어지게 됩니다.
맺음말
LINER에서 지금처럼 가설공장이 무리없이 잘 돌아가기까지는 짧지 않은 시간이 소요되었습니다. 물론 지금도 여전히 더 높은 품질의, 다양한 아이디어 생산을 위한 노력들이 이어지고 있답니다.
LINER팀이 어떤 방식으로 일하는지 가설공장을 통해 조금이나마 더 잘 알 수 있는 계기가 되었으면 좋겠습니다. 앞으로도 블로그 등을 통해 LINER의 일 하는 방식과 변화하는 모습을 꾸준히 소개해 드리도록 할게요. 🙂
지금 LINER는 효율적인 실험 관리 프로세스와 실험 문화 정착을 위한 고민들을 계속하고 있어요. LINER의 성장 문화를 주도적으로 만들어 나갈 PO, DA 분들을 적극적으로 모시고 있습니다. 관심 있으신 분들께서는 아래 라이너 채용 페이지를 통해 더 많은 LINER 이야기와 채용 소식을 확인해주세요. 감사합니다! 😄
