[코드스테이츠 PMB 14기] 코드스테이츠 홈페이지 A/B 테스트로 개선하기

 

---

[코드스테이츠 PMB 14기] 교육 플랫폼은 왜 메인 카피를 내세웠을까?

들어가며 전 포스팅에서 코스스테이츠 랜딩페이지 문제점과 그에 따른 개선점을 제시해보았다. 그럼 이제 그 중에서 어떤 개선점을 A/B 테스트를 활용해서 실제로 검증을 해볼지 선택해보는 시간이다. 

그래서 이번 포스팅에서는 실제로 내가 생각한 솔루션이 효과가 있을지, 그에 따른 A/B 테스트를 설계해보는 시간이다.

 

일단 저번에 정의한 솔루션은 다음과 같다.

 

1) 랜딩페이지 처음에 메인 카피 넣기

2) 페이지 업 버튼 수정

 

이제 솔루션을 통해서 어떤 효과를 낼 수 있을지 그것부터 먼저 생각해보는 시간이다.

AS IS - TO BE

AS IS	TO BE
사용자가 맨 처음 랜딩페이지에 들어왔을 때, 배너가 노출된다	사용자가 코드스테이츠 브랜드를 단박에 각인할 수 있게, 가장 먼저 '메인 카피'가 보이게 한다.
페이지 업 버튼을 눌렀을 때, 랜딩 페이지 맨 위로 페이지가 올라간다	마지막까지 사용자 반응을 이끌어내기 위해서, 부트캠프 내용이 담긴 페이지로 올라간다.

내가 만약 PM이 되었다고 가정을 해보고, 이 중에서 우선 순위를 정한다면 가장 먼저 해결해야 할 과제는 '1) 랜딩페이지 처음에 메인 카피 넣기' 라고 생각했다. 랜딩 페이지의 가장 마지막보다 처음을 보는 사용자가 많은 것은 당연하고, 이 과정에서 사용자 반응을 이끌어내야 결론적으로 수강률이 높아질 거라고 예상했기 때문이다.

그래서 랜딩페이지 처음 부분을 개선함으로써 얻고 싶은 목표는 결과적으로 부트캠프 수업의 수강률을 높이는 것이다.

 

가설 수립

자고로 가설 없는 A/B 테스트는 팥 없는 찐빵이랬다. 그러니까 A/B테스트에서 가장 중요한 것은 가설이라는 말씀. 어떤 것을 검증하고 싶은지 정확하게 수립하고 테스트를 해야, 인사이트를 얻을 수 있다. 즉, 가설없이 이게 좋을까? 저게 좋을까? 해서 운 좋게 얻어걸리는 결과가 아닌, 명확하게 가설을 성립하고 그 후에 실험을 해야 명확한 인사이트를 얻고, 앞으로 나아갈 방향을 얻을 수 있는 것.

 

그래서 "원본 A를 대안 B로 바꾸면, 관측지표 X가 결과 Y로 바뀔 것이다."  형태에 따라 가설을 세워보았다.

측정 확인 지표는 "부트캠프 수강률" 로 삼기로 했다. 상세 페이지 클릭율, 상담 신청률로 측정 할 수 있겠지만 결론적으로 메인 카피를 강조하면 코드스테이츠 이미지에 좀 더 믿음이 간다는 것이 나의 가정이기 때문에 수강률로 잠았다.

 

그래서 설정한 가설은 다음과 같다

"랜딩 페이지 배너 이미지를 매인 카피로 바꾸면, 페이지 방문자의 부트캠프 수강신청률이 상승할 것이다."

 

A/B 테스트 설계

가설	랜딩 페이지 배너 이미지를 매인 카피로 바꾸면, 페이지 방문자의 부트캠프 수강신청률이 상승할 것이다.
목표	랜딩페이지를 통한 부트캠프 수강률 상승
기간	2주 (부트캠프 수강 오픈 후 2주)
대상	테스트 기간 동안 부트캠프 수강을 위해 랜딩페이지에 들어온 고객
A그룹 대조군	랜딩페이지 내 현재 메인 배너 유지
B그룹 실험군	랜딩페이지 내 메인 카피 이미지 노출
측정 지표	부트캠프 상세 페이지 클릭률 / 부트캠프 수업 신청 CTA버튼 클릭율

측정 지표 부분에서 수강률은 다른 변수에 의해서 이탈할 확률이 있으니, 랜딩페이지를 통한 상세 페이지 진입율과 부트캠프 수업 신청 CTA버튼을 누르는 클릭율을 측정하면 좀 더 정확해질거라고 생각했다.

기간 설정이 조금 고민이 되는데, 부트캠프 수강률은 아무래도 신청 마감 기한이 있어서 날짜에 따라 신청률이 차이가 있을거라고 생각했다. 아무래도 마감이 다가온다면 더 많이 신청할게 분명했다. 그래서 그에 따른 변수요인을 고려하기 위해 정확하게는 '부트캠프 수강 신청이 오픈 되고 난 후 2주'라고 기준을 잡았다. (참고로 코드스테이츠의 수강 오픈 간격인 한달이었다.)

 

테스트 디자인

어제 포스팅에도 올렸던 리디자인이다! 원래 있던 배너대신 사용자가 한눈에 눈에 보이는 '메인 카피' 배너와 사용자의 클릭을 유도하는 CTA 버튼으로 이루어져있다. '커리어 전환하러 가기' CTA 버튼을 클릭하면, 이미 코드스테이츠를 통해 커리어 전환에 성공한 사람들의 후기를 보여주는 '수강생 후기' 페이지로 연결이 되게 되어있다.

 

이렇게 기존 디자인과 리디자인 디자인 두 개를 노출시켜서, 두 그룹 중에 '부트캠프 수강신청'까지 도달하는 비율이 어느정도인지 측정한다면 해당 테스트에 대한 검증을 할 수 있을 것이다!

 

---

여담 : 테스트 설계 어렵네 이거...🤔 생각해야할 변수도 생각보다 많고, 만약 실행했을 때 어느 지표를 정확하게 상승시켜야할지 생각하는 것도 은근히 고역. 내가 코드스테이츠의 PM이었다면 얼마나 좋을까. (넝담~)