벤처금융레터 :: vol.'23-05월 :: 벤처금융 연구노트 :: 스타트업에서의 A/B 테스팅 효과

소개 및 요약

이번 호에서 다룰 주제는 스타트업들이 흔히 사용하는 A/B 테스팅의 효과에 관한 내용이다. 스타트업에서 실험이 중요하다는 건 이제 누구나 알고 있지만, 과연 그 실험들이 모두 좋은 결과로 이어질까? 그리고 스타트업 각자 다른 가설을 가지고 진행한 실험으로 과연 올바른 결정을 할 수 있을까?

저자들은 2008년부터 2013년까지의 제품 위주의 스타트업들의 데이터를 활용하여 A/B 테스팅이 스타트업의 성과에 어떻게 영향을 주었는지를 알아보기 위해 상세하고 흥미로운 분석들을 진행한다. 결과를 간단하게 요약하면, (흥미롭게도) 생각보다 적은 스타트업들이 A/B테스팅을 하였지만, 진행할 경우 스타트업의 성과가 30~100% 증가하는 것을 보여준다. 다양한 분석을 통해 왜 생각보다 적은 스타트업들이 A/B 테스팅을 진행하는지, 그리고 A/B 테스팅이 어떻게 스타트업의 성과에 영향을 주는지 분석한 좋은 연구를 담은 논문이다.

연구 내용 및 논리

스타트업은 물론 기업에서 실험을 통해 배우고, 기업 전략을 변경하여 성과를 올리는 것에 대해선 “린스타트업” 모델부터 “피봇”까지 여러 창업자의 경험담, 책, 유튜브, 논문 등을 통하여 많이 알려졌다. 그렇다면, 이러한 실험들을 스타트업들이 과연 어떻게 사용하고, 성과는 어떻게 개선으로 이어지는 걸까?

단순하게 생각하면, 실험을 통해 배운 걸 적용함으로써 스타트업의 전략에 영향을 줄 것이다. 게다가, 최근에 여러 A/B 테스팅 툴(Experiment.ly, Google Optimize, Adobe Test and Target, Optimizely 등)의 등장으로, 실험의 비용이 더욱더 내려간 것도 이러한 트렌드에 영향을 많이 주었을 것이다.

반대로, 실험만 한다고 스타트업이 갑자기 성장할 리도 만무하다. 어떤 실험을 하느냐, 그리고 실험으로 배운 것을 어떻게 적용하냐에 따라서 그 결과는 달라질 수 있다. 창업자들과 스타트업이 “실험”의 정의를 다르게 생각할 수도 있으며, 대조군이 없는 실험으로 정확한 실험의 인과관계(참조글)를 파악하는 데도 어려움이 있을 수 있기 때문이다. 창업자의 과한 자신감과 확증 편향도 그 어려움에도 한몫하게 된다.

어떤 실험을 하냐의 중요성에 대해서는 저자들은 다음과 같이 설명한다. 홈페이지에 있는 버튼의 색깔이나 사이즈의 A/B 테스팅을 예로 들며, 이런 소소한 feature을 실험으로 결정하게 된다고 해도, 이런 실험이 스타트업의 장기적 성과나 서바이벌에 큰 영향을 주긴 힘들다고 설명한다. 그러므로, “스타트업들이 A/B 테스팅을 했다!” 이것만으로는 스타트업의 미래에 큰 영향을 주지 못할 수도 있기에, A/B 테스팅이 스타트업의 성과에 영향을 줄지 안 줄지는 예측하기 힘들다고 설명한다.

더불어, 만약에 A/B 테스팅이 스타트업의 성과에 영향을 준다면 직접적 효과와 간접적 효과가 있다고 설명한다. 직접적으로는, 스타트업이 다양한 아이디어를 실험하게 됨으로써 어떤 아이디어가 더 나은지를 평가할 수 있는 도구를 제공해 줌으로써 도움이 될 수 있다. 간접적으로는, A/B 테스팅이라는 도구를 통해 더 많은 아이디어를 제안하고 만들어냄으로써 도구가 없을 때보다 더 여러 가지 아이디어를 낼 인센티브를 제공해 준다.

이 연구는 저자들이 직접적으로 가설을 세우고 그걸 테스트하기보다는 데이터 분석을 통해 여러 가지 가능성을 열어둔 채로 결과를 해석하는 형태의 실증적 연구이다.

데이터 및 방법론

2008년부터 2013년까지 제품 중심으로의 스타트업을 35,262개 추려냈다. 사용된 데이터는 크런치베이스. 크런치베이스에서 찾은 2008-2013 액티브했던 스타트업 리스트를 바탕으로 SimilarWeb, BuiltWith, 그리고 WaybackMachine으로 아주 참신한 데이터를 만들어냈다.

가장 중요한 변수인 A/B 테스팅을 하였냐 안 하였냐는 BuiltWith 데이터를 활용한다. BuiltWith는 스타트업들이 사용하는 Technology Stack에 관한 정보를 제공한다. 결국, 많은 A/B 테스팅 툴이 생김으로써 저자들은 이러한 툴을 사용할 경우 A/B 테스팅을 한다고 판단한다. 만약 자체적으로 A/B 테스팅을 진행한 스타트업의 경우는 A/B 테스팅을 하였다고 해도 포함 안 된다는 것이 이 연구의 약점일 것이다.

스타트업의 성과, 즉 결과변수로는 먼저 “웹사이트 방문자 수”를 대표적인 변수로 활용한다. 두 번째 분석인 스타트업의 제품군 변화에서는 스타트업 홈페이지의 코드 변화, Html 변화, CSS 변화 등 다양한 변수에다 추가로 “새 제품 개수”도 결과 변수로 활용한다.

여러 가지 분석이 존재하여 방법론도 다양한 편이다. 첫 번째 분석은 A/B 테스팅이 스타트업의 홈페이지 방문자수에 준 영향을 회귀분석으로 분석한다. 추가로 여러 가지 모델들을 활용하여 자신들이 찾은 방법론을 뒷받침한다. 하나로 A/B 테스팅이 스타트업의 제품 변화에 준 영향을 이벤트 스터디를 활용하여 분석한다.

두 번째 분석은 A/B 테스팅이 그럼 스타트업의 전략이나 제품군 변화에 어떤 영향을 주었는지를 회귀분석으로 진행한다. 다시 훑어봐도, 저자들은 정말 많은 데이터와 방법론을 활용하여 정말 많은 분석을 진행한다.

연구 결과

먼저, 간단한 통계를 공유하면 저자들이 가진 데이터에서 총 18%의 스타트업들이 A/B 테스팅을 활용하였다. 그리고, 한 주 단위로 했을 때 평균적으로 약 8%의 스타트업이 A/B 테스팅을 액티브하게 사용하였다. Optimizely가 약 60%의 비중으로 활용되었고, 구글의 A/B 테스팅 툴이 약 20%의 비중을 차지하였다.

다음 통계도 흥미롭다. 앤젤 투자자나 VC로부터 투자받은 스타트업의 약 25%가 A/B 테스팅을 활용하였고, 투자를 받지 않은 스타트업들 중에서는 약 12.9%만이 A/B 테스팅을 활용하였다. 마찬가지로, 실리콘밸리 스타트업 약 25.4%, 그리고 미국이 아닌 다른 나라의 스타트업 16.1%, 10명 이상의 스타트업 20.7%, 10명 이하의 스타트업 약 13%가 A/B 테스팅을 활용하였다. A/B 테스팅의 비용이 줄었음에도 불구하고 큰 기업일수록, 투자를 받은 스타트업일수록 A/B 테스팅을 활용한 것이 눈에 띈다.

첫 번째 분석 결과를 살펴보면, A/B 테스팅을 활용한 스타트업들과 그렇지 않은 스타트업들의 성과 차이다. 분석 모델마다 조금씩 다르지만 A/B 테스팅을 활용한 스타트업들의 성과가 최소 10% 정도 높게 통계적 유의미한 차이를 보였다. 추가적인 방법론으로, 구글의 A/B 테스팅 툴 출시를 기점으로 변화도 보여준다. 여기서도 마찬가지로 작게는 30% 많게는 100%까지 스타트업들 간의 방문자 수가 차이가 났다.

두 번째 결과도 흥미롭다. 저자들은 많은 인터뷰를 통해 실제 창업자들의 의견도 참고하며, 그에 따라 필요한 데이터를 분석한다. A/B 테스팅을 한 스타트업은 그렇지 않은 스타트업들에 비해 약 9~18% 더 많이 새로운 제품을 내놓았다.

그리고 가장 흥미로운 결과는 A/B 테스팅을 한 스타트업들은 실패한 아이디어도 빨리 “포기”하는 것으로 보였다. 그 결과, A/B 테스팅을 한 스타트업들의 웹사이트의 웹페이지별 방문자 수가 많이 올라가기도 하였지만, 방문자 수가 0이 되는 경우도 많았다는 것이다. 방문자 수가 0이 되었다는 것은 더 이상 공개되지 않은 웹페이지라고 저자들은 가정한다.

결론

이러한 현상 퍼즐들이 참 흥미롭다. 미디어와 유튜브 등등에서 많이 볼 수 있는 “A/B 테스팅은 스타트업에서 필수!” 같은 문구와 다르게 생각보다 적은 스타트업들이 A/B 테스팅 도구들을 활용하고 있었다. 그리고, A/B 테스팅을 하는 스타트업들이 성과가 높게 나올 것이라는 예측은 누구나(?) 할 수 있지만, 그렇다면 왜 모든 스타트업들이 활용하지 않을까?

이는 딱히 A/B 테스팅에만 국한되는 이야기는 아니다. 기업의 경영론에서 많은 이론이 존재하고 실제로 도구들도 존재하지만 모든 기업이 그러한 도구를 다 사용하는 것은 아니다. 그 이유로는 여러 가지가 있겠지만, 실제로 리소스(직원, 돈 등)가 부족해서 그럴 수도 있을 테고, 처음에 시도한 전략이 생각보다 괜찮다고 생각할 수도 있다. 반면에 두 번째 옵션(즉, A와 B에서 B)을 생각해내지 못해서 그럴 수도 있을 것이다. 스타트업과 초기기업은 어떻게 보면 다음 전략을 고려할 때 A를 생각해 내는 데 집중하는 것도 중요하지만 A와 버금가는 옵션인 B까지 생각해내어 두 가지의 차이를 실험을 통해서 배워보는 것이 중요할 것 같다.