팀러너스, 가설과 실험, 이터레이션

2024-04-21T00:33:00.000Z

![[Pasted image 20240421161550.png]]

실험에 미친 팀

내가 팀러너스에 합류한 시기는, 이제 막 팀이 투자사로부터 시드투자를 마친 시점이었다. 나의 입사를 기점으로 팀원들이 프리랜서 계약에서, 본격적인 정규직 계약으로 전환되었다. 그래서 팀의 초창기부터 많은 시행착오와 우여곡절을 겪으며 팀이 일하는 방식을 정립해나가는 과정을 지켜볼 수 있었다.

팀이 일하는 방식을 이제 막 꾸려나가는 참이었지만, 이전 글에서 설명했듯, 본격적인 아이템을 정하기 이전에 팀이 BEP를 맞출 수 있는 역량/체력이 있는지를 먼저 확인하기 위해 이미 시장에서 PMF가 검증된 아이템을 만들고 이터레이션을 돌렸던 경험은 풍부했다. 그렇기에 팀에서는 일반적인 문제에 대해서도 가설과 실험을 통해 확인하는 재미있는 문화가 있었는데 이를테면 이런 식이다.

![[Pasted image 20240512165428.png]]

- 문제: 어떻게 하면 개인에게서 최상의 역량을 끌어낼 수 있을까?
- 가설: 건강한 음식을 먹으면, 최상의 신체 컨디션을 유지할 수 있을 것이다.
- 실험: 일주일 간 인원의 절반은 샐러드를, 남은 절반은 배달 음식을 먹어본다.
- 결과: 참이다. 샐러드를 먹은 실험군은 모두 신체 컨디션이 더 좋아짐을 느꼈다. 이 실험 이후에 매일 먹는 식사(배달음식)의 절반은 샐러드로 주문하는 것이 유지되었다.

이외에도 일주일 간 다같이 영양제를 먹는 실험을 하거나(몸에 좋다는 영양제가 공용 테이블에 한 가득 쌓여있었고, 사람들이 순식간에 먹어치워 사라졌다), 오후 7시에 다같이 퇴근하는 실험을 하거나(원래는 출근/퇴근 시간이 정해져있지 않았고 눈 뜨면 출근해서 잠들기 직전 퇴근했다), 작업하는 그룹을 3명씩 묶어서 프로덕트를 개발해보는 등의 실험(개발자, 프롬프터, 그리고 유저 페르소나에 해당하는 팀원이 한 조가 되었다)이 이어졌다. 어떻게 하면 팀이 더 잘 일할 수 있을까에 대한 실험을 계속했던 것이다. 많은 가설들이 실험되었고, 효과가 입증된 몇몇이 남아 유지되었다.

무엇을 만들 것인가, 어떻게 키울 것인가

물론 가장 중요한 실험은 프로덕트에 대한 실험이었다. 실험의 종류는 크게 2가지였다. “What - 어떤 제품을 만들 것인가”와 “How - 제품을 어떻게 만들어 나갈 것인가”. 목표는 ‘매우 높은 유저 만족도와 리텐션을 가진 제품’. 때문에 많은 실험을 했지만, 그 최종적인 목표 아웃풋은 같았다. ‘유저가 매일 접속하는 서비스’

What - 어떤 제품을 만들 것인가

처음 몇 프로덕트는 직관에 의존한 제품을 많이 만들었다. 2023년 2월 입사 당시, 팀의 첫 AI 프로덕트는, AI를 이용한 바이럴 소재 생성 도구였다. 말하자면 봉봉vonvon과 같은 서비스였는데, 유저가 ‘나와 가장 잘 어울리는 호그와트 기숙사는?’ 과 같은 퀴즈를 만들어 SNS에 공유할 수 있었고, 링크에 접속한 유저들은 자신의 사진을 업로드하고 호그와트 기숙사 버전의 자기 사진을 받아보는 식이었다. 컨셉도 재미있고, 바이럴 요소도 있었지만 앱은 실패했다. 리텐션이 매우 낮았고, 결과물 페이지에서 공유 버튼을 클릭하는 퍼널 역시 낮았다. 아직까지 이미지 생성 기술이 자신의 얼굴을 합성한 결과물을 만들고, 공유하고 싶어질만큼 무르익지 않았다고 판단했다. 오래지 않아 프로덕트를 접었다.

![[Pasted image 20240512013508.png]]

다음으로는 AI를 이용한 챗봇을 개발했다. 당시에 세계적으로 애니메이션 캐릭터와 대화할 수 있는 CharacterAI가 높은 인기를 구사하고 있었고, 우리는 이것의 한국 버전을 구현하고자 했다(훗날 이 도메인은 AI companion이라는 이름으로 명명된다). 대화에는 크게 ‘정보 대화’와 ‘감정 대화’가 있다. 정보 대화의 경우 검색에 가까운 영역으로 ‘정확성’이 가장 큰 유저 가치(러너스에서는 ‘유저 가치’라는 말을 참 많이 사용했다)이기 때문에, 결국 원천 데이터를 많이 가지고 있거나 자체 모델을 학습시킬 수 있는 대기업이 유리할 것으로 판단했다. 다른 회사의 모델을 가져다 써야하는 우리 같은 스타트업은 도전하기 어려웠던 것이다. 오히려 애니메 캐릭터와 대사를 주고 받는 감정 대화라면 우리가 유저에게 경쟁자보다 10배 좋은 경험을 선사할 수 있을지도 모른다. 당시에는 OpenAI의 API가 존재하지도 않았고, Llama와 같은 뛰어난 오픈소스 모델도 공개되지 않은 시점이었기에, 사용할 수 있는 모델의 선택지가 많지 않았다. 고민 끝에 구글에서 공개한 T5라는 모델을 채택해 CharacterAI와 외양이 비슷한 서비스를 만들 수 있었다. 그리고 서비스를 당시 한국인 커뮤니티 중 가장 활발히 운영되고 있었던 arca.live AI 채팅 채널을 통해 홍보했다. 당시의 채널은 AI companion의 춘추전국시대라고 할 수 있을 정도로 많은 서비스가 생겨나고, 사라지고 있었다.

우리의 서비스는 그 와중에 많은 인기를 끌 수 있었지만, 결과적으로 성능이 좋은 LLM 모델을 안정적으로 서빙하는 것에 실패하여 서비스를 지속하지 못했다. 당시에는 LLM 모델을 API를 이용해 안정적으로 서빙하는 서비스가 전무했고, 우리는 banana.dev, beam.ai, runpod 등의 써드파티 GPU provider를 전전하며 모델을 직접 서빙했다(AWS의 Sagemaker, bedrock과 같은 서비스는 경우 비용 문제로 선택하지 못했다) 하지만 당시의 GPU 프로바이더 역시 새롭게 등장한 업체들이 많았고, 툭하면 latency가 크게 늘어나거나, 서비스 자체가 죽어버리는 경우도 허다했다.

![[Pasted image 20240512154326.png]]

이후에도 우리는 아래와 같은 서비스를 런칭했다.

AI 인플루언서들의 인스타그램을 표방했던 ‘슬레이 Slay’
Stable diffusion으로 만든 그림들의 핀터레스트를 표방했던 ‘뉴타입 Newtype’
내 취향대로 채팅과 셀카를 보내주는 ‘AI Girlfriend, Tela’
내가 선택한 대로 스토리와 이미지를 만들어 진행되는 ‘AI Text-RPG’
AI 아이돌 포토카드 생성기 ‘포카 월드 Poca World’
가상 세상의 또 다른 내가 운영하는 SNS ‘AE 월드’
☠️, etc.

개발하지 않고 랜딩 페이지만 만들어서 페이크 테스트로 실험한 프로덕트도 여럿 있었다. 돌아가신 부모님과 대화할 수 있는 memorial AI라거나, 초음파 사진으로 아이의 사진을 미리 만들어 보여주는 초음파 Baby AI 등이 있었다. 광고로 돌리는 설문 폼을 통해 결제한 유저가 1명이라도 있는 경우 성공으로 보았는데, 거의 대부분의 아이디어가 원하는 유저를 한 명도 찾지 못해 접혔다.

수많은 서비스를 만들고 이터레이션을 돌렸지만, 결과적으로 모두 유저의 리텐션을 얻지 못해 사라지고 말았다. 워낙 많은 서비스를 만들고 없애다보니, 어느덧 Github organization 레포지토리가 200개를 넘겼고, 새로운 서비스를 만들 때에 성공에 확신하거나 서비스가 실패했을 때 침울해지는 것도 사라지게 되었다.

그 때 처음으로 [[Stockdale paradox, 스톡데일 패러독스]]를 이해하게 되었다. 만드는 프로덕트마다 성공할 것이라고 확신했다면 상처가 쌓여 버티지 못했을 것이다. 오히려 큰 미련 없이, ‘우리는 우리가 만들고 싶은 프로덕트가 아닌, 유저들이 좋아하는 프로덕트를 만들 뿐이다. 너무 큰 낙관도, 너무 큰 비관도 하지 않는다. 다만 우리가 할 수 있는 최선의 실험을 매일 해나갈 뿐이다’ 그렇게 마음을 먹으니, 상처가 쌓이지 않고, 매일 실험하는 것이 재미있게 느껴졌다. 어쩌면 이러다 우리가 세계에서 처음으로 성공적인 AI B2C의 프로덕트-마켓 핏을 찾을지 모른다.

제품을 어떻게 키울 것인가

AI 스냅사진

![[Pasted image 20240512174653.png]]

위에서 언급한 프로덕트들과 병렬로 진행되던 프로덕트 중에, 자신의 얼굴을 넣어 AI 스냅사진을 만드는 ‘피카부’라는 프로덕트가 있었다. 유저가 자신의 사진 20장을 업로드하면, 우리는 이 사진들을 활용해 이미지 모델을 파인튜닝하고, 이 이미지 모델로 이미지를 생성해내는 식이었다. 그러면 유저의 얼굴이 담긴 새로운 사진을 만들어낼 수 있었다. 당시 유저들의 주요 불만 사항은 ‘생성된 이미지가 자신의 얼굴과 닮지 않았다’는 것이었다. 때문에 당시의 우리의 주요 관심사는 ‘어떻게 하면 조금이라도 더 유저 얼굴과 닮게 만들 것인가’에 있었다. 이를 위해 수많은 파인튜닝 방식을 AB 테스트하고, 원본과 생성된 사진 사이의 cosine similarity를 측정하고 이를 최소화하는 등의 방법론도 동원했으나, 결국 유저를 만족시키는 것은 어려웠다. 인간의 뇌는 얼굴의 아주 미묘한 차이를 쉽게 감지할 수 있도록 진화해왔고, 그것도 (아주 익숙한) 본인의 얼굴이라면 아주 엄격한 기준이 적용되었다.

수학적인 similarity는 계속 높아지고 있었지만, 유저들은 여전히 ‘눈 밑에 있는 점이 없다’, ‘아랫입술이 조금 더 얇다’와 같은 아주 세세한 부분에 대한 피드백을 주었다. 당시에 우리는 AI 사진 커뮤니티를 수시로 들락거리며, 커뮤니티에서 AI 사진을 잘 만드는 사람들을 회사에 초대하고, 조금이라도 도움이 될 것 같은 방법론이라면 곧바로 이를 구현하는 파이프라인을 만들어 프로덕션에 적용했고, 수많은 A/B 테스트 파이프라인을 통해 유저의 만족도를 조사했다.

경쟁사 등장

그렇게 유저들의 만족도를 조금씩 조금씩 올려가던 중에 큰 일이 발생했다. SNOW에서 우리 서비스와 유사한 ‘AI 프로필’ 서비스를 런칭한 것이다. 그리고 이는 전국적으로 엄청난 바이럴이 되었다.

![[1686190803210_878.19.01.png]]

스노우가 런칭과 동시에 엄청난 히트를 치는 것을 본 우리는, 조금은 두려운 감정을 느끼고 있었다. 스노우에는 AI 모델만 연구하는 팀이 별도로 있었고, 긴 기간 축적해돈 사진 편집 노하우도 가지고 있다. 이제야 겨우 모델을 서빙해 사진을 생성하는 기술을 가지게 된 우리가 스노우와 경쟁할 수 있을까?

동시에 그런 이야기도 나왔다. 어쩌면 잘된 일일지도 모른다. 스노우가 대신 지불해준 수억원의 광고비 덕분에, 사람들이 AI 프로필 사진이라는 개념을 쉽게 받아들일 수 있을 것이다. 이것은 우리에게 기회가 될 수도 있다. 그리고 어쩌면, 우리 팀이 더 좋은 프로덕트를 만들 수 있을지도 모른다. 당시에 우리보다 유저 가치에 집착하고 있는 팀은 없다는 자신감이 있었다.

스노우가 우리랑 똑같은 서비스를 냈다. 스노우도 한 달 정도 기간 동안 개발한 것 같다. 스노우는 돈도 많고, 사람도 많고, 가지고 있는 MAU도 많다. 우리가 어떻게 해야 1년 후에 스노우를 이길 수 있을까? 닥터스트레인지처럼 수만가지 미래를 미리 볼 수 있다면, 그 중 대부분의 미래에서 우리가 진다. 하지만 몇 가지 정도는 우리가 이기는 미래도 있다. 좋은 결정을 반복하면 우리가 이길 수 있다.

2023년 6월 1일 목요일, 팀러너스 일지에 적은 내용

앞에서 언급했듯 우리의 모든 목표는 하나였다. ‘유저가 매일 쓰는 서비스를 만든다.’ 이 기준으로 본다면 스노우의 ‘AI 프로필’은 우리의 목표에 근접하지 못한 프로덕트였다. 스노우에 매일 6천원씩 결제하면서 AI 프로필을 만드는 유저는 없을 것이기 때문이다. 우리는 매일 쓰는 AI 사진 앱을 만들고 싶었다. 결국, 우리는 그 실마리를 발견했다.

VIP 단톡방

![[Pasted image 20240512175911.png]]

인스타그램보다 오래 쓰는 AI 사진 앱의 탄생 | 팀러너스

![[Pasted image 20240512165324.png]]

우리 팀은 피카부 서비스를 열성적으로 사용하는 유저들이 모여있는 카카오톡 VIP 단톡방을 운영하고 있었다. 당시 우리 서비스에서는 매일 새로운 컨셉의 스냅사진을 하나씩 새로 공개하고 있었는데, 이것에 대한 피드백을 받는 것이 주 목적이었다. 처음에 유저분들은 ‘오늘 컨셉 좋아요 ㅋㅋ’ 혹은 ‘오늘 별로에요 ㅠㅠ’ 정도의 의견을 내었는데, 이후에는 ‘하이틴 계열 컨셉 예쁘지 않나요?’, ‘리틀 포레스트 같은 느낌도 좋아요’, ‘저는 보조개가 없어서 보조개가 생겨보면 신기할 것 같아요’ 같은 적극적인 창작 제안을 해주시기 시작했다.

우리는 유저가 앱보다 단톡방에 열광하는 것에서 아이디어를 얻었다. ‘우리의 유저 페르소나는, 평소 찍고 싶은 스냅 사진을 많이 저장하고 있는 사람이다. 유저가 직접 찍고 싶은 컨셉 사진을 업로드하고, 자기 얼굴을 넣어서 인페인팅할 수 있는 기능을 만들자.’ 이틀 뒤 우리는 기존 앱에 있던 ‘실험실’ 탭에 ‘매거진’이라는 기능을 개발해 출시했다.

안녕하세요 스튜디오 피카부의 노진우입니다.

피카부의 새 기능 <피카부 매거진>이 개발되어 VIP 분들께 먼저 공개합니다! <피카부 매거진>은 찍고 싶은 컨셉 사진을 직접 업로드해 자신의 얼굴로 화보를 제작할 수 있는 서비스입니다.

자신이 찍고 싶은 컨셉 사진을 업로드하시고, 다른 유저분들께도 공유해보세요!

https://www.peekaboo.style/in-app/experimental

2023년 7월 10일 월요일, VIP 단톡방에 보낸 내용

치솟는 체류시간

서비스를 런칭한 다음날 신기한 데이터를 보았다. 하루만에 100명의 유저가 50,000개의 사진을 만든 것이다. 이것은 이전에 볼 수 없었던 이례적인 수치였다. VIP 단톡방 유저들은 하루에 몇 시간씩 매거진 기능을 사용하기 시작했고, 나중에 iOS 스크린타임을 제보받아보니 컨텐츠(인스타그램/유튜브), 쇼핑앱(지그재그)보다 많은 시간을 피카부 스튜디오에 사용했다. 특히 자신이 올린 컨셉 사진을 다른 사람들이 따라할 수 있게 공개할 수 있었는데, 이것이 유저들의 창작욕을 자극했다. 어떤 유저는 자신의 사진이 아닌 컨셉으로