다음 세대 AI는 왜 인간의 감정을 이해해야 하는가? 엘리븐랩스 CEO가 말하는 ‘음성 인터페이스’ 혁신

혹시 해외 영화를 볼 때 어색한 한국어 더빙 때문에 몰입이 깨진 경험이 있으신가요? 혹은 AI 스피커에게 말을 걸 때, 감정 없는 모노톤의 답변에 답답함을 느낀 적은 없으신가요? 기술이 발전했음에도 불구하고, 여전히 우리가 마주하는 AI 음성은 차갑고 기계적입니다.

우리의 일상 대화는 단순한 단어 전달이 아닌, 감정과 뉘앙스가 담긴 복잡한 경험입니다. 그리고 바로 이 지점, ‘인간의 감정을 포착하는 음성 AI’에 집중하여 폭발적으로 성장한 기업이 있습니다. 바로 엘리븐랩스(ElevenLabs)입니다. 엘리븐랩스의 CEO인 마티 스타니셰프스키(Mati Staniszewski)가 말하는 다음 세대 AI 인터페이스의 혁신 전략을 깊이 들여다봅니다.

 

감정을 이해하는 음성 합성: AI의 새로운 문맥 이해 능력

엘리븐랩스가 처음 해결하고자 했던 문제는 ‘문맥’이었습니다. 기존의 음성 합성(Text-to-Speech) 모델은 단지 텍스트를 소리로 변환하는 역할에 머물렀습니다. 하지만 엘리븐랩스는 단순히 텍스트를 읽는 것을 넘어섭니다.

이들의 모델은 문장이 담고 있는 감정과 억양, 맥락을 이해하고 목소리에 반영합니다. 나이, 성별, 특정 지역의 억양과 같은 미세한 목소리 특성까지 포착하여 구현해냅니다. 이 핵심 기술을 바탕으로 엘리븐랩스는 텍스트-음성 변환뿐만 아니라 음성-텍스트, 그리고 AI 에이전트 플랫폼까지 영역을 확장하고 있습니다.

 

속도를 위한 결단: 연구와 제품 사이의 3개월 규칙

기술 스타트업이 마주하는 가장 어려운 숙제는 연구(R&D)의 완성도와 제품(Product) 출시 속도의 균형을 맞추는 일입니다. 엘리븐랩스 역시 이 딜레마를 피해 갈 수 없었습니다. 초기에는 고객들이 음성 속도를 조절하는 슬라이더 기능을 요구했습니다.

하지만 CEO는 단순한 편집 기능을 추가하기보다는 연구 단계에서 음성 속도를 완벽하게 해결하려 했습니다. 결국 9개월 동안 연구팀은 이 문제를 풀지 못했고, 그 사이에 제품팀이 간단한 슬라이더 기능을 출시했습니다. 이 경험을 통해 엘리븐랩스는 중요한 교훈을 얻었습니다. 만약 연구 해결에 3개월 이상이 걸릴 것이 예상되면, 제품팀은 즉시 사용자에게 필요한 임시 기능이라도 출시하여 시장의 피드백을 받기로 결정했습니다.

 

전권을 부여한 소규모 팀과 타이틀 없는 조직 문화

엘리븐랩스는 조직 구조에서도 독특한 방식을 고수합니다. 현재 5명에서 10명 규모의 소규모 제품팀 약 20개가 운영되고 있습니다. 각 팀에게는 제품 출시에 대한 완전한 독립성과 전권이 부여됩니다.

이러한 방식은 중복된 작업을 발생시키기도 하지만, 팀원 개개인의 오너십을 극도로 높이는 결과를 가져왔습니다. 또한, 엘리븐랩스는 1년 전부터 직위(Title)를 없앴습니다. 팀에 합류한 지 얼마 되지 않았더라도, 뛰어난 능력과 열정을 보여주면 연차에 상관없이 빠르게 영향력을 발휘할 수 있습니다.

 

창작 생태계와의 상생: 보이스 마켓플레이스 전략

AI가 등장했을 때, 창작자들 사이에서는 일자리를 위협하는 기술이라는 부정적인 반응이 많았습니다. 엘리븐랩스는 이러한 초기 반발을 피하고 산업과 함께 성장하는 전략을 택했습니다. 이들이 출시한 서비스가 바로 ‘보이스 마켓플레이스’입니다.

성우나 일반 사용자는 자신의 목소리를 공유하고, 해당 목소리가 사용될 때마다 수익을 분배받습니다. 현재까지 약 1만 개의 목소리가 등록되었고, 커뮤니티에 100억 원 이상의 수익이 지급되었습니다. 이 전략은 AI가 일방적으로 산업을 파괴하는 것이 아니라, 오히려 새로운 수익 창출 기회를 제공할 수 있음을 입증했습니다.

 

기업 전환의 핵심: 인센티브 설계

엘리븐랩스는 개인 사용자 중심의 PLG(Product-Led Growth) 모델로 시작했지만, 결국 엔터프라이즈(기업) 시장으로 진출했습니다. 기업 고객을 유치하는 과정은 단순히 제품이 좋은 것을 넘어섭니다. 보안, 규정 준수, 그리고 99.99% 이상의 고가용성을 갖춘 인프라 구축이 필수적입니다.

특히 흥미로운 점은 기업 영업팀의 인센티브(성과급) 설계에 대한 CEO의 통찰입니다. 조직이 커지면서 인센티브 구조는 결국 회사의 전략을 결정하는 ‘후행 지표’가 됩니다. CEO는 영업팀에게 인센티브를 포기하더라도, 장기적인 회사 전략에 해가 되는 딜(예: 경쟁사에 핵심 모델을 판매하는 행위)은 스스로 거절하도록 독려했습니다. 이처럼 인센티브와 전략을 일치시키는 것이 대규모 조직을 이끄는 핵심입니다.

엘리븐랩스의 이야기는 단순히 목소리 기술의 발전사를 넘어, 급변하는 AI 시대에 기업이 어떻게 문화, 조직 구조, 그리고 시장 전략을 동시에 혁신해야 하는지를 보여줍니다. 인간의 감정을 이해하는 AI를 만들겠다는 목표처럼, 그들의 경영 방식 또한 인간적인 연결과 오너십을 기반으로 하고 있습니다.

출처: a16z 유튜브