다들 AI 쓴다는데, 왜 ‘진짜’ 성과는 안 날까요?

“우리 팀도 요즘 AI 쓰고 있어요.”

“챗봇으로 고객 응대 효율화했더니 CS 비용이 줄었어요.”

“마케팅 문구 생성 AI 돌려보니까 클릭률이 좀 올랐고요.”

요즘 회사에서 흔히 들을 수 있는 말입니다. 하지만 경영진이 “그래서 AI 도입으로 회사 전체 EBIT(영업이익)이 얼마나 올랐죠?”라고 물으면, 자신 있게 대답하기는 어렵습니다. 분명 여기저기서 AI를 쓰고 있는데, 왜 기업 전체의 ‘찐 성과’로는 이어지지 않는 걸까요?

맥킨지가 발표한 2025년 AI 현황 글로벌 설문조사(The State of AI 2025)는 바로 이 질문에 대한 날카로운 현실을 보여줍니다. 3년 전 생성형 AI가 등장한 이후, AI는 이제 일상적인 도구가 되었습니다. 하지만 대부분의 조직은 아직 AI를 워크플로우에 깊숙이 내재화해 기업 수준의 실질적인 혜택을 얻는 데는 고전하고 있습니다.

 

“다들 쓴다”는 말은 사실입니다

이제 AI를 사용하는 것은 특별한 일이 아닙니다. 설문 응답자의 88%가 조직 내 하나 이상의 사업 부문에서 AI를 정기적으로 사용한다고 답했습니다. 이는 작년의 78%보다 10%p 증가한 수치입니다.

하지만 ‘사용’이 ‘확산’을 의미하지는 않았습니다. 대다수의 조직은 여전히 ‘실험’ 또는 ‘파일럿’ 단계에 머물러 있습니다. 응답자의 32%는 ‘실험 중’이라고 답했고, 30%는 ‘첫 사용 사례를 구현하는 파일럿 단계’라고 답했습니다.

기업 전체에 AI가 완전히 배포되고 통합되었다고 답한 ‘완전한 확장’ 단계는 단 7%에 불과했습니다. 거의 모든 기업이 AI를 시도하고 있지만, 이를 전사적으로 확장하는 데는 큰 어려움을 겪고 있다는 뜻입니다.

 

성과는 있는데, 왜 기업 전체의 이익은 그대로일까?

물론 AI 도입으로 인한 긍정적인 신호는 많습니다. 응답자의 64%가 AI가 조직의 혁신을 가능하게 했다고 답했습니다. 45%는 고객 만족도와 경쟁사 차별화가 개선되었다고 보고했습니다.

이러한 성과는 개별 ‘사용 사례’ 수준에서는 분명히 나타납니다. 소프트웨어 엔지니어링, 제조, IT 부서 등에서는 AI를 통해 비용 절감 효과를 보고 있습니다. 마케팅 및 영업 부서에서는 AI를 활용해 수익 증대 효과를 경험하고 있습니다.

문제는 이 작은 성공들이 기업 전체의 재무제표를 바꾸지 못한다는 것입니다. AI 사용으로 인해 ‘기업 수준’의 EBIT(영업이익)에 영향을 미쳤다고 답한 응답자는 39%에 불과했습니다. AI가 아직 핵심 워크플로우에 충분히 깊숙이 통합되지 않아, 기업 수준의 실질적인 이익을 창출하지 못하고 있는 것입니다.

 

새로운 기대주, ‘AI 에이전트’는 어떨까?

최근 업계의 가장 큰 화두는 단연 ‘AI 에이전트’입니다. AI 에이전트는 단순히 답을 주는 것을 넘어, 실제 세상에서 스스로 계획하고 여러 단계의 작업을 실행할 수 있는 시스템을 말합니다.

이 새로운 기술에 대한 호기심은 매우 높습니다. 전체 응답자의 62%가 이미 AI 에이전트를 최소한 ‘실험’하고 있다고 답했습니다. 39%는 실험 단계에 있으며, 23%는 이미 ‘확장’ 단계에 들어섰다고 합니다.

하지만 이 역시 아직은 초기 단계입니다. 에이전트를 확장하고 있다고 답한 이들도 대부분 한두 개 기능에서만 사용하고 있었습니다. 가장 활발하게 도입되는 분야는 IT와 지식 관리(Knowledge management) 분야였습니다.

 

상위 6% ‘AI 하이 퍼포머’는 무엇이 다를까

보고서는 AI를 통해 실질적인 성과를 내는 소수의 기업을 ‘AI 하이 퍼포머(AI high performers)’라고 정의합니다. 이들은 전체 응답자의 약 6%에 불과하며, AI 사용으로 5% 이상의 EBIT 영향을 보고하고 ‘상당한 가치’를 확인한 기업들입니다.

이들의 첫 번째 차이점은 ‘목표’에 있었습니다. 대부분의 기업(80%)이 AI 도입 목표로 ‘효율성(비용 절감)’을 꼽습니다. 하이 퍼포머들 역시 효율성을 중요하게 생각하지만(84%), 이들은 ‘성장(82%)’과 ‘혁신(79%)’을 훨씬 더 중요한 추가 목표로 설정했습니다.

두 번째 차이점은 ‘변혁’에 대한 의지입니다. 하이 퍼포머들은 향후 3년 내 AI를 사용해 비즈니스를 ‘변혁적인(Transformative) 수준’으로 바꾸겠다고 답한 비율이 50%에 달했습니다. 이는 다른 기업들(14%)보다 3.6배나 높은 수치입니다.

이것이 가장 결정적인 차이를 만듭니다. 하이 퍼포머들은 AI를 도입할 때 기존 워크플로우를 ‘근본적으로 재설계’한다고 답한 비율이 55%에 달했습니다. 반면 다른 기업들은 단 20%만이 그렇다고 답했습니다. AI를 기존 방식에 덧붙이는 게 아니라, 일하는 방식 자체를 바꾸는 것입니다.

이런 담대한 목표는 리더십과 투자로 뒷받침됩니다. 하이 퍼포머 조직의 응답자는 ‘경영진이 AI 이니셔티브에 대한 강력한 주인의식과 헌신을 보인다’는 항목에 ‘강력히 동의’한 비율이 48%로, 다른 조직(16%)보다 3배 높았습니다.

투자 규모도 다릅니다. 하이 퍼포머의 35%는 전체 디지털 예산의 20% 이상을 AI에 지출합니다. 다른 기업에서 이 정도로 투자하는 비율은 단 7%에 불과합니다.

 

그래서, 내 일자리는 어떻게 될까?

모두가 궁금해하는 ‘일자리’ 문제에 대해서는 전망이 엇갈렸습니다. 내년에 AI로 인해 조직의 전체 직원 수가 어떻게 될 것 같냐는 질문에, 43%는 ‘거의 또는 전혀 변화 없음’이라고 답했습니다.

하지만 ‘감소할 것’이라는 응답이 32%였고, ‘증가할 것’이라는 응답은 13%였습니다. 특히 지난해보다 내년에 인력 감소를 예상하는 비율이 더 높게 나타났습니다.

동시에 기업들은 AI 관련 인재를 적극적으로 채용하고 있습니다. 특히 대기업일수록 지난 1년간 AI 관련 역할을 채용했다고 답한 비율이 높았습니다. 가장 수요가 많은 직무는 소프트웨어 엔지니어와 데이터 엔지니어였습니다.

 

AI 시대, ‘사용’을 넘어 ‘변혁’으로

 

이번 맥킨지 보고서가 주는 교훈은 명확합니다. 단순히 AI를 ‘사용’하는 것만으로는 충분하지 않습니다. 이제 AI는 누구나 쓰는 도구가 되었기 때문입니다.

진정한 가치는 AI를 비용 절감 도구가 아닌, ‘조직 변혁의 촉매제’로 다루는 데서 나옵니다. 이는 기존의 일하는 방식을 근본적으로 재설계하고, 성과와 혁신이라는 더 큰 목표를 향해 나아가는 담대한 여정입니다.

그리고 그 여정은 리더의 강력한 의지와 전폭적인 투자 없이는 불가능합니다. 어쩌면 지금 우리 조직에 필요한 질문은 “AI를 쓰고 있는가?”가 아니라, “AI로 무엇을 변혁할 준비가 되었는가?”일지도 모릅니다.

출처: McKinsey –  The State of AI 2025