“우리 서비스에도 AI를 도입해야 하지 않을까요?”

아마 최근 회의 시간마다 지겹도록 들은 이야기일 겁니다. 팀의 목표는 명확합니다. 고객 경험을 혁신하고 운영 비용을 줄이는 것이죠. 그리고 세상에는 이미 수많은 강력한 AI 모델들이 넘쳐납니다. 하지만 막상 이 둘을 연결하려고 하면 거대한 벽에 부딪힙니다.

어떤 모델을 써야 할지, 기존 시스템과는 어떻게 연동할지, 복잡한 워크플로우는 누가 관리할지… 마치 수만 개의 퍼즐 조각을 쏟아놓고 그림을 맞추는 기분입니다. 도대체 왜 이렇게 복잡한 걸까요?

그 이유는 우리가 지금까지 AI를 단순히 ‘똑똑한 도구’로만 여겼기 때문입니다. 하지만 만약 AI가 도구가 아니라, 스스로 생각하고 일을 처리하는 ‘유능한 직원’이라면 어떨까요?

오늘 우리는 복잡한 AI 인프라 문제를 해결할 열쇠, ‘AI 에이전트(AI Agent)’와 ‘에이전틱 AI(Agentic AI)’에 대해 이야기해보려 합니다.

수동적인 도구에서 능동적인 ‘동료’로

지금까지 우리가 접한 대부분의 전통적인 AI 모델은 ‘반응형’이거나 ‘예측형’이었습니다. 우리가 질문을 입력하면 대답을 내놓고, 데이터를 주면 결과를 예측하는 식이죠. 즉, 인간이 시키는 대로만 움직이는 수동적인 존재였습니다.

하지만 AI 에이전트는 다릅니다. 이들은 주도적(Initiative)입니다. 목표를 주면 스스로 계획을 세우고 실행합니다.

가장 큰 차이점은 ‘기억’과 ‘학습’입니다. AI 에이전트는 단기 및 장기 기억을 유지합니다. 과거의 행동을 통해 배우고, 반성하고, 미래의 행동을 수정합니다. 단순히 답을 내놓는 것을 넘어, 복잡한 업무의 순서를 스스로 계획(Planning)하고 실행에 옮깁니다.

쉽게 말해, 일일이 지시해야 하는 ‘인턴’이 아니라, “김 대리, 이번 프로젝트 맡아서 진행해 줘”라고 말하면 알아서 처리하는 ‘숙련된 실무자’가 생긴 셈입니다.

---

복잡한 인프라를 지휘하는 마에스트로

 

백엔드 서비스 기획자라면 여기서 한 가지 의문이 들 겁니다. “그렇게 똑똑한 AI가 우리 시스템의 그 복잡한 DB나 API랑 어떻게 붙는다는 거지?”

AI 에이전트의 진가는 바로 ‘연결 능력’에서 드러납니다. 에이전트는 고립된 모델이 아닙니다. 소프트웨어 생태계(혹은 메타버스) 안에서 자유롭게 활동하며 다양한 자원과 소통합니다.

이들은 외부의 API를 호출할 수도 있고, 데이터베이스에 접속해 필요한 정보를 가져오거나, 클라우드에 있는 다른 AI 모델을 실행시킬 수도 있습니다. 심지어 에이전트가 실행되는 컴퓨터의 소프트웨어나 하드웨어 펌웨어와도 직접 상호작용합니다.

마치 오케스트라의 지휘자처럼, AI 에이전트는 현재 사용 가능한 모든 자원(리소스)을 파악하고 적재적소에 활용하여 목표를 달성합니다. 이 과정에서 인간이 일일이 코드를 짜서 연결해주던 수고가 획기적으로 줄어듭니다.

시나리오: AI가 보험금을 지급하는 방법

개념만으로는 와닿지 않을 수 있습니다. 구체적인 예시를 들어보겠습니다. 우리가 자동차 보험 회사의 ‘보험 청구 처리 시스템’을 현대화한다고 상상해 봅시다.

우리는 이 업무를 담당할 ‘청구 처리 AI 에이전트’를 고용(생성)합니다. 고객이 사고 접수를 하면, 이 에이전트는 스스로 다음과 같은 작업 계획을 세웁니다.

1. 청구 내용 분석: 고객이 쓴 글을 이해해야 합니다.

2. 약관 대조: 고객의 보험 상품이 이 사고를 보장하는지 확인합니다.

3. 이미지 분석: 사고 현장 사진을 보고 견적을 냅니다.

4. 사기 감지: 혹시 보험 사기는 아닌지 검사합니다.

5. 감사(Audit): 처리 기록을 남깁니다.

6. 고객 안내: 결과를 고객에게 알립니다.

놀라운 점은 에이전트가 이 각 단계를 처리하는 방식입니다.

에이전트는 ‘청구 내용 분석’을 위해 클라우드에 있는 고성능 자연어 처리(NLP) 모델에 작업을 외주 줍니다. ‘약관 대조’는 보안이 중요하므로, 회사 내부 서버의 가속기 카드에 설치된 거대언어모델(LLM)을 활용해 처리합니다.

‘이미지 분석’이 필요할 때는 GPU 뱅크(그래픽 처리 장치 묶음)로 데이터를 보내고, ‘사기 감지’를 위해서는 사기 적발에 특화된 펌웨어가 탑재된 하드웨어 카드를 호출합니다. 데이터베이스에 접속해 감사 로그를 남기는 것도 잊지 않습니다.

이 모든 과정을 에이전트가 스스로 판단하고 자원을 배분하여 처리합니다.

AI가 다른 AI에게 업무를 맡기다

이 시나리오에서 가장 흥미로운 부분은 마지막 단계인 ‘고객 안내’입니다.

사고 처리를 잘하는 것과, 고객에게 친절하게 결과를 설명하는 것은 전혀 다른 역량이 필요합니다. 사람도 그렇듯 AI도 마찬가지입니다. 이때 청구 처리 에이전트는 아주 영리한 선택을 합니다.

바로 ‘고객 응대 전문 AI 에이전트’를 호출하는 것입니다.

“나는 계산은 끝났으니, 이제 네가 고객에게 잘 설명해 줘.”라며 업무를 넘깁니다. 고객 응대 에이전트는 고객용 앱과 소통하고, 필요하다면 또 다른 데이터베이스를 참조하여 고객에게 최적의 메시지를 전달합니다.

AI가 또 다른 AI와 협업하여 일을 처리하는 세상, 이것이 바로 에이전틱 AI가 보여주는 미래입니다.

복잡함을 넘어설 때 보이는 기회

‘에이전틱 AI’, ‘메타버스’, ‘자율 워크플로우’… 겉보기엔 어렵고 뜬구름 잡는 이야기처럼 들릴 수 있습니다. 하지만 핵심은 간단합니다. 거대한 문제를 ‘기능 단위’로 쪼개고, 각 기능을 가장 잘 수행하는 ‘요소’들을 유기적으로 연결하는 것입니다.

지금까지는 그 연결을 사람이 수동으로 해야 했기에 AI 도입이 어려웠습니다. 하지만 이제는 AI 에이전트가 그 복잡한 연결 고리 역할을 대신해 줍니다.

결과적으로 팀은 더 높은 정확도와 생산성을 얻게 되고, 운영 비용은 낮아집니다. 무엇보다 우리는 지루한 시스템 통합 작업에서 벗어나, 진짜 문제를 해결하는 데 집중할 수 있게 됩니다.

여러분의 서비스에는 어떤 ‘에이전트’가 필요한가요? 이제 AI를 단순히 ‘도구’가 아닌, 함께 일할 ‘동료’로 바라볼 때가 되었습니다.

출처: IBM Technology 유튜브