에이전틱 AI 활용 사례 이해하기

에이전틱 AI는 LLM(대규모 언어 모델)과 툴을 사용하여 생성형 AI의 역량을 확장합니다. 또한 외부 소스에 연결 및 통신하여 상황을 인식하고 의사 결정을 내리며, 정의된 목표를 실현하기 위해 자동화된 전체 태스크를 오케스트레이션하는 방식으로 작동합니다. 

에이전틱 AI를 실제로 구현하려면 LLM에 외부 툴 및 해당 툴 사용 지침을 제공하는 로직에 대한 액세스 권한을 부여하는 시스템을 구축해야 합니다. 에이전틱 시스템은 다른 소프트웨어 툴을 구동하고 운영하는 계층입니다. 

에이전틱 AI는 물리적 구조, 소프트웨어 프로그램 또는 이 둘이 결합된 형태일 수 있습니다. 예를 들어 로봇 시스템의 AI 에이전트는 카메라, 센서, 모니터링 장치 등을 사용하여 주변 환경에 관한 데이터를 수집한 후, 소프트웨어와 함께 해당 정보를 처리하여 다음 수행할 단계를 결정할 수 있습니다. 이러한 프로세스를 센서 융합이라고 합니다. 

소프트웨어 환경에서 에이전틱 AI는 API(애플리케이션 프로그래밍 인터페이스), 온라인 검색, 텍스트 프롬프트, 데이터베이스와 같은 다른 소스에서 데이터를 수집하며, 이는 에이전트가 상황을 인지하고 맥락을 파악하는 데 도움을 줍니다.

Red Hat AI 살펴보기

에이전틱 AI와 AI 에이전트 비교

AI 에이전트는 명사입니다('에이전트 3개를 구축하고 있습니다'와 같이 사용). 에이전틱 시스템 내에서 작업하고 역할을 수행하도록 구축된 소프트웨어 엔터티를 의미합니다.

에이전틱 AI는 서술적 표현으로, 시스템의 행동 특성을 나타냅니다('소프트웨어를 더 에이전틱하게 만들어야 합니다'와 같이 표현). 사람의 최소한의 개입만으로도 목표 달성을 위해 계획을 수립하고, 의사 결정을 내리며, 조치를 취할 수 있는 시스템을 설명합니다. 

AI 에이전트의 짧은 역사에 대한 간략한 정리

초기 AI 에이전트는 기본적인 API 함수 호출을 활용하는 수준이었습니다. 이 시점부터 AI 에이전트가 시스템을 위한 명령 세트를 생성하기 시작했습니다. 

이후 프레임워크는 단일 툴 호출을 추론, 실행, 관찰, 반복의 루프로 발전시켰습니다. 

그 후 MCP(모델 컨텍스트 프로토콜)이 등장하면서 애플리케이션과 서비스 간 통신이 표준화되었습니다. 이를 통해 툴, 리소스, 프롬프트를 MCP 클라이언트(외부 데이터 또는 리소스에 대한 액세스를 요청하는 구성 요소)에 노출하고 탐색하도록 지원하는 일이 그 어느 때보다 쉬워졌습니다. 

오늘날에는 자율 코딩 에이전트와 멀티 에이전트 시스템이 등장했으며, 하나의 에이전트가 태스크를 계획하고 즉석에서 생성한 하위 에이전트에 이를 위임합니다. 사람의 역할은 루프 내에서 직접 개입하는 것에서 루프로부터 알림을 받는 것으로 바뀝니다.

에이전트가 실제 자격 증명을 사용해 실제 시스템에서 장시간에 걸쳐 작업을 수행할 수 있다면, 잘못된 행동을 하지 않도록 통제하는 장치는 무엇일까요?

AgentOps입니다. 

AgentOps(에이전트 운영)는 AI가 실시간으로 의사 결정을 내릴 때 AI의 '두뇌'를 모니터링하는 툴 프레임워크입니다. 

에이전트의 동작은 비결정론적입니다. 즉, 일련의 무작위 확률 분포에 따라 결정됩니다. 이는 에이전트의 동작을 정확하게 예측할 수 없음을 의미합니다. 에이전틱 워크플로우는 문제를 창의적으로 해결하는 데 도움이 될 수 있지만, 시스템이 통제를 벗어나 악성 시스템이 되지 않도록 이러한 창의성을 제어해야 합니다.

AgentOps는 프로덕션 계층의 요구사항을 해결하여 소프트웨어의 신뢰성을 향상합니다. AgentOps는 다음과 같은 방식으로 지원합니다.

• 하드웨어 리소스를 트래킹합니다.
• 환각 발생률을 모니터링합니다.
• 데이터가 암호화된 상태로 유지되도록 보장합니다.
• 에이전트가 수행한 동작에 대해 감사 가능한 로그를 제공합니다.
• 정책 위반이 발생하면 프로세스를 종료합니다.

엔터프라이즈 환경에서 AgentOps는 에이전틱 워크플로우에 필수적입니다. 이를 통해 조직의 인프라를 기반으로 구축되고 조직의 데이터로 학습되며 조직의 가치에 부합하고 조직의 규칙을 따르는 AI 시스템을 구현할 수 있습니다. 

AgentOps에 대해 자세히 알아보기

RAG(검색 증강 생성)은 LLM을 외부 리소스에 연결하여 생성형 AI 애플리케이션으로부터 더 나은 답변을 얻는 방법입니다. 에이전틱 RAG는 기존 RAG에서 한 단계 더 나아가 LLM이 단순히 정보를 검색하는 데 그치지 않고 능동적으로 조사할 수 있도록 지원합니다.

RAG는 액세스 권한이 있는 도큐멘테이션과 데이터 세트에서 답변을 검색하고 컨텍스트를 제공할 수 있지만, 여전히 수동 프롬프트 엔지니어링에 의존합니다. 또한 기존 RAG는 컨텍스트 인지 능력이 제한적이며, 초기 쿼리에만 전적으로 의존하여 관련 정보를 검색합니다.

반면 에이전틱 RAG는 더 정교하고 역동적입니다. 스스로 질문을 생각해 내고, 자체 메모리에서 컨텍스트를 만들고, 분명한 요청 없이도 추가 태스크를 수행할 수 있습니다. 기존 RAG를 뛰어넘는 이러한 발전을 통해 에이전틱 RAG는 사용자의 수동 개입 없이도 사용자를 대신하여 충분한 정보에 기반한 의사 결정을 내릴 수 있습니다.

모델이 단순 응답을 넘어 행동을 시작할 때

에이전틱 AI는 다양한 용도로 활용됩니다. 여러 산업에서 이를 어떻게 활용할 수 있는지 살펴보겠습니다.

금융 분야의 에이전틱 AI

금융 팀은 수백만 건의 거래를 감독하므로, 수동 방식의 이상 거래 탐지 및 정책 실행으로는 실시간 대응을 따라잡기가 불가능합니다. 

자율형 금융 에이전트는 일일 거래를 지속적으로 모니터링하고, 문제가 에스컬레이션되기 전에 사기 또는 정책 위반 의심 건에 플래그를 지정할 수 있습니다. 에이전트는 실시간 데이터를 수집해 내부 규칙과 대조하고 이상 징후를 감지하여 플래그를 지정합니다. 이후 전문 검토자(사람)가 플래그가 지정된 의심 활동을 분석하고 실제 조치를 취할지에 대한 최종 결정을 내립니다.

IT 및 소프트웨어 엔지니어링 분야의 에이전틱 AI

개발자는 버그를 재현하고 수정 코드를 작성하는 데 수많은 시간을 소비하지만, 이 시간은 본래 새로운 기능을 구축하고 개선하는 데 쓰일 수 있습니다. AI 에이전트는 샌드박스 환경에서 버그를 재현하고, 잠재적인 수정 코드를 작성하며, 테스트를 실행해 패치의 정상 작동 여부를 검증함으로써 이슈 분류 및 초기 대응을 지원할 수 있습니다. 해결책이 검증되면, 개발자가 직접 코드를 검토하고 프로덕션 배포를 최종 승인합니다.

공급망 관리 분야의 에이전틱 AI

이상 기후, 파업, 항만 적체와 같은 외부 요인은 공급망에 차질을 빚어 납기 지연과 재정적 손실을 초래할 수 있습니다. 에이전트는 뉴스 업데이트를 트래킹하고 기상 상태를 모니터링하여 지연 발생 가능성을 담당 팀에 알릴 수 있습니다. 심지어 운송 경로를 변경할 경우 발생하는 재정적 영향까지 계산할 수 있습니다. 그런 다음 공급망 매니저는 에이전트의 비용 편익 분석을 검토하고 어떤 전략을 추진할지 최종 결정합니다.

자율주행 차량을 위한 에이전틱 AI

자율주행 차량은 복잡한 실제 환경을 주행해야 하며, 이는 상충될 수 있는 방대한 센서 데이터 스트림을 실시간으로 해석해야 함을 의미합니다. 에이전틱 센서 융합 시스템은 카메라와 레이더에서 들어오는 서로 다른 원시 입력을 통합하여 차량 주변 환경에 대한 일관된 실시간 모델을 생성합니다. 에이전틱 시스템은 차량의 모든 센서에서 수집한 데이터를 처리, 정리, 필터링하여 시각적 모호성을 판별하고 밀리초 단위로 충돌 리스크를 예측합니다. 안전 운전자 또는 원격 운영자는 엣지 케이스(예외 상황)를 감독하고 시스템 신뢰성을 모니터링하며, 필요한 경우 수동으로 차량을 제어합니다.

커뮤니케이션 및 홍보 분야의 에이전틱 AI

온라인 환경은 사람이 직접 운영하는 커뮤니케이션 팀이 따라잡을 수 없을 만큼 빠르게 변화하고 있습니다. 뉴스는 1년 365일 내내 쏟아지고 여론은 몇 분 만에 급변할 수 있으며, 사소한 기사 하나가 순식간에 위기로 번질 수 있습니다.

에이전트는 밤낮없이 다양한 플랫폼에서 브랜드에 대한 글로벌 언급량을 트래킹하고, 여론 반응을 파악할 수 있는 요약 보고서를 생성할 수 있습니다. 또한 뉴스 기사, 최근 발표된 학술 논문, 소셜 미디어 트렌드를 분석하여 일일 브리핑을 작성할 수 있습니다. 그런 다음 에이전트는 이러한 인사이트를 요약해 팀이 업계 변화에 한발 앞서 대응할 수 있도록 지원합니다. 커뮤니케이션 전문가는 이러한 일일 브리핑 내용을 바탕으로 중요도가 높은 메시지를 작성하고, 에스컬레이션된 이슈에 대한 PR 대응 전략을 수립할 수 있습니다.

인사 분야의 에이전틱 AI

신규 입사자 온보딩에는 반복적인 행정 태스크와 일정 조율, 끊임없이 쏟아지는 질문 대응이 수반되므로 많은 리소스가 소모될 수 있습니다. 이를 지원하기 위해 전용 온보딩 에이전트가 신규 입사자에게 필요한 도큐멘테이션, IT 환경 설정, 교육 과정을 안내할 수 있습니다. 또한 신규 입사자의 구체적인 질문에 답변하고, 직원의 역할 및 부서에 맞추어 오리엔테이션 미팅 일정을 조율할 수 있도록 지원합니다. 이렇게 HR 리더와 부서 매니저의 시간을 확보하면 조직 문화 융합, 멘토링, 신규 입사자와의 유대감 형성 등 세심한 케어가 필요한 업무에 더욱 집중할 수 있습니다. 

법무 및 컴플라이언스 분야의 에이전틱 AI

글로벌 무역법과 환경 규제는 끊임없이 변화하므로, 글로벌 기업이 컴플라이언스 위반 리스크에 쉽게 노출될 수 있습니다. 에이전트는 전 세계의 최신 규제 업데이트를 지속적으로 트래킹하고, 변화하는 법률 프레임워크가 기업의 운영 워크플로우에 미치는 영향을 분석할 수 있습니다. 이를 통해 조직은 번거로운 수동 정책 검토 없이도 법적 리스크에 선제적으로 대응할 수 있습니다. 에이전트가 내부 규정 개정이 필요한 특정 영역을 식별해 플래그를 지정하면, 법무 자문이 해당 분석 결과를 검토하고 필요한 경우 기업 정책 업데이트 초안을 작성할 수 있습니다. 

마케팅 및 영업 분야의 에이전틱 AI

경쟁이 치열한 시장 환경에서 고정된 가격 책정 방식은 매출 손실로 이어질 수 있습니다. 에이전트는 경쟁업체 가격과 시장 수요를 실시간으로 모니터링합니다. 수익 마진을 보호하면서 경쟁 우위를 유지할 수 있도록 가격 조정을 제안합니다. 마케팅 및 매출 책임자는 가격 책정 전략의 가이드라인을 설정하고, 시스템이 제시한 자동 추천안을 검토하여 프로모션 캠페인을 최종 승인합니다. 

의료 분야의 에이전틱 AI

의료진은 과도한 행정 업무 데이터로 인해 큰 부담을 안고 있으며, 이는 의료인의 번아웃과 환자 진료 상의 과실 및 누락으로 이어질 수 있습니다. 임상 지원 에이전트는 환자 데이터를 정리하고 누락된 검사 결과에 플래그를 지정하며, 잠재적인 약물 상호작용이나 용량 문제를 의료팀에 알릴 수 있습니다. 의사와 임상 직원은 에이전트를 안전망으로 활용해 플래그가 지정된 알림을 검토하고, 환자를 직접 대면하여 진료하는 데 더 많은 시간을 할애할 수 있습니다. 

Red Hat의 에이전틱 AI 활용 사례 살펴보기

Red Hat® AI는 전용 AgentOps 컨트롤 플레인을 통해 에이전트의 전체 라이프사이클을 체계적으로 운용합니다. 이를 통해 하이브리드 클라우드 환경 전반에서 배포 환경을 안전하게 보호하고 관측 가능성과 효율성을 유지할 수 있습니다. 

이 플랫폼은 통합된 안전 가드레일을 통해 엔터프라이즈급 거버넌스를 제공합니다. 기반 인프라는 고성능 분산 추론을 위해 vLLM과 llm-d를 사용하므로, 온프레미스부터 엣지 환경에 이르기까지 리소스 집약적인 워크플로우를 확장할 수 있습니다.

Red Hat AI는 vLLM 기반 서버를 통해 빠르고 유연하며 효율적인 추론을 제공합니다. 모델과 데이터를 안정적으로 연결하여 하나의 플랫폼에서 전문 에이전트의 사용자 지정 및 개발을 통합합니다. 오픈소스 기반의 당사 AI 제품으로 규모와 상관없이 AI 워크플로우의 모든 과정을 완전히 제어할 수 있습니다.