AI 에이전트 시대, 기업 IT는 어떻게 통제해야 하는가

 

 

 

 

2026년 기업 IT 시장에서 AI에 대한 관심이 또 한 번 변화하고 있습니다.

과거 생성형 AI의 핵심은 사람이 질문하면 AI가 답변하는 것이었습니다.

하지만 이제는 조금 다른 이야기가 시작되고 있습니다.

AI가 필요한 정보를 스스로 찾고, 업무를 계획하고, 여러 시스템을 호출하고, 결과를 확인하고, 실제 업무까지 수행하는 AI 에이전트(Agentic AI)가 기업 업무에 들어오기 시작한 것입니다.

문제는 AI가 똑똑해지는 것만으로 끝나지 않는다는 것입니다.

AI가 실제 기업 시스템에 접근하고 업무를 수행하기 시작하면 새로운 질문이 등장합니다.

AI에게 어디까지 권한을 줄 것인가?
AI가 잘못된 업무를 수행하면 누가 책임지는가?
AI가 어떤 데이터를 볼 수 있는가?
AI가 수행한 업무를 어떻게 추적할 것인가?

최근 기업 AI의 핵심 화두가 단순한 AI 도입에서 AI 거버넌스와 통제로 이동하고 있는 이유입니다.

 

1. AI는 이제 ‘답변하는 도구’에서 ‘일하는 주체’로 변하고 있다

기업에서 생성형 AI를 활용하는 방식은 빠르게 발전해 왔습니다.

초기에는 문서 작성과 요약, 번역, 검색, 코드 작성 등 개인 생산성을 높이는 용도로 많이 사용됐습니다.

하지만 AI 에이전트는 여기서 한 단계 더 나아갑니다.

사용자가 단순히 질문을 입력하는 것이 아니라 목표를 전달하면 AI가 필요한 업무 단계를 스스로 구성하고 실행할 수 있습니다.

예를 들어 구매 업무를 생각해 볼 수 있습니다.

• 구매 요청 내용을 분석한다.
• 현재 재고를 확인한다.
• 과거 구매 가격을 조회한다.
• 기존 거래처를 확인한다.
• 구매 조건을 비교한다.
• 구매 요청서를 작성한다.
• 승인 프로세스를 요청한다.

과거에는 사람이 ERP와 여러 시스템을 오가며 수행했던 업무입니다.

AI 에이전트가 시스템과 연결되면 이 과정의 상당 부분을 자동화할 수 있습니다.

이것이 기존 챗봇이나 생성형 AI와 AI 에이전트의 중요한 차이입니다.

AI가 정보를 제공하는 것을 넘어 실제 업무를 수행하기 시작한다는 것입니다.

Gartner 역시 2026년 AI 에이전트 거버넌스와 관련해 CIO와 비즈니스 리더 간 명확한 책임체계와 통제·평가 역량이 AI 에이전트 확산의 핵심이라고 제시하고 있습니다.

 

2. 기업이 가장 먼저 고민해야 할 것은 AI 모델이 아니다

기업에서 AI 프로젝트를 시작하면 가장 먼저 나오는 질문이 있습니다.

“어떤 AI 모델을 사용할 것인가?”

물론 중요한 질문입니다.

하지만 기업에서 AI 에이전트를 실제 업무에 적용하려면 모델보다 먼저 정해야 할 것이 있습니다.

바로 업무 범위와 권한입니다.

AI가 단순히 데이터를 조회하는 것과 실제 데이터를 변경하는 것은 전혀 다른 문제입니다.

AI 역할	위험 수준	예시
조회	낮음	매출·재고·구매 데이터 조회
분석	낮음~중간	실적 및 이상징후 분석
추천	중간	구매처·발주량 추천
작성	중간	보고서·업무요청 작성
실행	높음	ERP 데이터 등록·변경
자동결정	매우 높음	사람 승인 없는 중요 업무 처리

따라서 기업은 AI에게 처음부터 모든 권한을 주기보다 단계적으로 권한을 확대하는 접근이 필요합니다.

조회 → 분석 → 추천 → 작성 → 실행

이러한 단계적 접근은 AI를 단순히 차단하는 것보다 현실적인 방법입니다.

AI의 생산성을 활용하면서도 업무 리스크가 커지는 구간에서는 사람의 검토와 승인을 유지할 수 있기 때문입니다.

 

3. 지금 기업에서 벌어지고 있는 문제는 ‘AI보다 거버넌스가 느리다’는 것이다

AI의 확산 속도는 상당히 빠릅니다.

그런데 기업의 거버넌스 체계는 AI의 확산 속도를 따라가지 못하고 있습니다.

OneTrust의 2026년 조사에서는 응답 기업의 87%가 AI 에이전트 사용을 장려하고 있지만, 명확한 거버넌스와 통제를 갖췄다고 답한 기업은 47%에 그쳤습니다.

이는 상당히 중요한 신호입니다.

기업은 AI를 사용하라고 이야기하고 있지만 정작 어떻게 사용해야 하는지에 대한 기준은 충분히 마련하지 못하고 있다는 의미이기 때문입니다.

BCG 역시 2026년 보고서에서 AI 에이전트가 기업의 거버넌스 설계보다 빠르게 확산되고 있으며 플랫폼별로 분산된 관리 방식이 보안, 비용, 운영 측면에서 새로운 문제를 만들 수 있다고 지적합니다.

결국 기업이 고민해야 하는 것은 AI를 사용할 것인가 말 것인가가 아닙니다.

이미 사용하고 있는 AI를 얼마나 체계적으로 관리할 것인가가 더 중요한 문제가 되고 있습니다.

 

4. 가장 위험한 AI는 ‘잘못된 답변’을 하는 AI가 아니다

생성형 AI 시대에는 AI가 틀린 답변을 하는 문제가 많이 이야기됐습니다.

하지만 AI 에이전트 시대에는 위험의 형태가 달라집니다.

잘못된 답변보다 잘못된 행동이 더 위험합니다.

예를 들어 AI가 보고서를 잘못 작성했다면 사람이 수정하면 됩니다.

하지만 AI가 잘못된 공급업체에 주문을 넣거나, 잘못된 데이터를 시스템에 등록하거나, 중요 정보를 외부로 전송한다면 이야기가 달라집니다.

AI가 실제 시스템을 변경할 수 있는 순간부터 AI는 단순한 정보처리 도구가 아니라 업무 실행 주체가 됩니다.

실제로 최근 기업 AI 관련 논의에서도 에이전트가 시스템과 데이터에 접근하면서 발생할 수 있는 통제 실패와 책임 문제가 중요한 이슈로 부상하고 있습니다.

따라서 AI 에이전트를 도입할 때는 반드시 다음 질문을 해야 합니다.

• AI가 무엇을 조회할 수 있는가?
• AI가 무엇을 변경할 수 있는가?
• AI가 어떤 시스템에 접근할 수 있는가?
• AI가 다른 AI에게 업무를 요청할 수 있는가?
• AI의 업무를 사람이 중단할 수 있는가?
• AI가 수행한 모든 작업을 추적할 수 있는가?
• 문제가 발생했을 때 책임자는 누구인가?

이 질문에 답할 수 없다면 아직 AI 에이전트를 핵심 업무에 투입할 준비가 충분하지 않은 것입니다.

 

5. AI 에이전트에게도 ‘사원증’이 필요하다

기업 IT 관점에서 AI 에이전트를 바라보면 재미있는 변화가 하나 생깁니다.

AI가 실제 업무를 수행한다면 AI 역시 일종의 디지털 직원처럼 관리해야 한다는 것입니다.

사람에게는 직원번호가 있고 시스템 계정이 있으며 업무 권한이 있습니다.

그리고 업무를 수행한 기록이 남습니다.

AI 에이전트도 마찬가지여야 합니다.

사람	AI 에이전트
사원번호	Agent ID
부서	업무 영역
직급	권한 수준
업무분장	Agent Scope
결재권한	실행권한
업무기록	Agent Log
퇴사	Agent 폐기

물론 실제 구현 방식은 다르겠지만 관리 개념은 상당히 유사합니다.

AI 에이전트를 기업의 새로운 디지털 자산으로 보고 누가 만들었고, 어떤 업무를 수행하며, 어떤 데이터에 접근하고, 어떤 권한을 가지고 있는지 관리해야 합니다.

SAP도 최근 AI 에이전트 거버넌스를 설명하면서 AI 에이전트가 단순히 무엇을 아는지가 아니라 무엇을 할 수 있는지를 관리해야 한다고 강조하고 있습니다.

 

6. ERP와 AI 에이전트가 연결되면 IT 운영의 개념도 달라진다

기업에서 AI 에이전트가 가장 큰 영향을 줄 수 있는 영역 중 하나는 ERP입니다.

ERP에는 기업의 핵심 업무 데이터가 모여 있기 때문입니다.

• 회계
• 구매
• 자산
• 영업
• 생산
• 재고
• 인사
• 원가

기존에는 사용자가 ERP 화면에 접속해서 필요한 데이터를 조회했습니다.

앞으로는 AI 에이전트가 사용자의 질문을 이해하고 ERP에서 필요한 데이터를 조회한 뒤 분석 결과를 제공하는 방식이 확대될 수 있습니다.

더 나아가 특정 업무에서는 AI가 ERP에 직접 업무를 등록하거나 후속 프로세스를 실행할 수도 있습니다.

이렇게 되면 ERP 운영의 관점도 달라집니다.

과거에는 “ERP가 정상적으로 작동하는가?”가 핵심이었다면 앞으로는 “AI가 ERP를 올바르게 사용할 수 있는가?”라는 질문까지 추가됩니다.

ERP 운영과 AI 거버넌스가 점점 하나의 문제로 연결되는 이유입니다.

 

7. AI 도입의 가장 큰 장애물은 기술이 아니라 업무 프로세스다

AI 에이전트를 기업에 적용하면서 의외로 가장 많은 시간이 필요한 부분은 AI 모델을 선택하는 것이 아닐 수 있습니다.

오히려 기업의 업무 프로세스를 정리하는 것이 더 어려울 수 있습니다.

예를 들어 “구매 업무를 AI로 자동화하자”고 하면 먼저 다음을 정의해야 합니다.

• 구매 요청은 누가 하는가?
• 어떤 금액부터 승인이 필요한가?
• 어떤 품목은 경쟁견적이 필요한가?
• 거래처 선정 기준은 무엇인가?
• 예외 업무는 무엇인가?
• 최종 승인자는 누구인가?

사람이 업무를 처리할 때는 경험과 조직문화가 이러한 규칙을 대신해 주기도 합니다.

하지만 AI에게 업무를 맡기려면 업무 규칙을 훨씬 명확하게 정의해야 합니다.

최근 CIO 대상 분석에서도 기업이 AI를 확장하는 데 가장 큰 장애물 중 하나로 기술 자체보다 조직의 실제 업무 프로세스를 이해하고 정리하는 문제가 지적되고 있습니다.

결국 AI 에이전트 프로젝트는 단순한 AI 프로젝트가 아닙니다.

업무 프로세스 혁신 프로젝트이자 IT 거버넌스 프로젝트라고 보는 것이 더 정확합니다.

 

8. 그렇다면 기업 IT는 무엇부터 준비해야 하는가

AI 에이전트 시대를 준비한다고 해서 처음부터 대규모 AI 플랫폼을 구축할 필요는 없습니다.

오히려 기본적인 관리체계를 만드는 것이 먼저입니다.

① 기업 내 AI 현황을 파악해야 한다

IT가 승인한 AI뿐 아니라 현업에서 실제 사용하고 있는 AI 서비스까지 파악해야 합니다.

이미 기업 안에서 사용되고 있는 AI를 모른다면 거버넌스를 구축하기 어렵습니다.

② AI별 책임자를 지정해야 한다

AI를 도입한 부서, 업무 오너, IT 담당자, 보안 담당자 등 역할과 책임을 명확히 해야 합니다.

Gartner 역시 AI 에이전트 확산을 위해 CIO와 비즈니스 리더 간 명확한 책임체계가 필요하다고 강조합니다.

③ AI 권한을 단계적으로 관리해야 한다

처음부터 시스템 변경 권한을 부여하기보다 조회와 분석부터 시작하고 업무 실행 권한은 위험도에 따라 확대하는 방식이 필요합니다.

④ AI의 모든 중요한 행동을 기록해야 한다

누가 AI를 사용했는지뿐 아니라 AI가 어떤 데이터를 조회했고 어떤 작업을 수행했는지 추적할 수 있어야 합니다.

⑤ 사람이 개입할 지점을 정의해야 한다

모든 업무를 AI가 자동으로 처리할 필요는 없습니다.

금액이 크거나 경영·재무·인사 등 중요한 영향을 미치는 업무에는 사람의 검토와 승인을 유지하는 것이 현실적입니다.

⑥ AI 성과를 측정해야 한다

AI를 얼마나 많이 사용했는지가 아니라 실제로 업무시간을 얼마나 줄였는지, 오류를 얼마나 감소시켰는지, 의사결정이 얼마나 빨라졌는지를 측정해야 합니다.

 

9. 앞으로 기업 IT에는 ‘AI 운영’이라는 새로운 업무가 생긴다

지금까지 IT 운영이라고 하면 ERP, 서버, 네트워크, 애플리케이션, 데이터베이스 등을 안정적으로 운영하는 것을 의미했습니다.

하지만 AI 에이전트가 기업의 업무를 수행하기 시작하면 새로운 운영영역이 필요합니다.

• AI 에이전트 등록 및 관리
• AI 권한 관리
• AI 업무 범위 관리
• AI 데이터 접근 관리
• AI 실행 로그 관리
• AI 성능 관리
• AI 비용 관리
• AI 모델 변경관리
• AI 장애 및 사고 대응
• AI 성과관리

SAP LeanIX의 2026년 조사에서도 98%의 기업이 AI 에이전트를 이미 배포했거나 배포할 계획이라고 답했지만, 에이전트 성능이나 정책 준수 여부를 파악하고 있다고 답한 기업은 17%에 그쳤습니다. 또한 48%는 AI 에이전트의 역할과 책임이 명확하지 않다고 답했습니다.

이러한 수치는 앞으로 기업 IT 조직에서 AI 자산관리와 AI 운영관리가 별도의 중요한 업무가 될 가능성을 보여줍니다.

 

10. AI 거버넌스는 ‘통제’가 아니라 ‘빠른 활용’을 위한 기반이다

AI 거버넌스라고 하면 많은 사람들이 먼저 규제와 제한을 생각합니다.

하지만 좋은 거버넌스의 목적은 AI를 막는 것이 아닙니다.

AI를 더 빠르고 안전하게 사용할 수 있도록 만드는 것입니다.

예를 들어 기업이 사전에 다음을 명확하게 정해놓는다고 생각해 보겠습니다.

• 승인된 AI 서비스
• 사용 가능한 데이터
• 금지된 데이터
• AI별 권한 수준
• 사람의 승인 필요 업무
• AI 사용 로그 기준
• AI 사고 대응절차
• AI 도입 검토 기준

이 기준이 있다면 현업은 매번 IT에 “이 AI를 써도 되나요?”라고 문의할 필요가 줄어듭니다.

반대로 IT도 모든 AI 사용 요청을 개별적으로 검토할 필요가 줄어듭니다.

결국 거버넌스가 잘 만들어질수록 통제 비용은 낮아지고 AI 활용 속도는 빨라질 수 있습니다.

BCG가 제시한 Enterprise AI Control Plane 역시 여러 AI 에이전트를 하나의 체계에서 관리하면서 정체성, 정책, 가시성, 거버넌스를 통합하는 방향을 강조하고 있습니다.

 

이번 이슈에서 얻을 수 있는 인사이트

AI 에이전트 시대가 시작되면서 기업 IT의 고민도 달라지고 있습니다.

과거에는 “AI를 도입할 것인가?”가 중요한 질문이었다면 이제는 질문이 바뀌고 있습니다.

“AI에게 우리 회사의 어떤 업무를 맡길 것인가?”

이 질문에는 단순한 기술 검토만으로 답할 수 없습니다.

데이터가 준비되어 있어야 하고,
업무 프로세스가 정의되어 있어야 하며,
권한체계가 명확해야 하고,
책임자가 존재해야 하며,
AI의 행동을 추적할 수 있어야 합니다.

결국 AI 에이전트의 경쟁력은 AI 모델 하나에서 만들어지는 것이 아닙니다.

기업의 데이터, 업무 프로세스, 시스템, 권한, 거버넌스를 얼마나 잘 연결하느냐에서 만들어집니다.

특히 IT 조직은 AI를 단순한 신기술로 바라봐서는 안 됩니다.

AI가 기업 업무를 수행하기 시작하는 순간 AI는 ERP, 데이터, 보안, 내부통제, IT 운영과 모두 연결되기 때문입니다.

따라서 앞으로의 IT 조직은 AI를 도입하는 조직을 넘어 AI가 기업 안에서 제대로 일할 수 있는 환경을 설계하는 조직이 되어야 합니다.

 

마무리

AI 에이전트의 시대가 본격적으로 시작되고 있습니다.

앞으로 기업에서는 AI가 단순히 문서를 작성하고 질문에 답하는 수준을 넘어 실제 업무를 수행하는 사례가 계속 늘어날 것입니다.

그렇다면 기업 IT가 가장 먼저 준비해야 할 것은 새로운 AI 모델이 아닐 수 있습니다.

AI가 무엇을 할 수 있고, 무엇을 하면 안 되는지를 정의하는 것.

그리고 AI가 수행한 모든 중요한 행동을 추적하고 문제가 발생했을 때 책임질 수 있는 구조를 만드는 것입니다.

AI를 너무 강하게 통제하면 혁신이 느려집니다.

반대로 통제 없이 AI를 확산시키면 기업의 데이터와 업무가 위험해질 수 있습니다.

따라서 앞으로의 기업 IT는 통제와 혁신 사이의 균형을 설계해야 합니다.

AI를 막는 조직이 아니라,
AI가 안전하게 일할 수 있도록 만드는 조직.

그것이 AI 에이전트 시대에 기업 IT 조직이 가져야 할 새로운 역할입니다.

결국 미래의 기업 경쟁력은 가장 많은 AI를 사용하는 기업이 아니라 AI를 가장 잘 통제하면서 실제 업무에 연결하는 기업에서 만들어질 가능성이 높습니다.

디지털 트렌스포메이션의 변화를 위해 페리(pperi)는 동참 할것입니다.

도움이 필요 하시다면 언제든지 연락 주시기 바랍니다.

저희 pperi는 peri가 아닌점을 구독자님이 인지 하여주시기 바랍니다.

https://www.pperi.com

 

해시태그
#pperi #페리 #페리솔루션 #AI에이전트 #AgenticAI #기업AI #AI거버넌스 #IT거버넌스 #AI전환 #CIO #기업IT #데이터거버넌스 #AI권한관리 #AI보안 #디지털전환 #AI전략 #ERP #ERP혁신 #업무자동화 #AI운영