IT 조직의 역할은 왜 ‘시스템 운영’에서 ‘AI 운영’으로 바뀌는가

 

 

 

기업의 IT 조직은 오랫동안 하나의 명확한 역할을 가지고 있었다.

시스템을 안정적으로 운영하는 것.

ERP가 정상적으로 동작하는지 확인하고, 서버와 네트워크를 관리하고, 장애를 대응하고, 사용자 문의를 처리하며, 시스템 변경과 프로젝트를 관리하는 것이 전통적인 IT 운영의 핵심이었다.

하지만 AI 시대가 시작되면서 IT 운영의 개념 자체가 변하고 있다.

AI가 단순히 사람의 업무를 보조하는 수준을 넘어 데이터를 조회하고, 분석하고, 판단하고, 다른 시스템을 호출하고, 일정 범위에서는 실제 업무까지 실행하기 시작했기 때문이다.

Gartner는 2026년 Agentic AI가 IT 인프라와 운영 방식을 변화시키고 있으며, IT 운영 담당자에게 AgentOps와 AI 플랫폼, 오케스트레이션, 거버넌스, 비용 최적화 등의 새로운 역량이 필요하다고 제시했다.

이제 IT 조직에게 필요한 질문은 단순히 “시스템이 정상적으로 운영되고 있는가?”가 아니다.

앞으로는 “AI가 기업의 업무를 안전하고 효율적으로 수행하고 있는가?”까지 관리해야 한다.

 

1. IT 운영의 대상이 시스템에서 '디지털 업무'로 확대된다

기존 IT 운영은 시스템 중심이었다.

ERP, 그룹웨어, 포털, 서버, 네트워크, 데이터베이스, 보안시스템 등 각각의 IT 자산을 관리하고 장애가 발생하면 복구하는 방식이었다.

하지만 AI 에이전트가 등장하면 운영해야 할 대상이 달라진다.

예를 들어 구매 AI 에이전트가 있다고 생각해 보자.

이 에이전트는 ERP에서 재고를 조회하고, 구매 이력을 분석하고, 공급업체 데이터를 확인한 뒤 구매 필요량을 계산하고, 담당자에게 구매안을 제안할 수 있다.

이때 문제가 발생하면 단순히 ERP 시스템의 장애라고 볼 수 없다.

• AI가 잘못된 데이터를 조회했는가?
• AI가 잘못된 데이터를 해석했는가?
• AI의 판단 로직에 문제가 있었는가?
• AI가 잘못된 API를 호출했는가?
• AI에게 너무 많은 권한이 부여되었는가?
• AI의 판단 결과를 사람이 검토하지 않았는가?

즉 하나의 업무 결과가 AI + 데이터 + ERP + API + 사용자 + 업무규칙의 결합으로 만들어진다.

따라서 IT 운영 역시 개별 시스템의 상태만 보는 방식에서 벗어나 전체 디지털 업무 흐름을 관리하는 방식으로 발전해야 한다.

 

2. AIOps에서 AgentOps로 관심이 확장된다

IT 운영 분야에서 이미 AIOps라는 개념이 사용되어 왔다.

AIOps는 인공지능과 머신러닝을 활용해 로그, 이벤트, 모니터링 데이터 등을 분석하고 장애 예측이나 원인 분석, 자동화 등을 지원하는 방식이다.

하지만 AI 에이전트 시대에는 한 단계 더 복잡한 문제가 등장한다.

AI가 단순히 문제를 발견하는 것에서 끝나는 것이 아니라 직접 조치하는 것까지 가능해지기 때문이다.

예를 들어 기존 AIOps는 다음과 같은 방식이었다.

장애 감지 → 원인 분석 → 담당자 알림

Agentic IT 환경에서는 다음 단계까지 확장될 수 있다.

장애 감지 → 원인 분석 → 조치 계획 → 승인 → 자동 실행 → 결과 검증

이 과정에서 AI의 행동 자체를 관리해야 한다.

이것이 앞으로 중요해질 AgentOps의 영역이다.

Gartner도 Agentic AI 운영을 위해 AI 에이전트 아키텍처와 플랫폼뿐 아니라 운영 거버넌스와 오케스트레이션, 비용 최적화 등의 역량이 필요하다고 제시하고 있다.

 

3. IT 운영자의 역할이 '장애 대응자'에서 'AI 감독자'로 바뀐다

전통적인 IT 운영에서 중요한 역량은 장애 대응이었다.

장애가 발생하면 원인을 찾고 시스템을 복구하고 재발 방지 대책을 수립하는 것이 핵심이었다.

하지만 AI 에이전트가 기업 업무에 참여하면 새로운 역할이 필요해진다.

기존 IT 운영	AI 시대 IT 운영
시스템 장애 관리	AI 행동 및 업무 결과 관리
사용자 계정 관리	AI Agent Identity 및 권한 관리
서버 모니터링	AI·시스템·데이터 통합 모니터링
프로그램 변경 관리	AI 모델·프롬프트·에이전트 변경 관리
배치 관리	AI Workflow 및 Agent 실행 관리
로그 관리	AI 판단·행동·API 호출 이력 관리
장애 원인 분석	AI 판단 오류 및 실행 오류 분석

이러한 변화가 본격화되면 IT 운영자는 더 이상 단순한 시스템 관리자가 아니다.

기업의 디지털 업무가 정상적으로 수행되는지를 관리하는 Digital Operations Manager에 가까워질 수 있다.

 

4. AI가 많아질수록 IT 조직은 오히려 더 중요해진다

AI가 업무를 자동화하면 IT 인력이 줄어들 것이라는 전망이 있다.

일부 반복 업무가 자동화되는 것은 사실이다.

하지만 기업 전체 관점에서는 오히려 IT 조직의 중요성이 커질 가능성이 있다.

왜냐하면 AI가 많아질수록 관리해야 할 디지털 자산과 상호작용이 증가하기 때문이다.

AI 에이전트가 10개인 기업과 1,000개인 기업의 IT 운영은 완전히 다르다.

각 에이전트가 어떤 데이터를 사용하는지, 어떤 시스템에 접근하는지, 어떤 권한을 가지고 있는지, 비용은 얼마인지, 업무 결과는 정상인지 관리해야 한다.

Gartner 역시 AI 에이전트 확산이 IT 운영에 새로운 복잡성과 위험을 가져올 수 있으며, 거버넌스와 운영 체계가 중요하다고 강조한다.

결국 AI가 IT 인력을 없애는 것이 아니라 IT 인력의 업무 수준을 높이는 방향으로 변화할 가능성이 크다.

 

5. 가장 먼저 등장할 것은 'AI Agent Inventory'다

기업이 AI 에이전트를 본격적으로 도입하면 가장 먼저 필요한 것 중 하나가 AI Agent Inventory다.

현재 기업 대부분은 서버, 애플리케이션, 데이터베이스, 네트워크 장비 등에 대해서는 자산목록을 관리한다.

하지만 앞으로는 AI도 하나의 IT 자산으로 관리할 필요가 있다.

관리 항목	관리 내용
Agent ID	에이전트 고유 식별자
Owner	업무 및 시스템 책임자
Purpose	AI 사용 목적
Data Scope	접근 가능한 데이터
System Scope	접근 가능한 시스템
Permission	조회·작성·실행 권한
Human Approval	사람 승인 필요 여부
Cost	모델 및 API 사용 비용
Performance	정확도·성공률·오류율

이러한 정보가 있어야 IT 조직이 기업 내 AI 환경을 제대로 파악할 수 있다.

결국 앞으로의 IT 자산관리에는 서버·PC·애플리케이션·데이터·AI Agent가 함께 포함될 수 있다.

 

6. AI 운영에서 가장 중요한 것은 '권한'이다

AI 에이전트가 단순히 정보를 제공하는 수준이라면 문제가 상대적으로 적다.

하지만 AI가 시스템에 직접 접근하고 데이터를 변경하기 시작하면 권한관리가 핵심이 된다.

예를 들어 다음과 같은 권한은 서로 다른 위험 수준을 가진다.

• 조회만 가능
• 보고서 생성 가능
• 업무 요청 생성 가능
• 거래 데이터 수정 가능
• 승인 가능
• 외부 시스템 호출 가능
• 금액이 큰 거래 실행 가능

따라서 AI에게 사용자와 동일한 권한을 부여하는 방식은 위험할 수 있다.

AI 에이전트는 업무 목적에 필요한 최소 권한만 가져야 한다.

또한 업무 위험도가 높아질수록 사람의 승인 단계를 추가해야 한다.

조회 → 추천 → 실행 준비 → 사람 승인 → 제한적 자동 실행 → 자율 실행

모든 업무를 처음부터 완전 자동화할 필요는 없다.

오히려 낮은 위험의 반복 업무부터 시작해 AI의 신뢰 수준을 검증하면서 권한을 단계적으로 확대하는 것이 현실적이다.

 

7. IT 운영의 KPI도 바뀌어야 한다

기존 IT 운영 KPI는 시스템 가동률, 장애 건수, 장애 복구시간, 처리율, SLA 준수율 등이 중심이었다.

AI 운영이 추가되면 새로운 KPI가 필요하다.

• AI Agent 성공률
• AI 판단 오류율
• AI 자동 실행 성공률
• Human Intervention 비율
• AI 처리시간 단축률
• AI 업무 비용
• AI API 호출량
• AI 보안 이벤트
• AI 권한 위반 시도
• AI 업무 재처리율

특히 중요한 것은 AI가 얼마나 많은 업무를 자동화했는가가 아니라 자동화한 업무가 얼마나 안정적으로 비즈니스 성과를 만들었는가다.

Gartner의 2026년 조사에서도 I&O 분야 AI 활용 사례 중 상당수가 기대한 ROI를 달성하지 못하고 있으며, AI를 기존 업무 흐름과 시스템에 제대로 통합하는 것이 성공에 중요한 요인으로 나타났다.

따라서 AI 운영 KPI도 기술지표와 함께 업무성과 지표를 연결해야 한다.

 

8. AI 운영의 핵심은 '자동화율'이 아니다

AI 도입을 이야기하면 흔히 자동화율을 이야기한다.

"몇 개의 업무를 자동화했는가?"

"몇 명의 업무를 대체했는가?"

하지만 기업 IT에서는 이것만으로 성공 여부를 판단하기 어렵다.

예를 들어 기존에 10분 걸리던 업무를 AI가 1분 만에 처리했지만 오류가 10% 발생한다면 반드시 좋은 결과라고 볼 수 없다.

반대로 AI가 100% 자동 실행하지 않고 사람이 최종 승인하더라도 오류율을 크게 줄이고 업무시간을 70% 단축했다면 훨씬 좋은 결과일 수 있다.

따라서 AI 운영의 핵심 KPI는 다음과 같은 구조로 생각할 필요가 있다.

자동화율 × 정확도 × 안정성 × 비용 × 비즈니스 효과

이러한 관점이 있어야 AI가 단순한 유행성 프로젝트가 아니라 지속 가능한 IT 운영 자산으로 자리 잡을 수 있다.

 

9. IT 조직은 'AI를 만드는 조직'보다 'AI를 운영하는 조직'이 되어야 한다

기업에서 AI 프로젝트가 시작되면 대부분 AI 모델과 서비스 구축에 집중한다.

하지만 실제 운영 단계에서는 전혀 다른 문제가 발생한다.

• 누가 AI를 관리할 것인가?
• 모델이 변경되면 누가 검증할 것인가?
• AI가 잘못된 결과를 만들면 누가 책임질 것인가?
• AI 비용이 급증하면 누가 통제할 것인가?
• AI가 접근할 수 있는 데이터는 누가 관리할 것인가?
• AI Agent가 늘어나면 누가 전체 현황을 파악할 것인가?
• AI 장애가 발생하면 기존 IT 장애관리 체계로 대응할 수 있는가?

이 질문에 대한 답이 없다면 AI 프로젝트가 성공적으로 구축되더라도 시간이 지나면서 운영 리스크가 커질 수 있다.

따라서 IT 조직은 AI 개발 프로젝트뿐 아니라 AI 운영체계를 함께 설계해야 한다.

Deloitte 역시 Agentic Enterprise로 전환하려면 AI를 추가하는 것만으로는 부족하며, 조직의 프로세스와 업무 방식 자체를 재설계해야 한다고 분석하고 있다.

 

10. 앞으로 IT 조직에 필요한 핵심 역량

그렇다면 AI 운영 시대에 IT 조직은 어떤 역량을 준비해야 할까?

역량	필요한 이유
AI 이해	LLM·RAG·Agent 구조와 한계 이해
데이터	데이터 품질·표준·메타데이터 관리
시스템	ERP·API·클라우드·레거시 이해
보안	AI 권한·데이터 보호·접근통제
거버넌스	AI 사용 기준·책임·감사체계 관리
AgentOps	AI Agent 배포·모니터링·평가·운영
비용관리	모델·API·클라우드 비용 최적화
PM/변화관리	AI 도입에 따른 업무·조직 변화 관리

즉 앞으로의 IT 전문가는 한 가지 기술만 잘 아는 전문가보다 AI + 데이터 + 시스템 + 업무 + 거버넌스를 연결할 수 있는 사람이 더 중요해질 가능성이 높다.

 

11. 기존 IT 운영자에게 이것은 위기가 아니라 기회다

AI 시대가 되면 기존 IT 운영 경험이 무의미해질 것이라고 생각할 필요는 없다.

오히려 기업 환경을 잘 아는 IT 운영자의 경험은 더욱 중요해질 수 있다.

AI 모델은 기업의 실제 업무 프로세스를 자동으로 이해하지 못한다.

어떤 시스템이 핵심인지, 어떤 인터페이스가 중요한지, 어떤 데이터가 기준정보인지, 어떤 업무가 장애 발생 시 가장 큰 영향을 주는지, 어느 업무에는 반드시 사람이 개입해야 하는지는 결국 기업의 IT 운영 경험이 필요하다.

따라서 기존 IT 운영자의 경쟁력은 사라지는 것이 아니라 다음과 같이 확장될 수 있다.

System Operator → Digital Operator → AI Operator → AI Orchestrator

단순히 시스템을 관리하는 사람이 아니라 AI와 시스템, 데이터를 연결하고 업무를 조율하는 역할로 성장할 수 있는 것이다.

 

12. 기업은 지금부터 'AI 운영체계'를 준비해야 한다

AI 운영체계는 거대한 조직을 새롭게 만드는 것부터 시작할 필요는 없다.

현재 IT 운영체계에 AI 관리 기능을 단계적으로 추가하는 방식으로 시작할 수 있다.

1. AI Inventory 구축 — 기업 내 AI와 Agent 현황 파악
2. AI Owner 지정 — 업무·기술 책임자 명확화
3. 권한 기준 수립 — AI 접근범위와 실행범위 정의
4. AI 로그 관리 — 판단과 실행 이력 확보
5. AI 모니터링 — 정확도·성능·비용·오류 관리
6. Human-in-the-loop — 고위험 업무 승인체계 구축
7. AI 변경관리 — 모델·프롬프트·Agent 변경 검증
8. AI 장애관리 — 기존 ITSM과 AI Incident Management 연결
9. AI 비용관리 — 모델 및 인프라 비용 관리
10. AI 성과관리 — 기술성과가 아닌 비즈니스 성과 측정

이러한 체계가 갖춰지면 AI가 늘어날수록 IT 조직이 더 혼란스러워지는 것이 아니라 오히려 확장 가능한 AI 운영 구조를 만들 수 있다.

 

이번 이슈에서 얻을 수 있는 인사이트

이번 글의 핵심은 IT 조직의 역할이 사라지는 것이 아니라 운영의 대상과 수준이 바뀐다는 것이다.

• 기존 IT 운영은 시스템 중심이었다.
• AI 시대에는 시스템과 데이터와 AI를 연결한 디지털 업무 전체를 관리해야 한다.
• AIOps에서 AgentOps로 운영의 범위가 확대될 수 있다.
• AI Agent도 서버와 애플리케이션처럼 하나의 IT 자산으로 관리할 필요가 있다.
• AI 운영에서 권한·로그·모니터링·변경관리는 핵심 관리영역이 된다.
• AI 자동화율보다 정확도·안정성·비용·비즈니스 효과가 중요하다.
• IT 운영자는 단순 장애 대응자를 넘어 AI와 시스템을 조율하는 역할로 발전할 수 있다.
• AI 도입과 동시에 AI 운영체계를 설계해야 장기적으로 확장할 수 있다.

1편에서는 AI 에이전트를 어떻게 통제할 것인가를 이야기했다.

2편에서는 AI가 신뢰할 수 있는 데이터를 어떻게 만들 것인가를 살펴봤다.

3편에서는 ERP가 AI 시대에 어떻게 실행 플랫폼으로 진화하는가를 이야기했다.

그리고 4편에서는 이 모든 변화를 실제 기업에서 운영해야 하는 IT 조직의 역할 변화를 살펴봤다.

결국 AI 전환의 마지막 단계는 기술 도입이 아니다.

AI를 지속적으로 운영하고 통제하고 개선할 수 있는 조직을 만드는 것이다.

 

마무리

기업의 IT 조직은 지금까지 시스템의 안정성을 책임져 왔다.

앞으로는 여기에 하나의 중요한 책임이 추가될 가능성이 높다.

AI가 기업의 업무를 안전하고 효율적으로 수행하도록 만드는 것이다.

AI가 기업의 업무에 깊숙이 들어올수록 IT 운영은 단순한 시스템 관리 업무가 아니다.

AI의 권한을 관리하고, 데이터의 품질을 확인하고, Agent의 행동을 모니터링하고, 시스템과 AI 사이의 연결을 관리하고, AI가 만들어내는 비즈니스 성과까지 확인해야 한다.

따라서 앞으로의 IT 운영은 다음과 같이 변화할 가능성이 높다.

시스템 운영 → 데이터 운영 → AI 운영 → 디지털 업무 운영

AI 시대에 경쟁력 있는 IT 조직은 가장 많은 AI를 도입한 조직이 아니다.

AI를 안정적으로 운영하고, 통제하고, 지속적으로 개선할 수 있는 조직이다.

결국 AI 시대의 IT 운영 경쟁력은 기술보다 운영체계와 사람, 프로세스, 거버넌스에서 결정될 가능성이 높다.

디지털 트렌스포메이션의 변화를 위해 페리(pperi)는 동참 할것입니다.

도움이 필요 하시다면 언제든지 연락 주시기 바랍니다.

저희 pperi는 peri가 아닌점을 구독자님이 인지 하여주시기 바랍니다.

https://www.pperi.com

 

 

해시태그
#pperi #페리 #페리솔루션 #IT운영 #AI운영 #AgentOps #AIOps #AI에이전트 #AI조직 #IT조직 #생성형AI #기업AI #AI거버넌스 #AI전환 #디지털전환 #ERP운영 #시스템운영 #IT전략 #IT관리 #AI모니터링 #AI보안 #AI권한관리 #AI자산관리 #AI트렌드 #IT트렌드