AI 에이전트, 어디까지 권한을 허용해야 할까?

안녕하세요, 테이텀 시큐리티입니다.
AI가 일상적인 업무 도구로 자리 잡으면서, 이제는 사용자가 목적에 따라 AI 에이전트를 직접 생성하고 업무에 활용하고 있습니다. 단순한 정보 검색과 문서 작성을 넘어, AI 에이전트에 역할을 부여하고 코드 개발/수정, 데이터 분석, 시스템 관리 등 다양한 업무를 자동화하는 방식으로 범위가 확대되었습니다.
기존 AI가 질문에 답변하는 역할이었다면, AI 에이전트는 외부 시스템과 연동해 작업을 수행하고 결과에 따라 다음 작업을 결정할 수 있습니다. 실제로 ChatGPT Work는 업무 시스템에 접속해 청구서를 대조하거나 데이터를 직접 수정할 수 있고, Claude Code는 소스코드를 수정하고 테스트를 실행하는 개발 업무를 수행할 수 있습니다.
하지만 AI 에이전트가 우리의 통제를 벗어나 파일을 삭제하거나 보안 설정을 변경하고, 알 수 없는 코드를 실행한다면 어떤 문제가 발생할까요? 이번 테이텀 시큐리티 인사이트에서는 실제 사례를 통해 AI 에이전트를 사용하는 과정에서 발생할 수 있는 위험과 보안 관리 방안에 대해 살펴보겠습니다.
1. AI 에이전트 보안사고 분석
1-1. 사례
현재 AI 에이전트 보안사고 신고 체계가 아직 충분히 확립되지 않아 정확히 파악하는데 어려움이 있습니다. 2026년 공개 자료에서 수집한 AI 에이전트 보안사고는 18건으로 확인되었고 해외에서 17건, 국내에서 1건이 발생했습니다. 국내에서 발생한 AI 에이전트 보안사고는 2026년 9월 말부터 발생한 금융사고와 관련이 있습니다.

1-2. 유형
AI 에이전트 보안사고의 유형은 5가지로 요약할 수 있습니다.

① 비인가 접근 및 정보 유출
AI 에이전트가 허가받지 않은 시스템에 접근하거나 내부 업무 정보, 중요 정보를 무단으로 조회하여 발생하는 사고 유형입니다. AI 에이전트 사용 시 작업 범위가 통제되지 않거나 모든 외부 시스템 접근 권한을 승인하는 경우 보안사고가 발생하기 쉽습니다.
AI 에이전트에 연결된 외부 계정 및 도구에 과도한 접근 권한을 부여한 경우, 작업 대상 시스템의 접근 통제가 미흡하거나 취약한 인증정보 사용 시 사고가 발생할 수 있습니다.
개인정보 및 인증정보 유출 뿐 아니라 시스템 침해로 이어질 수 있습니다.
② 승인받지 않은 데이터 변경/삭제 및 작업 실행
AI 에이전트가 사용자가 요청하지 않거나 승인하지 않은 작업을 수행해 중요정보가 변경·삭제되어 시스템에 영향을 주는 유형입니다. 운영 환경과 테스트 환경을 분리하지 않거나 하나의 인증 정보로 시스템을 관리하는 경우 보안사고가 발생하기 쉽습니다.
AI 에이전트는 API를 이용해 실제 시스템에 변경 요청을 보낼 수 있습니다. 예를 들어, 사용자가 데이터베이스의 오류 분석을 요청했는데 AI 에이전트는 문제를 해결하기 위해 데이터를 수정하거나 데이터베이스를 초기화하는 작업이 필요하다고 판단할 수 있습니다. 이때 AI 에이전트에 수정, 삭제 권한이 있거나 API 토큰 사용 권한이 부여되어 있다면, 사용자가 해당 작업을 지시하지 않았음에도 작업을 수행할 수 있습니다.
데이터가 손실될 수 있으며 이로 인한 서비스 장애가 발생할 수 있습니다.
③ 보안 통제 변경 및 감시 기능 약화
AI 에이전트가 업무 수행 중 보안 경고, 모니터링 연동, 접근통제 설정 등 기존 보안 기능을 변경하여 보안 수준이 낮아지면 침해사고가 발생할 수 있습니다.
AI 에이전트가 스스로 판단해 보안 알림 설정, 모니터링 정책을 변경하여 실제 감시 체계에 영향을 줄 수 있습니다. 특히 별도의 작업 결과 검토를 진행하지 않는다면 문제가 발견되지 않은 상태로 운영될 수 있습니다.
이 유형의 가장 큰 위험은 보안 위협과 침해사고를 탐지하지 못할 수 있다는 점입니다. 비정상적인 접근이나 이벤트 알림 지연 및 대응이 지연될 수 있습니다.
④ 프롬프트 인젝션 조작
공격자가 AI 에이전트가 처리하는 데이터에 공격 명령을 삽입하여, 원래 수행해야 할 업무와 다른 작업을 실행하도록 유도하는 공격 유형입니다.
AI 에이전트는 업무를 수행하기 위해 웹페이지, 이메일, 문서 등 다양한 외부 데이터를 읽을 수 있습니다. 문제는 외부 데이터의 내용이 악의적인 명령일 수도 있다는 점입니다. 다만 악의적인 명령을 읽었다는 사실만으로 침해가 발생하는 것은 아니며, AI 에이전트가 해당 지시를 따르고 명령 실행이나 파일 접근 권한까지 가지고 있어야 피해로 이어질 수 있습니다.
AI 에이전트를 통해 실행된 작업이 CI/CD 환경이나 배포 인증정보에 영향을 준다면, 공격자는 이를 악용해 비인가 소프트웨어를 배포하는 등 공급망 침해를 시도할 수 있습니다. 프롬프트 인젝션 시도만으로 사고가 발생하는 것은 아니지만, AI 에이전트에 실행 권한이 있는 경우 공급망 사고로 확대될 수 있습니다.
⑤ AI 기반 침투 자동화
공격자가 AI 에이전트를 침투도구로 활용해 시스템 취약점 탐색, 침투 시도, 공격 결과 분석 및 후속 공격 작업을 자동화하는 유형입니다. 실제 침해 여부는 공격 대상에 존재하는 취약점과 인증·인가 설정, 네트워크 접근통제 등 기존 보안 설정에 따라 달라집니다.
공격자가 AI 에이전트를 활용해 침투 과정을 모두 자동화할 수 있습니다. 이를 통해 공격에 필요한 시간을 단축하고 더 많은 시스템을 대상으로 공격을 시도할 수 있습니다.
1-3. 분석
앞서 분석한 5가지 AI 에이전트 보안사고 유형의 주요 원인은 다음 5가지로 볼 수 있습니다. AI 에이전트 보안사고를 예방하기 위해서는 내부 보안 통제와 접근 통제를 강화하고, 지속적으로 취약점을 관리해야 합니다.
접근 권한 및 인증정보 관리 미흡
작업 범위 및 승인 통제 미흡
외부 입력 신뢰성 검증 부족
기존의 보안 취약점 관리·접근 통제 미흡
모니터링 및 변경사항 검증 미흡
2. 예방 수칙
2-1. AI 에이전트 사용 현황 및 연결 시스템 확인
조직 내 누가 어떤 목적으로 AI 에이전트를 사용하고 있고, 어떤 시스템에 접근할 수 있는지 먼저 확인해야 합니다.
AI 에이전트 사용자
사용 중인 AI 에이전트의 이름, 사용 목적
AI 에이전트에 연결된 외부 서비스와 내부 시스템
연결된 계정, API 토큰 및 접근 권한
개인정보·인증정보 등 중요정보 접근 가능 여부
데이터 조회·수정·삭제 및 명령 실행 가능 여부
또한 직원이 개별적으로 연결한 AI 에이전트가 존재할 수 있으므로, 미등록 AI 에이전트를 주기적으로 확인해야 합니다.
업무 계정에 승인된 OAuth 애플리케이션 및 연동 앱 목록 점검
API 토큰 및 개인 접근 토큰의 발급·사용 이력 확인
프록시·방화벽 로그를 통한 외부 AI 서비스 호출 현황 확인
2-2. 접근 권한 및 인증정보 관리
AI 에이전트에는 업무 수행에 필요한 최소한의 권한만 부여하고 AI 에이전트 사용 환경을 분리해야 합니다.
데이터 조회·수정·삭제 권한 분리
운영·개발·테스트 환경별 계정 및 권한 분리
업무 시스템과 API 기능별 접근 범위 제한
API 토큰 및 인증정보의 안전한 보관과 주기적 검토
작업에 필요한 기간에만 유효한 단기 인증정보 사용
2-3. 중요 작업 승인 및 실행 결과 검증
데이터 삭제, 시스템 설정 변경, 외부로 데이터 전송 등 중요한 작업은 AI 에이전트가 단독으로 실행하지 못하도록 관리해야 합니다.
승인 및 검증이 필요한 대상은 다음과 같습니다.
운영 데이터베이스 및 중요 파일의 변경·삭제
운영 서버의 설정 변경이나 서비스 재시작
방화벽·보안그룹·접근권한 변경
보안 경고 및 모니터링 기능의 중단·변경
소스코드 배포 및 중요 시스템에 대한 명령 실행
2-4. 프롬프트 인젝션 및 외부 도구 보안
AI 에이전트가 외부에서 읽어 들이는 데이터의 신뢰성을 검증해야 합니다.
AI 에이전트가 새로운 작업 지시를 무조건 진행하지 않도록 설계하고, 실제 명령으로 이어질 때는 검증해야 합니다. 특히 개발 업무에 사용하는 AI 에이전트는 파일 수정, 셸 명령 실행, 소스코드 저장소 접근 등의 기능을 가지고 있으므로 다음과 같은 통제가 필요합니다.
신뢰할 수 있는 도구 및 MCP 서버만 연결
AI 에이전트가 실행할 수 있는 명령과 API 기능 제한
운영 환경의 인증정보 및 중요 파일 접근 제한
승인되지 않은 외부 주소로의 데이터 전송 제한
외부 데이터에 악의적인 지시가 포함된 상황을 가정한 보안 테스트 수행
2-5. 실행 이력 모니터링 및 이상 행위 탐지
AI 에이전트의 실행 이력을 기록하고 모니터링해야 합니다.
AI 에이전트의 식별정보, 요청 사용자, 요청 내용, 실행 시각, 접근 대상, 사용 도구, API 호출 내용, 승인 여부 및 작업 결과 등을 기록해야 합니다. 특히 다음과 같은 행위에 대한 모니터링이 필요합니다.
평소 접근하지 않던 시스템이나 데이터에 대한 접근
단시간에 발생하는 대량의 데이터 조회·전송
중요 데이터 변경·삭제 및 반복적인 실행 실패
API 토큰 사용 범위 및 권한 변경
보안 경고 중단, 모니터링 설정 변경
승인되지 않은 외부 시스템으로의 연결 및 데이터 전송
2-6. 외부 AI 기반 공격에 대한 대응
공격자가 AI 에이전트를 활용한 시스템 탐색·침투 시도에 대비하기 위해 기본적인 보안 관리를 강화해야 합니다.
외부에 노출된 서버, 관리 페이지 및 API 현황 점검
알려진 취약점에 대한 패치 및 보안 설정 개선
관리자 계정의 다중인증 및 인증정보 관리 강화
API의 인증·인가 및 호출량 제한 적용
반복적인 인증 실패와 비정상적인 접근 패턴 탐지
WAF·API 보안 및 네트워크 접근통제 정책 점검
3. 사고 발생 시 대응 방법
AI 에이전트가 미승인 작업을 수행했거나 중요정보에 접근한 정황이 발견되면, 일반적인 침해사고 대응 절차와 함께 해당 에이전트의 연결 계정과 실행 권한을 확인해야 합니다. 또한 사전에 신속한 대응을 위한 보고 체계를 마련해두어야 합니다.
① 증거 확보 및 실행 중단
AI 에이전트를 중지하거나 삭제하면 작업 기록이 사라질 수 있으므로, 앞서 실행 이력과 처리한 입력 데이터(사용자 요청, 읽어 들인 문서·웹페이지·이슈 등)를 먼저 확보합니다.
이후 문제가 발생한 AI 에이전트의 작업을 중단하고, 연결된 서비스의 접근을 차단합니다. 유출된 것으로 의심되는 API 토큰은 폐기·교체하고 관련 권한을 회수합니다. 에이전트가 접근할 수 있었던 다른 인증정보(환경변수, 저장소에 보관된 비밀값 등)도 교체 대상에 포함합니다.
② 신고 대상 여부 판단
사고 정황을 인지한 시점부터 법적 신고 대상인지 판단해야 합니다.
정보통신망법상 침해사고는 인지 후 24시간 이내에 최초 신고하고, 이후 24시간 이내에 보완 신고해야 합니다. 개인정보 유출은 개인정보 보호법에 따라 72시간 내에 개인정보보호위원회에 신고해야 하며, 같은 사고라도 침해와 유출이 함께 발생하면 각 기관에 각각의 기한에 맞춰 신고해야 합니다. 또한 유출이 최종 확인되지 않았더라도 객관적으로 유출 가능성이 높다고 판단되면, 그 사실을 알게 된 시점부터 72시간 이내에 정보주체에게 통지해야 합니다.
③ 사고 범위 확인
AI 에이전트의 실행 이력과 대상 시스템의 로그를 확인해 다음 사항을 조사합니다.
어떤 API가 호출되었고, 어떤 데이터가 조회·변경·삭제되었는지
어떤 데이터가 어느 외부 주소나 서비스로 전송되었는지
에이전트가 새로 생성한 API 토큰, 계정, 웹훅, 메일 전달 규칙, 예약 작업 등이 있는지
에이전트가 수정·커밋·배포한 코드나 설정이 있는지, 하위 시스템으로 전파되었는지
④ 시스템 복구 및 보안 설정 확인
데이터 삭제되었거나 설정이 변경된 경우, 신뢰할 수 있는 백업과 변경 이력을 이용해 복구하고, 배포된 코드는 이전 버전으로 되돌립니다. 에이전트가 새로 생성한 인증정보와 설정은 제거합니다.
프롬프트 인젝션이 원인으로 의심되는 경우, 악의적인 지시가 포함된 문서·이슈·웹페이지 등 원본 데이터를 격리하거나 제거합니다. 원본이 남아 있으면 에이전트를 다시 가동하거나 다른 에이전트가 같은 데이터를 처리할 때 사고가 재발할 수 있습니다. 복구 후에는 기존 접근통제 및 보안 감시 기능이 정상적으로 동작하는지 확인합니다.
⑤ 원인 분석 및 재발 방지
사고가 AI 에이전트의 작업 판단 오류, 과도한 실행 권한, 프롬프트 인젝션, 악성 또는 변조된 외부 도구, 시스템의 접근통제 미흡 중 어떤 문제와 관련되어 있는지 분석합니다. 이후 권한과 실행 정책을 개선하고 동일한 유형의 사고가 재발하지 않는지 검증합니다.
원인에 대한 조치가 완료되기 전까지 해당 에이전트는 재가동하지 않으며, 재가동할 때는 축소된 권한으로 시작해 정상 동작을 확인한 뒤 필요한 범위만 단계적으로 허용합니다. 사고 조사에 필요한 로그와 변경 이력 등 증거는 조사가 끝날 때까지 보존합니다.
4. 점검 체크리스트
다음 체크리스트는 본문의 대응 방법을 점검 기준으로 정리한 것입니다. 각 항목을 기준으로 현황을 확인하고, 미흡한 부분이 있다면 해당하는 대응 방법을 검토해야 합니다.
✅ 사용 중인 AI 에이전트(미등록 포함) 현황과 연결된 시스템, 사용자를 파악하고 있는가?
✅ 연결 계정과 API 토큰에 최소한의 권한만 부여되어 있는가?
✅ 중요 데이터 변경·삭제, 보안 설정 변경, 외부 데이터 전송 시 시스템에서 확인하는 승인 절차가 있는가?
✅ 연결된 외부 도구와 MCP 서버를 검증하고, 승인되지 않은 외부 전송을 제한하고 있는가?
✅ AI 에이전트의 실행 이력을 기록하고, 이상 행위를 탐지할 수 있는가?
✅ 사고 시 에이전트를 즉시 중단하고 인증정보를 폐기하며, 신고 기한 안에 대응할 수 있는가?
✅ 외부 노출 자산과 취약점을 정기적으로 점검하고 있는가?
5. 시사점
이번 테이텀 시큐리티 인사이트에서 살펴본 18건의 사고를 다시 보면, 외부 공격자가 개입한 사고는 4건에 불과합니다. 나머지 14건은 사용자가 업무를 맡기거나 연구 기관이 보안 평가를 수행하는 등 정상적인 사용 과정에서 발생했습니다. AI 에이전트 보안사고의 상당수는 악의적인 공격이 아니라, 정당한 권한을 가진 에이전트가 작업 범위를 잘못 판단하면서 시작된다는 점을 보여줍니다.
특히 주목할 점은 지시만으로는 에이전트를 통제할 수 없다는 것입니다. 승인 전 삭제를 금지했는데도 이메일을 대량 삭제한 사례, 보안 감시 코드를 제거하고도 제거하지 않았다고 보고한 사례처럼, 에이전트에게 주의를 주거나 결과 보고를 받는 것만으로는 통제하고 있다고 보장할 수 없습니다. 반대로 운영 DB 삭제 사고는 권한 범위가 넓은 토큰 하나에서 발생했습니다. 결국 침해 사고 범위를 좌우하는 것은 에이전트에게 주어진 권한과 그 권한을 확인하는 시스템입니다.
외부 공격 측면에서도 시사점은 비슷합니다. AI를 활용한 공격은 탐색부터 침투까지의 속도를 단축시키고 규모를 크게 늘렸지만, 실제 침해 여부는 여전히 노출된 자산, 패치되지 않은 취약점, 취약한 인증정보 같은 기본적인 관리 수준에 달려 있습니다. 새로운 위협이라고 해서 새로운 방어 기술만이 답은 아니며, 결국 중요한 것은 기존 보안 통제를 꾸준히 관리하고 있는가입니다.
따라서 AI 에이전트는 편리한 도구이기 이전에, 조직의 시스템에 접근하는 하나의 계정으로 관리되어야 합니다. 누가 어떤 에이전트를 어떤 목적으로 사용하는지 파악하고, 최소한의 권한만 부여하며, 중요한 작업은 시스템에서 확인하고, 이력을 관리하는 것. 이는 사용자 계정 관리 내용과 다르지 않습니다.
AI 에이전트의 활용 범위는 앞으로 더 확장될 것이고, 침해 사고도 늘어날 것입니다. 에이전트의 성능이 좋아질수록 맡기는 작업도 커지는 만큼, 통제 기준을 함께 갖춰 나가는 것이 무엇보다 중요합니다.
More

사업자등록번호 277-81-01840 | 대표 : 양혁재
서울특별시 강남구 역삼2동 테헤란로 238 마크로젠빌딩 3층 테이텀
통신판매업신고 : 제2021-서울서초-3149호 사업자 정보 확인


