AI는 단순한 기술 혁신이 아닙니다. 조직의 의사결정, 고객과의 접점, 일의 방식, 심지어 경영철학까지 바꾸는 전환입니다. 우리는 이미 그 시기를 지나고 있습니다. 누가 먼저 쓰느냐, 얼마나 잘 쓰느냐가 미래 경쟁력의 핵심이 되었기 때문입니다.

문제는 속도입니다. AI는 기다려주지 않지만, 보안은 기다려야 합니다. 많은 기업이 “보안이 정비되기 전에는 AI를 도입하지 말자”는 입장을 취하거나, 반대로 “일단 써보고 나중에 정리하자”는 태도로 접근합니다. 하지만 이제 그 어떤 것도 기다려주지 않는 시대, 우리는 이 둘 사이에서 균형을 찾아야 합니다. 도입을 늦추지 않되, 보안을 유예하지 않는 전략이 필요합니다.

🚧 보안의 패러다임이 바뀌는 AI 시대

기존 보안은 네트워크 경계, 권한 통제, 암호화 같은 ‘정적 시스템’을 보호하는 방식이 중심이었습니다. 그러나 AI는 다릅니다. 특히 LLM(Large Language Model) 기반의 AI는 사용자와 쌍방향 대화, 외부 데이터의 실시간 수용, 내재된 학습 데이터를 기반으로 한 ‘추론’을 전제로 하기 때문에, 기존 보안 모델로는 그 경계조차 설정하기 어렵습니다.

이를 잘 보여주는 사례가 바로 OWASP에서 새롭게 발표한 ‘LLM Top 10’입니다. 웹 보안의 기준을 제시해온 OWASP는 이제 AI 위협만을 위한 별도 분류 체계를 마련했습니다. 이 목록의 상위에는 우리가 그동안 상상하지 못한 유형의 공격이 올라 있습니다. 그 중 하나가 바로 Prompt Injection(프롬프트 인젝션)입니다.

프롬프트 인젝션은 LLM의 입력값을 조작해, 모델이 원래 의도와 전혀 다른 행동을 하도록 유도하는 기법입니다. 사용자는 단순히 문장을 입력했을 뿐이지만, 그 안에 숨겨진 공격 명령이 모델 내부의 지시문을 무력화하고, 시스템 외부와 통신을 시도하거나, 내부 데이터에 접근하는 결과를 낳을 수 있습니다. 이는 기존의 SQL Injection이나 XSS와는 완전히 다른 양상입니다. LLM은 ‘코드’가 아니라 ‘언어’를 해석하는 시스템이기 때문에, 공격이 너무도 자연스러워 보이고, 방어할 룰 자체를 정의하기 어렵습니다.

⛓️ 글로벌은 어떻게 대응하고 있는가

이처럼 AI 보안은 새로운 위협에 대응해야 하는 과제일 뿐만 아니라, “어떻게 신뢰 가능한 시스템을 구축할 것인가”라는 철학적·거버넌스적 질문까지 포함하고 있습니다. 그래서 미국과 글로벌 기술 리더들은 ‘기술적 방어’만으로는 부족하다는 결론을 내렸습니다. 그에 따라서 각 기관들은 AI에 대응하는 보안 전략을 프레임워크로 제시하고 있습니다.

💎 NIST AI RMF : 위험을 관리하는 신뢰 프레임워크

미국 국립표준기술연구소(NIST)는 2023년 AI RMF(AI Risk Management Framework)를 발표하며, AI 시스템에 수반되는 위험을 인식하고 관리할 수 있는 4단계 구조를 제시했습니다.

1. Govern – 책임 있는 AI 사용을 위한 정책과 조직 문화

2. Map – AI 시스템과 그 사용 환경의 위험 요인 파악

3. Measure – AI의 영향을 정량화하고 신뢰성 검증

4. Manage – 위험을 줄이기 위한 기술적·조직적 조치 실행

이 프레임워크는 단순한 보안 가이드가 아닙니다. “신뢰 가능한 AI(Trustworthy AI)”라는 전제를 실현하기 위한 실행 전략입니다.

🛠️ Gartner AI TRiSM : 거버넌스와 보안, 리스크의 통합 관리

Gartner는 ‘AI TRiSM(Trust, Risk, and Security Management)’이라는 개념을 통해, AI 거버넌스, 보안, 윤리, 규제 대응을 하나의 통합 전략으로 다루자고 제안합니다. 이는 단순한 보안 접근이 아니라, AI Security Posture Management(AI-SPM), 데이터 거버넌스, 모델 모니터링, AI 설명력(Explainability) 등을 모두 포함한 새로운 통합영역입니다.

“AI는 IT가 아니라 경영의 통제 문제이며, 그 통제의 핵심은 신뢰와 가시성이다.”
- Gartner

🌎 그렇다면 한국은?

한국 기업들은 빠르게 AI를 도입하고 있지만, 여전히 많은 조직이 보안 대응 전략을 준비하지 못한 채 위험에 노출된 도입을 반복하고 있습니다. 그 이유는 명확합니다. AI 보안을 위한 기준이 없기 때문입니다. 그 시작점으로써, 어떤 AI 도입에 어떤 위협이 있는지에 대해 이해와 AI 관련 자산들에 대한 확실한 식별이 선행되어야 할 것입니다. 즉, 지금의 우리는 정답을 기다릴 시간이 아니라, 최소한을 시작해야 할 시간이라는 것입니다.

📍 이제는 “100% 완벽”이 아니라, “0에서 1”이 중요한 시기

모든 조직이 처음부터 완벽한 보안 체계를 가질 수는 없습니다. 그러나 AI를 사용하는 조직이라면 다음 질문들에 스스로 답해야 합니다.

• 우리 AI는 어떤 데이터를 학습하고 있는가 ?

• 외부에서 들어오는 입력은 어떤 검증을 거치고 있는가 ?

• AI가 생성한 결과를 사람은 어떻게 검토하고 있는가 ?

• 모델이 오작동하거나 조작당했을 때 대응 프로세스는 있는가 ?

이 네 가지 질문에 모두 ‘모른다’고 답한다면, AI 도입을 위한 준비가 아직은 부족하다 라고 볼 수 있습니다.

📩 문의 사항 : ask@tatumsecurity.com