[잇츠맨 Recap]

기업의 AI 보안, 어디서부터 시작할까? — Shadow AI부터 AI Agent까지

들어가며: AI 시대의 새로운 보안 숙제

• 기업 비즈니스 환경에서 AI 활용이 보편화되면서 보안 담당자의 고민도 함께 깊어지고 있다.
• 임직원이 사용하는 수많은 AI 중 통제되지 않는 Shadow AI를 어떻게 관리할지가 핵심 화두로 떠올랐다.
• 권한을 가지고 자율적으로 활동하는 AI Agent와 MCP를 어떻게 제어하고 보안적으로 관리할지가 새로운 과제다.
• 기존 레거시 보안 방식만으로는 대응이 어려워, 보안 운영팀의 솔루션 요청이 급증하고 있다.
• 다온기술 손두영 차장(CrowdStrike 프리세일즈 엔지니어)이 Falcon AIDR을 중심으로 대응 방안을 제시한다.

Global Threat Report 2026: AI가 만든 속도전

• AI를 활용하는 공격자가 전년 대비 +89% 증가하며 위협의 가속화가 뚜렷하게 나타났다.
• 평균 BreakOut Time은 29분(최단 27초)으로, 침투 후 횡적 이동까지의 시간이 극단적으로 짧아졌다.
• 멀웨어를 사용하지 않는 Malware-Free 침투가 전체의 82%를 차지하며 Identity 기반 공격이 주류가 됐다.
• CrowdStrike가 추적 중인 위협 행위자(Adversaries)는 281개에 달한다.

AI 이중 위협(Dual Threat): 두 개의 전선

• 첫 번째 위협은 공격자의 무기가 된 AI로, 스피어 피싱·악성코드 변종 생성·제로데이 익스플로잇 고도화에 활용된다.
• 딥페이크와 보이스피싱처럼 목소리까지 생성해 사회공학 공격을 정교화하는 데 AI가 쓰인다.
• 두 번째 위협은 임직원의 무분별한 AI 사용으로, 사내 LLM·AI Agent·MCP 서버가 기업의 공격 표면을 확장한다.
• 임직원이 무의식적으로 개인정보·중요자료를 유출하는 사례는 교육만으로 해결되지 않아 기술적 강제 제어가 필요하다.
• AI Agent 하니싱(harnessing)을 적용해도 프롬프트 대화를 통한 탈옥(Jailbreak)·프롬프트 인젝션으로 우회가 가능하다.

AI로 확장된 공격 표면: 실제 사례

• AI 개발 플랫폼 Langflow의 취약점(CVE-2025-3248)을 노려 Cerber 랜섬웨어를 유포한 공급망(Supply Chain) 공격이 발생했다.
• postmark-mcp의 MCP 도구에 BCC(숨은 참조)를 삽입해 모든 이메일 내용을 공격자에게 탈취당한 사례가 있다.
• 공격자는 피해자 PC를 탈취한 뒤 Claude·Gemini·ChatGPT에 악성 프롬프트를 주입해 계정·토큰·API 키를 빼낸다.
• 누군가 추천한 MCP나 무료 AI Agent를 별다른 의심 없이 도입하는 관행이 위험성을 키우고 있다.

실제 사건 상세: AI가 주도하는 자율 공격

• 2025년 11월 Anthropic이 중국 국가 지원 추정 집단에 의해 Claude Code가 탈옥(Jailbreak)당한 사건이 발생했다.
• 이 캠페인은 공격의 80~90%를 AI가 자율 수행한 최초의 문서화된 사례로 기록됐다.
• Factory.ai에서는 3일간 약 2만 개의 가짜 조직이 생성되는 엔터프라이즈 AI 플랫폼 공격이 있었다.
• AI Agent로 SaaS 코딩 도구를 공격해 수천 개 계정을 탈취하는 사례도 관측됐다.
• 클라우드 LLM 자격증명(API Key·Service Account)이 탈취돼 거래 상품으로 재판매되는 단계까지 이르렀다.

내부의 위협(INSIDE THE PERIMETER)

• AI 사용 증가에 따라 내부 위협도 함께 증가하며, 무조건 막는다고 사라지지 않는다.
• 무단으로 Shadow AI를 사용하는 비율이 45%에 달한다.
• AI 거버넌스 정책 시행에 실패한 조직이 61%로 절반을 넘는다.
• AI 에이전트를 도입·확대 중인 조직은 62%에 이른다.
• 핵심은 사용을 차단하는 것이 아니라 안전하게 열어주는 길을 제공하는 것이다.

Falcon AIDR 솔루션 구성

• AIDR(AI Detection and Response)은 Falcon 플랫폼의 한 모듈로, 직원의 AI 대화에 대한 가시성을 확보한다.
• Endpoint·Application·Gateway·Agents·Cloud 5개 적용 지점에서 Visibility·Detection·Control·Response를 수행한다.
• 데이터 유출·프롬프트 인젝션·악성 콘텐츠 등을 Alert·Block·Encrypt·Mask·Neutralize로 대응한다.
• 프롬프트 인젝션을 차단하고 AI에 대한 가드레일까지 제공하는 통합 솔루션으로 동작한다.

라이브 데모: 3가지 보호 시나리오

• DEMO 01은 브라우저 정책 기반 차단으로, ChatGPT 프롬프트 입력 차단과 Gemini의 SSN·신용카드번호 등 PII 입력 순간 차단을 시연한다.
• DEMO 02는 사내 LLM Gateway 단에서 악성 URL·IP 차단, DAN 모드 탈옥 차단, 고객사 맞춤 키워드("잇츠맨") 차단을 다룬다.
• DEMO 03은 정상 MCP에 섞인 프롬프트 인젝션으로 API 키가 유출되는 위협을 차단하는 시나리오다.
• falcon-mcp 환경에서 호스트 조회→RTR 접속→파일 추출로 이어지는 도구 체이닝을 차단한다.
• Okta API Token·AWS Secret·Bearer 등 자격증명 패턴을 탐지해 차단·마스킹한다.

WHY AIDR: 차별화 포인트

• 박사급 인력과 AI 레드팀이 180+ 기법의 업계 최대 규모 프롬프트 인젝션 분류 체계(Taxonomy)를 유지한다.
• 신규 공격 벡터를 실시간 업데이트해 탐지 엔진에 즉시 반영하며, LegalPwn 같은 신종 기법도 대응한다.
• 단일 엔진에서 Prompt Attacks(Direct/Indirect Injection, 최대 99% 차단), Malicious Content, Data Leakage, Malicious Entity 4가지를 보호한다.
• 탐지 흐름은 가시화→분류→탐지→대응 4단계로, 입력 프롬프트·RAG 컨텍스트·첨부파일을 종합 분석한다.
• PII·Secrets와 Code·Language를 동시 평가해 Alert·Block·Mask·Encrypt·Neutralize로 자동 대응한다.

마무리: 막는 보안이 아니라 안전하게 열어주는 보안

• Coverage — 모든 AI 접점을 단일 플랫폼으로 보호한다.
• Efficacy — 프롬프트 공격에 대해 최대 99%의 차단율을 제공한다.
• Capability — 실시간 자동 대응으로 위협을 즉시 차단·중화한다.
• Outcomes — 안전한 AI 도입을 지원하며 POV(Proof of Value)를 30일 내 적용할 수 있다.
• 핵심 철학은 'AI 사용 금지'가 아니라, 임직원이 우회로를 찾지 않도록 안전한 사용 경로를 제공하는 것이다.