보안관점에서 AI 특화 위협을 막는 AI Gateway와 웹 보안을 담당하는 웹방화벽이 필수합니다. F5에서는 AI Gateway 솔루션과 NGINX NAP(NGINX App Protect)을 제공해서 AI, API 보안부터 웹 방어까지 통합적으로 지원합니다.
말씀하신대로 대량의 트래픽과 실시간 응답이 핵심과제인데요, F5로드밸런서의 지능형 트래픽분산을 통해 컴퓨팅자원사용을 효율적으로 개선할 수 있습니다.
민첩성과 확장성을 위해 경량화된 컨테이너기반의 AI워크로드를 운영하게됩니다. 이를위한 K8S클러스터운영이나 네트워크인프라와의 통합이 핵심이 될 것 같습니다.
AI Factory를 구축할 때 기존 보안 장비나 서비스와의 연동은 필수적입니다. AI 서비스가 대부분 API 형태로 배포되다 보니, API Gateway나 WAF 같은 보안 계층을 통합해 위협을 막고, 인증과 접근제어를 수행해야 합니다. F5는 AI Gateway로 Prompt Injection 같은 AI 특화 공격을 완화하고, NGINX NAP 같은 소프트웨어 기반 WAF도 함께 제공해서 API,LLM 포함하여 OWASP Top 10 관련 공격을 방어할 수 있도록 지원합니다. 이런 보안 컴포넌트를 AI Factory 파이프라인에 자연스럽게 통합해 설계할 수 있습니다.
일반적으로 GSLB를 이용해서 위치기반의 DNS resolution을 통해서 client가 위치한 가장 인접한 cluster의 IP 정보를 return해 주는 형태로 구현이 가능합니다. 또한 Anycast도 또다른 형태의 구현 방법입니다. F5는 GSLB 기능 제공이 가능한 DNS 제품 솔루션을 제공 하고 있습니다.
트래픽 상태나 로드밸런서 시스템에 대한 모니터링의 경우 자체 대시보드환경이나 서드파티 모니터링툴과 연계하여 운영하실 수 있을것 같습니다.
글로벌 AI 서비스에서는 사용자 가까운 리전으로 트래픽을 분산해 지연을 최소화하고, 동시에 각국의 데이터 주권 규제를 준수해야 합니다. F5의 Distributed Cloud Service(XC)는 Anycast 기반 글로벌 네트워크로 사용자 요청을 최적 리전으로 라우팅하고, Edge Node에서 API Gateway 보안을 적용해 지연을 줄입니다. 중앙 관리 콘솔로 전 세계 분산 서비스와 보안 정책을 일관되게 관리할 수 있는 게 큰 강점입니다.
아직 답변이 없습니다
아직 답변이 없습니다
네 현재 F5에서는 양자 암호화를 지원 하고 있습니다. https://www.f5.com/solutions/post-quantum-cryptography-readiness
정형 데이터안에 포함된 메타데이터추출을 할수도 있을 것같고, 비정형 데이터들의 경우 임베딩처리나 백터DB저장과같은 별도의작업이 필요할 것같습니다.
우선 AI팩토리에대한 비즈니스목적과 유스케이스를 정의하는게 필요할것같습니다. 그리고 결국은 학습/추론에 필요한 충분한 데이터가 있는가 입니다. 또한, AI개발,인프라,현업의 협업이 필수라고 볼수있습니다.
보안 영역이라서 이번 웨비나 주제와 조금 벗어나긴 하지만 F5는 AI Gateway 솔루션을 통해서 OWASP LLM Top 10에서 안내하는 보안문제를 완화하고, 인증/인가, Rate Limiting, 로깅, SDK 기반 기능 확장 같은 필수 보안, 확장과 컴플라이언스 기능을 제공합니다. 이렇게 해서 고객이 규제에 맞춘 안전한 AI 서비스를 더 쉽게 운영할 수 있게 지원합니다.
👍
질문 감사드립니다 관련 하여 궁금하신 이슈, 노하우를 조금 더 구체적으로 설명 주시면 도와드리도록 하겠습니다 :)
네, 질문이 조금 포괄적인것 같습니다. F5파트너사를 통한 기술지원이나 F5코리아를 통해서도 이슈를 해결할 수 있습니다.
AI Factory시작은 가볍게 시작하고 점진적으로 확장하는 방식을 설계해야합니다. 대개 파일럿기간은 검증범위에따라 다르지만, 대개 3~6개월정도 소요됩니다.
1. Git기반 코드/구성모델을 통합적으로 관리하고 자동화시키는 방법 2. AI에이전트 컨테이너화를 통한 경량화 및 OTA 배포체계 3. Prometheus나 Grafana와 같은 툴을 이용한 성능모니터링, 카나리 배포방식의 신규모델 점진적배포및 안정화 4. Secure MLOps구현, 파이프라인 내 보안 자동화적용
클러스터내부에 생성되는 AI서비스와 외부 네트워크인프라간의 유기적 연계 및 자동화가 핵심일 것입니다.
F5가 정의하는 AI Factory의 필수 구성 요소는 데이터 파이프라인, 모델 라이프사이클 관리, API 배포, 트래픽 관리, 보안 거버넌스입니다. 특히 F5는 API 트래픽을 안정적이고 안전하게 제어하고, DPU에 설치할 수 있는 고성능 ADC 솔루션(BINK: F5 Software ADC)으로 AI 팩토리의 CPU 부하를 오프로드해서 AI 서비스가 본연의 모델 처리에 집중할 수 있게 지원합니다.
영상 후미에 나오는 고객사용사례를 참고하시면 될것같습니다.
데이터수집이나 전처리, 추론, RAG와 같은 기능들이 서로 독립적인 마이크로서비스형태로 분리하여 이런 장애전파를 방지할수 있겠습니다. 그리고 사용자별 트래픽유형을 분리하고 AI모델별 리소스를 분리하거나 제한시키는 것도방법이 될 것 같습니다.