웨비나속 Q&A
최근 웨비나 진행 중 발생한 질문과 답변을 조회할 수 있습니다
[질문] 자사 내부 시스템과 연동해야 하는 LLM 서빙 환경을 고려할 때, Kubernetes 기반의 프라이빗 구축과 관리형 API 서비스 중 어떤 방식이 데이터 주권, 네트워크 연결성(Latency, VPC Peering 등), 보안 정책(예: IP 허용, TLS termination)에 있어 더 유리한지 구체적으로 설명해 주실 수 있습니까?
내부 시스템 연동 및 데이터 주권, 네트워크 연결성, 보안 정책 측면에서는 Kubernetes 기반의 프라이빗 구축이 관리형 API 서비스보다 유리합니다. 프라이빗 구축은 데이터를 내부에서 관리하여 데이터 주권을 확보할 수 있으며, VPC Peering 등을 통해 내부 네트워크와 저지연으로 연결하고 IP 허용, TLS termination 등 보안 정책을 직접 제어할 수 있습니다.
아이티센클로잇
2025-06-24 14:39
[질문]금융, 의료, 공공 등 민감 데이터를 포함한 환경에서 LLM 서빙 시 보안이나 데이터 주권 문제를 해결할 수 있는 실질적인 옵션이나 사례 같은 것이 있다면 설명 부탁드려요.
민감 데이터 환경에서 LLM 서빙 시 보안 및 데이터 주권 문제를 해결하기 위한 실질적인 옵션으로는 온프레미스 또는 프라이빗 클라우드에 LLM을 직접 구축하는 방식이 있습니다. 데이터 암호화, 접근 제어, 데이터 마스킹/비식별화 기술을 적용하고, 데이터 처리 과정을 엄격하게 감사하는 것이 중요합니다. 특정 사례는 각 기업의 보안 정책 및 규제 준수 요건에 따라 달라질 수 있습니다.
아이티센클로잇
2025-06-24 14:38
[질문] 주요 경쟁 제품이나 솔루션은 무엇이 있고, 경쟁 대비 차별화된 점은 무엇인지 궁금합니다
아직 답변이 없습니다
[질문]LLM 서빙 시 Latency와 Throughput을 동시에 만족시키는 구조(예: 모델 압축, 캐시 전략 등)를 설계할 때 어떤 기술을 우선적으로 고려해야 할까요?
아직 답변이 없습니다
[질문]현재 업계 동향 및 앞으로의 발전 방향에 대해서 문의드립니다
아직 답변이 없습니다
[질문] 솔루션 도입 전에 기업 입장에서 준비해야 하는 사항이나 필수 고려사항은 무엇인가요?
아직 답변이 없습니다
모델의 크기와 GPU의 설정에 관한 부분을 어떻게 설정하나요? 예로들어서 8B모델은 어떠한 GPU로 클라우드 서버 스펙을 설계하나요?
아직 답변이 없습니다
[질문] LLM 서빙 시 GPU Auto-scaling은 어떤 조건으로 트리거하는 게 적절한가요?
아직 답변이 없습니다
[질문] 자체서빙 방식과 API 방식의 보안과 규제준수 측면에서 어떤 기준으로 선택해야 할까요?
아직 답변이 없습니다
[질문]LLM을 PoC 수준에서 실서비스로 확장할 때, 가장 큰 비용 폭등 요인은 무엇이며, 이를 컨트롤하기 위한 비용 최적화 전략(Batch inference, On-demand 인스턴스 등)이 있다면 소개해 주세요.
LLM을 PoC에서 실서비스로 확장할 때 가장 큰 비용 폭등 요인은 인프라, 특히 고성능 GPU 자원 비용입니다. 또한, 관리형 API 사용 시 예측 불가능한 토큰 사용량에 따른 과금이 서비스 규모가 커질수록 크게 증가합니다. 이를 통제하려면 모델 최적화, 인프라의 효율적인 배치 추론 및 오토스케일링, 그리고 토큰 사용량 최소화 전략을 통해 비용을 절감해야 합니다. 좀 더 상세한 답변이 필요하시면 웨비나 후 공유된 메일 주소로 문의 부탁드립니다.
아이티센 클로잇
2025-06-24 14:19
[질문] 예를 들어 전용회선 장애의 경우, 특정통신사의 어떤 문제로 인해 한꺼번에 많은 장애가 발생할 경우가 가끔있습니다. 그럴경우 대응우선순위를 자동적으로 정하여 중요순서대로 표시되어 처리할 수 있을까요?
어떤 상황인지는 확인이 필요한데요, 발표자에게 문의 주시면 협의 드리도록 하겠습니다.
바이텍씨스템
2025-06-19 15:13
[질문] 이상 탐지를 위해서 수집대상 로그 등이 장비,SW별로 표준화된 가이드가 있나요?
Splunk는 보안장비 또는 SW 별로 표준화된 App/Add-On 을 제공하고 있습니다.
바이텍씨스템
2025-06-19 15:11
[질문] 그 USE CASE에서 개인정보 오남용 부분에 대해서 탐지를 수행하신다는 내용과 관련해서 궁금한점이 있습니다. 여기서 개인정보 오남용에 대해서는 이상탐지를 수행하신다고 판단이 되는데 어떤 부분을 개인정보 오남용이라고 보시고 탐지를 하는 시나리오인지 궁금합니다. 어떤 자세한 시나리오구조라기 보다 이상탐지다보니 사실 이상치에 대한 정의가 중요한데 해당 정의를 어떤 관점으로 보시는지 AI로 다 커버가 되는부분인지 궁금합니다.
개인정보처리시스템에서 고객정보를 10분동안 10회 이상 조회 예시와 같이 탐지 하며 현재는 AI 적용은 되지 않습니다.
바이텍씨스템
2025-06-19 15:10
[질문] 보안 운영 중 여러 알림이 동시다발적으로 발생했을 때, 우선 대응해야 할 이벤트를 Splunk 내에서 자동으로 구분하고 분류하는 방법이 있을까요? 그 기준은 무엇으로 설정할 수 있나요?
일단 시나리오별로 위험등급을 정의하고 Critical 한 알림에 대해서 우선 대응 하고, 현재 로드맵으로 탐지 이벤트를 ML 을 이용하여 자동분류하는 기능은 구현 예정입니다.
바이텍씨스템
2025-06-19 15:09
아직 답변이 없습니다
[질문] ML 기반 예측을 넘어 생성형 AI 로 조치까지 적용될 수 있나요?
이부분은 아직 로드맵으로 Splunk AI Assistant 가 완료 될 경우 접목할 예정 입니다.
바이텍씨스템
2025-06-19 15:06
아직 답변이 없습니다
[질문] Splunk 기반 통합 보안 체계는 발생하는 보안 이벤트를 정책에 따라 차단/허용을 결정하는 수준이 아닌 탐지된 모든 이벤트에 공격을 촉발할 수 있는 트리거가 있는지 확인하고 실제로 해당 이벤트가 공격으로 발전했을 때 어떤 피해가 발생할지 분석하여 최적의 대응을 할 수 있도록 고객사와 위협에 대한 공동 협업 체계를 지원하고 있는지 궁금합니다.
안녕하세요. 방금 말씀 하신 부분은 SM 단계에서 지원 하고 있습니다. 바이텍에서는 S사에서 진행 하고 있습니다.
바이텍씨스템
2025-06-19 14:54
[질문] 대시보드 상에 지원하는 기능이나 메뉴는 어느 정도 수준이고, 서드파티나 확장 지원도 되는지 궁금합니다
안녕하세요. 스플렁크에서 제공되는 대시보드를 통해 html, css, java 사용해서 커스텀하게 사용 할 수 도 있습니다.
바이텍씨스템
2025-06-19 14:49
[질문] 장비 연동 시 고려사항은 어떻게 되는지요?
안녕하세요. 암호화 데이터만 아니면 모든 데이터 수집 가능 합니다.
바이텍씨스템
2025-06-19 14:48