현재 AI 도입은 기업의 선택이 아닌 생존을 위한 필수 과제다. 대규모 AI 모델 학습에는 적게는 수십 대에서 많게는 수백 대의 GPU가 필요하며, AI 인프라 구축의 속도와 유연성이 곧 경쟁력이 된다. 이러한 흐름 속에서 핵심 엔진 역할을 하는 GPU 서비스를 얼마나 빠르고 유연하게 확보하는지가 AX의 성패를 가르고 있다.
KT는 실질적인 AI 도입을 고민하는 기업 고객들을 위해 효과적인 인프라 전략을 알리는 B2B 행사를 정기적으로 추진하고 있다. 지난 20일 KT 웨스트 사옥에서 열린 ‘AI GPU 세미나’ 현장을 방문해 AI 인프라의 해답이 될 KT의 다양한 GPU 서비스와 구체적인 적용 사례를 직접 확인해봤다.
 |
[사진2] 세미나 장소를 안내하는 배너 |
■ KT의 맞춤형 GPU 전략… ‘K GPUaaS’와 ‘Managed AI GPU’
세미나에서 소개된 KT의 GPU 서비스는 크게 온프레미스(On-Premise)형과 클라우드형으로 나뉜다. 고객사의 환경과 요구사항에 따라 AI 인프라를 설계할 수 있도록 최적의 선택지를 제공하는 것이 특징이다.
‘Managed AI GPU'는 KT가 직접 고객 전산센터 내에 GPU 인프라를 구축하고, AI 솔루션 연계부터 장기 운영까지 통합 지원하는 서비스다. GPU 설계부터 서버, 보안, 회선 등 하드웨어와 운영 전체를 KT가 책임지므로 고객은 기술적 판단에 대한 부담을 덜 수 있다. 특히 대규모 초기 투자 없이 서비스 개시 후 월 납부 방식으로 이용 가능해, 데이터 보안은 유지하면서 비용 효율성까지 확보했다는 점이 눈에 띄었다.
클라우드 기반의 ‘K GPUaaS'는 엔비디아 H100을 월 구독 형태로 제공하는 서비스다. 초고속 네트워크 기술인 ‘인피니밴드(InfiniBand)’를 바탕으로 GPU 서버 간 지연 없는 통신을 지원하며, LLM 등 복잡한 AI 모델 개발에 필수적인 인프라를 구현한다. 또한 ‘GPU 가상화 분할’ 기술을 통해 작업량에 따라 자원을 탄력적으로 배분할 수 있어 활용 효율을 극대화했다. 모든 인프라와 데이터가 국내에서 관리되므로 해외 유출 우려가 낮다는 점이 강점으로 꼽혔다.
■ 현장에서 증명된 KT AI 인프라 도입의 실질적 효과
KT의 AI 인프라의 경쟁력을 구체적으로 확인할 수 있는 실제 사례도 발표됐다. 공공기관에 구축된 ‘GPU Farm’이 대표적이다. KT는 GPU Farm을 통해 다수의 고성능 GPU 서버를 고속 네트워크로 연결해 AI 학습과 빅데이터 분석을 처리하는 환경을 조성했다. 이를 통해 공공기관에서는 R&D 업무의 효율성을 극대화하고 데이터 기반 개발 환경을 고도화한 점이 인상 깊었다.
대학교 내 연구기관에 적용된 'K GPUaaS' 서비스는 지역과 산·학·연이 협력하는 지능화된 AI 모델 구축의 기반을 마련한 사례로 꼽혔다. 연구기관에 입주한 기업들을 대상으로 LLM 모델 개발과 파인튜닝 작업에 필요한 컴퓨팅 환경을 제공하는 것을 확인할 수 있었다.
시설관리공단에 도입된 AI 기반의 지능형 관제 시스템 사례도 주목을 받았다. CCTV에서 수집된 영상 데이터를 AI 딥러닝 기술로 분석해 객체와 행동을 인식하고 이상 상황을 예측하는데, 이를 통해 인력 부담은 줄이고 안전 관리의 정확도는 높인 게 특징이다.
 |
| [사진3] AI GPU 세미나의 행사 순서 |
 |
| [사진4] 각 기업과 기관 관계자가 참석한 가운데 진행된 세미나 전경 |
■ AX를 향한 높은 관심, 컨설팅 수요로도 이어져
세미나에서는 변화하는 GPU 사양에 맞춘 공공기관의 신속한 도입 전략과 실제 사용 후기에 대한 다양한 질의가 이어졌다. 참석자 중 81%가 응답한 설문조사 결과, 대다수가 실질적인 AI 인프라 도입을 위한 컨설팅을 희망했고, 정기적인 세미나 개최를 요청해 AX를 위한 고객들의 높은 관심과 수요를 체감했다.
참석자 중 한 대학교 관계자는 “GPU 솔루션을 도입하고 싶어도 전문적인 인프라 관리 경험이 적어 고민이었는데, 체계적인 전략과 현장 사례를 접하고 나니 컨설팅을 받아 보고 싶다”고 전했고, 제조기업 관계자는 “내부 자료와 외부 유출 등 데이터 보안이 중요한 만큼, 데이터 주권은 지키면서 인프라를 효율적으로 구축할 수 있는 방안을 알게 돼 유익했다”고 긍정적인 후기를 남겼다.
KT Enterprise부문 서비스Product본부 전명준 상무는 “KT는 AI의 빠른 확산과 진화 속에서 기업과 공공 고객들이 AI 인프라를 손쉽게 활용할 수 있게 하는 다양한 기술과 서비스를 만들고 있다”며, “이번 세미나가 고객들에게 AI 인프라에 대한 인사이트를 제공하고, 디지털 혁신과 AI 전략을 수립하는 데 도움이 되기를 바란다”고 말했다.
이번 세미나에서 확인한 KT의 GPU 서비스와 AI 솔루션은 기업과 기관이 직면한 비용 및 운영 문제를 해결할 실질적인 대안이었다. 연산 집약적인 업무를 자동화하고 자원을 탄력적으로 사용할 수 있어 국내 기업과 대학들의 비용 절감과 생산성 향상에 크게 기여할 수 있을 것으로 기대한다.