오픈 AI의 대화형 AI 서비스 ‘챗GPT’를 시작으로 기업들이 앞다퉈 선보이는 AI 기술은 따라잡기 벅찰 정도로 발전을 거듭하고 있다. 이와 함께 AI를 업무에 적용하고 비즈니스 성과를 도출하기 위한 기업의 고민도 깊어지고 있다.
AI를 도입하려는 기업은 인프라 성능 최적화로 AI 모델 학습시간을 단축하는 방안을 중요하게 고려해야 한다. 한정된 GPU 자원의 효율적 사용과 AI모델에 대한 효율적 관리 및 유지보수도 AI 플랫폼을 운영하는 기업의 핵심 과제다.
◇ 최적의 AI 플랫폼 구축 전략
AI를 비즈니스에 적용하기 위해서는 ▲비즈니스 목표 및 문제 정의 ▲데이터 운영 설계 ▲모델 개발 및 서비스 환경 구현 ▲비즈니스 결과 추적 및 평가의 4단계가 필요하다. 실제 업무를 분석해 명확한 미션을 설정하고 데이터 품질과 운영을 적절히 설계하는 한편, 복잡한 아키텍처를 단순화해 개발 서비스를 최적화하고 지속적인 업데이트 체계를 갖추는 것이 중요하다.
물론 이렇게 체계적인 단계를 통해 프로젝트를 성공적으로 수행한 기업들도 비즈니스를 운영하면서 한계에 맞닥뜨리기도 한다. AI가 확산하면서 자원 관리 문제가 대두되고 AI 모델 개발 서비스를 간소화해야 하는 이슈와 데이터 증가 및 모델 대형화로 인한 성능 최적화 문제가 대두될 수 있기 때문이다.
전통적인 인프라 환경에서 AI 모델을 개발하고 효율적으로 운영하는 일은 쉽지 않으며, GPU 서버를 도입하는 것이 능사는 아니다. 따라서, GPU 기반 데이터 연산부터 고성능 컴퓨팅에 최적화된 스토리지를 통한 대용량 데이터 저장과 자동화된 관리, 그리고 운영까지 아우르는 ‘통합 AI 플랫폼’이 주목받고 있다.
통합 AI플랫폼은 GPU 서버와 고성능 병렬 파일 스토리지, 네트워크, 컨테이너 등을 결합해 사전 통합된 플랫폼 형태로 제공된다. 연산과 데이터 저장에 필요한 하드웨어와 컨테이너 기반 GPU 가상화 운영 솔루션을 활용함은 물론 AI 시작부터 구축 및 운영에 이르기까지 단일 벤더와 소통하며 프로젝트를 진행할 수 있다.
◇ 기업별 맞춤 솔루션으로 가치 극대화
AI 플랫폼이 최적의 성능을 발휘하려면 성능 최적화, 연산 자원, 저장 자원 등이 완벽하게 조화를 이뤄야 한다. 저장 자원 관리는 GPU 분할 가상화, 정책 기반 자원 관리, 리소스 그룹 기반 자원 관리를 통해, 다수의 사용자를 위한 효율적인 자원 할당과 미사용 리소스의 회수 관리를 할 수 있다. 특히, AI 분석 환경에서 간과하면 안 되는 부분이 스토리지 성능이다. 기존 NFS NAS의 I/O는 속도에 한계가 있어 반드시 HCSF(Hitachi Content Software for File)와 같은 초고성능 병렬 파일 시스템이 필요하다.
대형 제조기업 A사는 데이터 웨어하우스 및 하둡 데이터 분석 시스템을 이용했으나 확장성과 성능 저하가 큰 문제였다. 이를 해결하기 위해 HCSF를 활용해 전사 통합 저장소를 구축, 차세대 전사 데이터 분석 체계로 전환했다. 현장에서 발생하는 데이터에 대해 고성능 데이터 분석을 기반으로 대용량 쿼리가 가능토록 하고 향후 AI/ML을 위한 전사 분석 체계도 마련했다. 또한, 고성능 데이터 분석 기반과 각기 다른 데이터 인터페이스 클라이언트 환경을 지원하는 통합 스토리지인 오브젝트 스토리지가 NVMe 티어링 용도와 비정형 데이터 서비스 용도 두 가지로 나뉘어 동시에 운영되고 있다.
효성인포메이션시스템은 고객의 데이터 혁신을 위해 자문∙컨설팅부터 계획∙설계, 구축∙수행, 기술 지원 단계까지 통합 제공하며, 고객들의 AI/ML 및 HPC 인프라 혁신을 지원한다. 수년간 다양한 산업 분야에서 쌓은 노하우와 전문화된 인력, 레퍼런스를 보유하고 있으며, 이를 바탕으로 안정적인 원스톱 지원이 가능하다.
