인간과 AI의 스마트한 상호작용 위한 실시간 추론 제공
[아이티비즈 박채균 기자] 엔비디아(CEO 젠슨 황)가 19일 실시간 대화형 AI를 지원하는 추론 소프트웨어의 최신 버전인 엔비디아 텐서RT 7(NVIDIA TensorRT 7)을 발표했다.
이는 전세계 개발자들이 대화형 AI 애플리케이션을 제공하는데 사용되어, 그간 인간과 AI간 상호작용에 걸림돌이 됐던 추론 레이턴시(지연시간)를 크게 개선할 것으로 기대된다.
엔비디아 텐서RT 7은 엔비디아의 7세대 추론 소프트웨어 개발 키트로, 보다 스마트한 인간과 AI간 상호작용을 가능케 해, 음성 에이전트, 챗봇, 추천 엔진 등의 애플리케이션을 실시간으로 구현할 수 있게 됐다.
텐서RT 7은 AI 음성 애플리케이션을 구현하는데 필요한 트랜스포머 기반 순환신경망(RNN)을 자동으로 최적화하고 가속화하도록 설계된 최신 딥 러닝 컴파일러를 제공한다. 이를 통해, 대화형 AI의 구성요소가 CPU에서 실행될 때 보다 10배 이상 빨라진다. 동시에, 지연시간은 실시간 상호작용에 필요한 수준인 300 밀리 초 임계값 미만으로 단축된다.
엔비디아 창립자 겸 CEO 젠슨 황은 GTC 차이나 기조연설에서 “우리는 기계가 인간의 언어를 실시간으로 이해할 수 있게 된 새로운 AI 시대에 들어섰다. 텐서RT 7은 전 세계 개발자들에 인간과 AI간의 보다 자연스러운 상호작용을 가능케하는 빠르고 스마트한 대화형 AI 서비스를 구축 및 배포할 수 있는 툴을 제공한다”고 말했다.
저작권자 © 아이티비즈 무단전재 및 재배포 금지
