엔비디아, 인공지능 소프트웨어 ‘텐서RT 8’ 출시
엔비디아, 인공지능 소프트웨어 ‘텐서RT 8’ 출시
  • 박채균 기자
  • 승인 2021.07.21 11:21
  • 댓글 0
이 기사를 공유합니다

클라우드부터 엣지에서 대화형 AI 구축 지원

[아이티비즈 박채균 기자] 엔비디아(CEO 젠슨 황)가 텐서RT(TensorRT) 8을 출시했다고 21일 밝혔다.

텐서RT 8은 엔비디아의 8세대 인공지능(AI) 소프트웨어로, 언어 쿼리에 대한 추론 시간을 절반으로 줄여 개발자들이 업계 최고 수준의 성능을 제공하는 검색 엔진, 광고 추천 플랫폼, 챗봇을 개발하도록 돕고, 이를 클라우드부터 엣지에서 제공하도록 지원한다. 

텐서RT 8의 최적화 기능은 언어 애플리케이션을 위한 기록적인 속도를 제공하여, 전세계적으로 가장 널리 사용되는 트랜스포머 기반 모델 중 하나인 BERT-라지(BERT-Large) 모델의 추론을 1.2밀리세컨드(ms) 만에 완료한다. 과거에는 기업들이 모델 크기를 줄이게 되면 결과의 정확성이 크게 떨어졌다. 텐서RT 8을 통해 이제 기업들은 모델 크기는 두 배 또는 세 배로 늘리면서 정확도를 상당히 개선할 수 있게 됐다. 

그레그 에스테스 엔비디아 개발자 프로그램 담당 부사장은 “AI 모델은 기하급수적으로 점점 더 복잡해지고 있으며, AI를 사용하는 실시간 애플리케이션에 대한 수요는 전 세계적으로 급증하고 있다. 따라서, 기업들은 최첨단 추론 솔루션을 반드시 구축해야 한다.  최신 버전의 텐서RT는 기업들이 그들 고객에게 이전에는 불가능했던 수준의 품질과 응답성을 갖춘 대화형 AI 애플리케이션을 제공하도록 돕는 새로운 기능을 지원한다”고 말했다.



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.