라이트RT(LiteRT)는 TF라이트(TensorFlow Lite, TFLite)에서 발전한 구글의 ‘차세대’ 온디바이스 추론 프레임워크로, ‘ML드리프트(MLDrift)’로 불리는 차세대 GPU 엔진을 기반으로 한 고급 가속 기능을 새롭게 도입했다. 구글은 28일 공식 블로그를 통해 이번 성과가 라이트RT를 범용 온디바이스 프레임워크로 확고히 자리매김하게 하는 이정표이며, 기존 텐서플로 라이트(TFLite)를 뛰어넘는 의미 있는 도약이라고 설명했다구글에 따르면 라이트RT는 TF라이트보다 GPU 성능이 약 1.4배 향상됐으며, 엣지 플랫폼 전반에서 GPU와 NPU 가속을 통합적으로 활용할 수 있는 단일 워크플로를 제공한다. 또한 생성형 AI 모델을 위한 크로스 플랫폼 배포 역량을 강화했고, 원활한 모델 변환을 통해 파이토치(PyTorch)와 JAX를 1급 수준으로 지원한다. 구글은 라이트RT의 새로운 가속 기능을 지난해 5월 미리 공개한 바 있다.