NVIDIA, RTX ekran kartlarında yapay zeka performansını güçlendirecek yeni bir kütüphane olan TensorRT for RTX’i tanıttı. Microsoft Build 2025 etkinliğinde duyurulan kütüphane, Windows 11 platformu için optimize edilmiş ve özellikle yerel yapay zeka uygulamaları için tasarlandı.
NVIDIA’nın veri merkezi teknolojilerinde kullanılan TensorRT sisteminin masaüstü versiyonu olan TensorRT for RTX, Windows tabanlı bilgisayarlarda %50’nin üzerinde performans artışı sağlayacak. Bu yeni sürüm, günümüzün gelişmiş üretken yapay zeka modelleri (örneğin FLUX-1.dev) gibi yeni nesil modellerin kullanıcı seviyesindeki GPU’larda çalıştırılabilmesi için geliştirildi.
Kütüphane, FP4 ve FP8 gibi düşük hassasiyetli sayısal formatları destekliyor. Bu, bellek kullanımını optimize ederek daha yüksek işlem kapasitesi sağlıyor. Önemli bir özellik, çıkarım motorlarının model başlatıldığında GPU üzerinde otomatik olarak derlenebilmesi. Bu, ek optimizasyonlarla birlikte performansta %20’ye kadar ek artış anlamına geliyor. Sadece 200 MB boyutunda olan sistem, Windows ML aracılığıyla arka planda otomatik olarak indiriliyor. RTX 5090 üzerinde yapılan testler, DirectML’ye göre önemli bir hız artışı gösterdi.
Bu yeni teknoloji hakkında düşüncelerinizi yorumlar bölümünden paylaşabilirsiniz.