Nvidia Chat with RTX Nedir?

Chat with RTX, Nvidia platformundaki diğer LLM’lerin performansını artıran ve optimize eden TensortRT-LLM yazılımı tarafından destekleniyor. Şu anda, Mistral AI’nin Mistral 7B modeli veya Meta’nın Llama 2 modeli gibi yerel dosyalar arasında arama yapabilir ve ilgili soruları yanıtlayabilir. Nvidia, kullanıcıların yakında Google’ın Gemma LLM’sine de erişebileceklerini belirtiyor.

Bu LLM’ler, erişimle artırılmış nesil (RAG) olarak adlandırılan bir süreç sayesinde modelleri ek bilgi kaynaklarına bağlayarak daha güvenilir ve kişiselleştirilmiş yanıtlar üretebilir. Bu süreç, ilgili bilgileri alıp kendi sistemlerine dahil edebilen bir yapı sunar.

Nvidia’nın RTX Yapay Zeka Ürün Direktörü Jesse Clayton, “Bu, bir LLM’nin bir kütüphaneci gibi davranmasını sağlar, çünkü genellikle kullanıcının cihazında geniş bilgi koleksiyonları arasında arama yaparak kullanıcının sorgusuna en uygun bilgi kaynağını bulur” diyor. “LLM’ye, yanıtları oluşturmak için yararlanabileceği bilinen bir veri kaynağı sağlıyoruz ve bu, söz konusu veri kümesinden gelen sorular için yanıtları üretirken halüsinasyonları önler.”

Chat with RTX, RAG’ı Nvidia’nın TensorRT-LLM yazılımı ve RTX GPU’larıyla birleştirerek, buluttan veri aktarımına ihtiyaç duymadan doğrudan kullanıcıların cihazlarında çalışabilir hale getiriyor. Bu, ChatGPT, Gemini, Claude ve diğer popüler sohbet robotlarından ayıran bir özelliktir.

Ayrıca, verilerin bulut yerine cihaz üzerinde işlenmesinin, Chat with RTX’in yanıtlarını daha hızlı oluşturmasına yardımcı olduğunu belirtiyorlar. “Çıkarımın istendiği anda mesafeyi kısaltarak bu gecikmeyi artırırsınız.”