NVIDIA випустила власний безплатний чат-бот – Chat with RTX для ПК з відеокартами серії RTX 30 та вище для локального генеративного ШІ.

Chat with RTX використовує генерацію з доповненим пошуком (RAG), NVIDIA TensorRT-LLM і прискорення NVIDIA RTX, щоб використовувати генеративні можливості штучного інтелекту на локальному комп’ютері.

Користувачі можуть швидко й легко під’єднати локальні файли на ПК як набір даних до великої мовної моделі з відкритим кодом. Бот підтримуватиме різні формати файлів, включаючи .txt, .pdf, .doc/.docx і .xml.

Крім того, чат-бот можна використовувати й для опрацювання інтернет-сторінок. Наприклад, користувач може надіслати боту посилання на канал на YouTube чи інший сайт та ставити контекстні запитання.

Оскільки чат-бот працює локально на ПК, він видає відповіді швидше без потреби проганяти їх через хмарні сервіси. Це також підвищує безпеку запитів, оскільки вся інформація обробляється локально на комп’ютері.