Понад 100 мільйонів ПК з Windows отримають вигоду від прискореної продуктивності ШІ від NVIDIA завдяки TensorRT-LLM для графічних процесорів RTX. Під час “Microsoft Ignite”, ключової події, на якій обговорюється майбутнє штучного інтелекту, NVIDIA повідомила, що TensorRT-LLM додається до Windows 11 і буде доступна для понад 100 мільйонів користувачів RTX після запуску в останньому пакеті драйверів 21 листопада. Прискорення штучного інтелекту TensorRT-LLM буде доступне для всіх настільних комп’ютерів і ноутбуків RTX із відеопам’яттю понад 8 ГБ. Окрім TensorRT-LLM, NVIDIA та Microsoft також пропонують удосконалення DirectML для покращення популярних моделей AI, таких як Stable Diffusion та Llama 2.

Наявність графічного процесора NVIDIA RTX із підтримкою TensorRT-LLM означає, що всі ваші дані та проєкти можуть оброблюватись до п’яти разів швидше. Це заощадить час і дасть більш точні результати. Пришвидшення результатів штучного інтелекту відбувається за допомогою локалізованої бібліотеки RAG (Retrieval Augamanted Generation). Крім того, NVIDIA також забезпечить підтримку додаткових LLM, таких як Mistral 7B і Nemotron 3 8B. Для тих, хто хоче випробувати останній випуск TensorRT-LLM, він буде доступний для встановлення за офіційним посиланням Github.

Ще NVIDIA та Microsoft запропонують інтерфейс API для OpenAI’s ChatAPI через нову оболонку. Через яку вам не потрібно завантажувати будь-який набір даних у ChatAPI, оскільки весь набір даних буде доступним для ChatAPI так, ніби він доступний локально. Спеціальна оболонка працюватиме майже з будь-яким LLM, оптимізованим для TensorRT-LLM. Кілька прикладів оптимізованих LLM включають Llama 2, Mistral, NV LLM і інші будуть додані незабаром. API також буде доступний на сторінці NVIDIA GitHub.

Ці оголошення показують, що NVIDIA хоче прискорити ШІ не лише для підприємств, але й для масової аудиторії. І надання його мільйонам користувачів RTX, безперечно, є величезною справою.