Groq – компанія, що займається виготовленням чипів штучного інтелекту, заявляє, що їхнє використання дасть можливість нейромережам працювати значно швидше. Це допоможе перетнути бар’єр штучності в спілкуванні з чат-ботом, пише Gizmodo.

І це – недалеко від правди, чат-бот від Groq демонструє неймовірну швидкість, генеруючи відповідь користувачі за долі секунди, цитуючи використані джерела. В одній із демонстрації ведуча CNN поспілкувалася з чат-ботом та залишилася враженою швидкістю відповідей.

Groq створює ШІ-чипи під назвою Language Processing Units (LPU) та стверджує, що вони швидші за графічні процесори NVIDIA (GPU). Графічні процесори NVIDIA вважаються галузевим стандартом для запуску ШІ-моделей, але перші результати показують, що LPU можуть посунути їх з п’єдесталу.

Groq – це «двигун висновків», а не чат-бот, як ChatGPT чи Gemini. Він не працює сам по собі та не має на меті замінити їх. Він допомагає цим чат-ботам працювати швидше. На сайті Groq ви можете особисто протестувати новинку.

Groq виробляє 247 токенів на секунду порівняно з 18 токенами на секунду у Microsoft, згідно з результатами тесту від Artificial Analysis, опублікованими минулого тижня. Це означає, що ChatGPT міг би працювати у понад 13 разів швидше, якби він працював на чипах Groq.

За словами генерального директора компанії Джонатана Росса, завдяки LPU Groq обходить два вузьких місця LLM, із якими виникають проблеми у графічних чи центральних процесорів: щільність обчислень та пропускна здатність пам’яті.

Не виключено, що найближчим часом ми можемо почути про судові позови в бік компанії від Ілона Маска через чат-бот Grok, розробленого його компанією xAI.

Назва Grok походить від назви науково-фантастичної книги Роберта Гайнлайна «Чужинець на чужій землі» 1961 року. Слово означає «розуміти глибоко та інтуїтивно».