AI Poker Challenge: Чому це обманююча, але розважальна подія

Недавній AI Poker Challenge на Kaggle викликав суперечки та розваги серед покерних ентузіастів. Випробування протиставило великі лінгвістичні моделі (LLMs), такі як ChatGPT, Gemini, Grok та Claude, у турнірі, що включає три гри: шахмати, вовкулака та покер. Doug Polk, відомий експерт з покеру, був запрошений для участі у випробуванні та аналізу рук, зіграних LLMs.

Одне з найвиразніших спостережень від випробування полягає в тому, що LLMs дуже погано грають у покер. Вони мали проблеми з читанням своїх карт, борду чи навіть з розумінням базових правил Техаського Холдема — флеші, здається, є особливою проблемою. Це не здивувало тих, хто слідкував за подібними випробуваннями, оскільки шахматні матчі LLM часто включають недозволені ходи, додавання нових фігур на дошку та більше. Хоча це розважально, ці виступи підкреслюють обмеження LLMs у задачах, для яких вони не були розроблені.

Випробування на Kaggle не є репрезентативним для штучного інтелекту в цілому — воно показує невелику підмножину (LLMs), розміщену в середовищі, для якого вони не були розроблені. Просто кажучи, якщо ви використовуєте відмінний інструмент для виконання роботи, для якої він не призначений, ви будете розчаровані. Це не робить інструмент поганим, проте. Насправді ми можемо сказати, що таке застосування майже не надає жодної релевантної інформації про інструмент. Штучний інтелект вже давно перевершує людей у шахматах, і це більше ніким не оспорюється. Навіть найкращі шахісти світу відмовляються грати з ШІ, бо це марно. Вони не можуть виграти. З появою покерних розв'язувачів та розвитком стратегії GTO у нас є дуже хороші, майже ідеальні математичні моделі для Холдема. Гравець, здатний повністю відтворити цю стратегію, розгромив би її в довгостроковій перспективі. Однак LLMs дуже погано грають у “мислення” або аналіз, оскільки вони не були побудовані для цього. LLMs представляють підмножину більшої мережі ШІ, основною метою якої є збір та інтерпретація текстових вхідних даних та генерація достовірних, надійних текстових вихідних даних. LLMs не використовують розв'язувачі або обробляють числа, їхні знання ґрунтуються на тому, що вони підібрали з різних джерел в Інтернеті.