Вызов AI Poker: Почему это вводящий в заблуждение, но развлекательный спектакль

Недавний AI Poker Challenge на Kaggle вызвал споры и развлечение среди поклонников покера. В вызове соревновались большие языковые модели (LLMs), такие как ChatGPT, Gemini, Grok и Claude, в турнире, включающем три игры: шахматы, волка и покер. Известный эксперт по покеру Doug Polk был приглашен для участия в вызове и анализа рук, сыгранных LLMs.

Одной из самых поразительных наблюдений от вызова является то, что LLMs очень плохо играют в покер. Они столкнулись с трудностями в чтении своих карманных карт, доски или даже понимании базовых правил Техасского Холдема — флеши, кажется, являются особой проблемой. Это не удивительно для тех, кто следил за подобными вызовами, так как матчи LLMs по шахматам часто включают нелегальные ходы, добавление новых фигур на доску и многое другое. Хотя это развлекательно, эти выступления подчеркивают ограничения LLMs в задачах, для которых они не были разработаны.

Вызов Kaggle не представляет AI в целом — он показывает небольшой подмножество его (LLMs), помещенный в среду, для которой он не был разработан. Просто говоря, если вы используете отличный инструмент для выполнения работы, для которой он не предназначен, вы будете разочарованы. Это не делает инструмент плохим, хотя. Фактически, мы можем пойти так далеко, чтобы сказать, что такое применение предоставляет почти нулевую информацию о релевантности инструмента. AI уже давно превзошел людей в шахматах, и это больше не оспаривается никем. Даже лучшие шахматисты мира отказываются играть с AI, потому что это бессмысленно. Они не могут выиграть. С появлением покерных решений и разработкой стратегии GTO у нас теперь есть очень хорошие, почти идеальные математические модели для Холдема. Игрок, способный воспроизвести эту стратегию на 100%, раздавил бы ее в долгосрочной перспективе. Однако LLMs очень плохо «думают» или анализируют вещи, так как они не были построены для этой цели. LLMs представляют собой подмножество более крупной сети AI, основная цель которой — сбор и интерпретация текстовых входных данных и генерация достоверных, надежных текстовых выходных данных. LLMs не используют решений или вычислений, их знания основаны на том, что они собрали из различных источников в Интернете.