Пока биткоин-трейдинг еще не выявил победителя, AI уже собрались за столом для игры в покер.

По сравнению с игрой против рынка, на этот раз соперником AI стал другой AI.

Автор: Eric, Foresight News

До окончания соревнования по AI-трейдингу NOF1 осталось 4 дня, на данный момент DeepSeek и Tongyi Qianwen по-прежнему значительно опережают остальных, а оставшиеся 4 AI не смогли превзойти простое владение bitcoin. Если не произойдет ничего неожиданного, DeepSeek, скорее всего, станет чемпионом, теперь остается только наблюдать, когда остальные участники смогут превзойти доходность от простого владения bitcoin и кто окажется на последнем месте.

Хотя AI-трейдинг сталкивается с постоянно меняющимся рынком, это все же игра PvE. Чтобы действительно выяснить, «какой AI умнее», а не «какой AI лучше торгует» в PvP-игре, российский парень Max Pavlov пригласил 9 AI сыграть за столом в покер Техасский Холдем.

Судя по открытой информации на LinkedIn, Max Pavlov долгое время работал менеджером по продукту, а в описании AI-покерного сайта он также указывает, что является энтузиастом глубокого обучения, AI и покера. Что касается причины проведения такого теста, Max Pavlov отмечает, что в покерном сообществе до сих пор нет единого мнения о надежности рассуждений больших языковых моделей, и это соревнование как раз демонстрирует способности этих моделей к рассуждению в реальных игровых ситуациях.

Возможно, потому что Grok не показал выдающихся результатов в трейдинге, вчера Илон Маск ретвитнул скриншот, где Grok временно занимает первое место в покерном турнире, явно желая «вернуть себе авторитет».

Каковы результаты AI?

В этом покерном чемпионате приняли участие 9 игроков: помимо известных нам Gemini, ChatGPT, Claude Sonnet (разработан компанией Anthropic, ранее получившей инвестиции от FTX), Grok, DeepSeek, Kimi (AI от Moonshot AI), Llama, а также ориентированный на европейский рынок и языки Mistral Magistral от французской компании Mistral AI и GLM от пекинской компании Zhipu, одной из первых в Китае, начавших исследования больших языковых моделей.

На момент написания статьи, пять участников — Gemini, ChatGPT, Claude Sonnet, Grok и DeepSeek — находятся в плюсе, а остальные четыре игрока пока терпят убытки. Самым неудачным оказался Llama от Meta, который уже потерял более половины своих средств.

Чемпионат стартовал 27-го числа и завершится 31-го, осталось чуть менее полутора дней. Судя по графику доходности, в течение первых суток Grok от xAI постоянно лидировал, а после того, как его обогнал Gemini, долгое время держался на втором месте. Из 2540 раздач Grok был обойден Claude Sonnet примерно на 2270-й раздаче, а около 2500-й — ChatGPT.

DeepSeek, Kimi и европейский игрок Mistral Magistral держались стабильно около нуля. Llama начал резко проигрывать примерно после 740-й раздачи, заняв прочное последнее место, а GLM начал отставать примерно после 1440-й раздачи.

Помимо доходности, техническая статистика отражает различные «характеры» AI-игроков.

По показателю VPIP (Voluntarily Put $ In Pot — добровольное вложение фишек в банк), наш игрок Llama достиг 61%, делая ставки более чем в половине раздач. Три наиболее стабильных игрока делали наименьшее количество ставок, а лидеры по доходности имели VPIP в диапазоне 25–30%.

По показателю PFR (Pre-Flop Raise — повышение ставки до флопа), Llama снова занимает первое место, а Gemini, показавший наилучший результат, идет следом. Таким образом, Llama от Meta — чрезмерно агрессивный и инициативный игрок, а Gemini также достаточно агрессивен, но в меру, возможно, делая ставки только с хорошими картами и удачно сталкиваясь с безрассудным Llama, что привело к противоположным результатам.

Если учесть также данные по 3-Bet и C-Bet, видно, что Grok — довольно сдержанный, но не слишком пассивный игрок, оказывающий сильное давление до флопа. Такой стиль позволил ему лидировать на начальном этапе, но затем агрессивные стратегии Gemini и ChatGPT, а также импульсивность Llama позволили смелым игрокам выйти вперед.

Как анализируют AI?

Max Pavlov установил для этого турнира несколько основных правил: блайнды 10/20 долларов, без анте и страддла, 9 игроков одновременно играют за 4 столами, если стек игрока опускается ниже 100 больших блайндов, система автоматически пополняет его до 100 больших блайндов.

Кроме того, все AI-игроки используют один и тот же промпт, установлен максимальный размер токенов для ограничения длины рассуждений, а при аномальном ответе по умолчанию происходит фолд. Max Pavlov предусмотрел возможность задавать AI вопросы о принятии решений во время хода или после завершения раздачи.

Рассмотрим анализ AI-игроков на примере одной из раздач, сыгранных во время написания этой статьи.

После того как Claude и Gemini поставили малый и большой блайнды, Llama посчитал, что 8 пик и Q треф — «относительно сильные» карты, с которыми можно попытаться собрать стрит или флеш, и сделал колл на 20.

DeepSeek посчитал, что Q червей и 2 слишком слабы для колла с его позиции, а GLM решил, что с флеш-дро на средней позиции можно сделать рейз, чтобы построить банк против Llama, который играет широко, и ставка в 80 долларов позволит контролировать размер банка, оказывая достаточное давление. Kimi, имея карты того же достоинства, но другой масти, посчитал, что рука слишком слаба и не стоит коллировать из-за возможного 3-Bet на следующих улицах.

На этом этапе видно, что Llama не анализировал ни данные, ни позицию, а просто «бездумно» сделал ставку, в то время как следующие три игрока приняли решения на основе позиции и анализа предыдущих данных.

Когда GPT o3, имея туза, сделал смелый рейз на 260, Grok и Magistral оба выбрали фолд, особенно Grok, который предположил, что у GPT, возможно, AK или пара старше его собственной, а учитывая бездумную агрессию Llama, решил сдаться.

Впоследствии Gemini, Llama и GLM также выбрали фолд. GLM также посчитал, что у GPT, скорее всего, большая пара или туз, а Llama не проводил анализа, просто считал, что его рука достаточно сильна, но не настолько, чтобы коллировать 260.

Импульсивность Llama, осторожность DeepSeek и Kimi, а также смелость GPT ярко проявились в этой раздаче, и в итоге GPT забрал банк без вскрытия. Пока писалась эта статья, прибыль первых четырех игроков продолжала расти, и можно предположить, что если не произойдет ничего неожиданного, чемпион определится среди них. AI, которые не показали себя в трейдинге, вновь доказали свои способности за покерным столом.

Хотя многие лаборатории используют научные методы для тестирования возможностей AI, для пользователей важнее, может ли AI быть им полезен. DeepSeek, не отличившийся за покерным столом, оказался отличным трейдером, а Gemini, который в трейдинге проявил себя как «новичок», за покерным столом показал выдающиеся результаты. Когда AI появляется в разных сферах, мы можем наблюдать за его сильными сторонами через понятные нам действия и результаты.

Конечно, несколько дней торговли или покерных партий не могут окончательно определить способности AI в этой области и его возможную эволюцию в будущем. Решения AI лишены эмоциональной составляющей, их процесс принятия решений зависит от базовой логики алгоритма, и даже разработчики модели могут не знать, в чем именно их AI наиболее силен.

Благодаря таким развлекательным тестам вне лаборатории мы можем наглядно наблюдать логику AI в привычных нам ситуациях и играх, а также расширять границы мышления человека и AI.