La battaglia nel trading di criptovalute non è ancora finita, e ora le AI si uniscono anche a un tavolo di poker texano.

Rispetto al confronto con il mercato, questa volta l’avversario dell’AI è diventato un’altra AI.

Scritto da: Eric, Foresight News

Mancano ancora 4 giorni alla conclusione della NOF1 AI Trading Competition. Attualmente DeepSeek e Tongyi Qianwen sono ancora nettamente in testa, mentre le restanti 4 AI non sono riuscite a superare la semplice detenzione di bitcoin. Se non ci saranno sorprese, DeepSeek dovrebbe aggiudicarsi il titolo di campione; ora resta da vedere quando gli altri riusciranno a superare i rendimenti del solo possesso di bitcoin e chi finirà all’ultimo posto.

Sebbene il trading di criptovalute tramite AI si confronti con un mercato in continua evoluzione, si tratta comunque di un gioco PvE. Per determinare davvero “quale AI sia più intelligente”, invece che “quale AI sia più brava a fare trading”, il giovane russo Max Pavlov ha invitato 9 AI a sedersi a un tavolo di poker Texas Hold’em.

Dalle informazioni pubbliche su LinkedIn, Max Pavlov ha lavorato a lungo come product manager e, nella presentazione del sito di AI Poker, afferma di essere un appassionato di deep learning, AI e poker. Quanto al motivo di questo test, Max Pavlov spiega che nella comunità del poker non c’è ancora consenso sull’affidabilità del ragionamento dei large language model, e questa competizione serve proprio a mostrare le capacità di ragionamento di questi modelli in una partita reale.

Forse perché Grok non si è distinto nel trading di criptovalute, ieri Musk ha condiviso uno screenshot in cui Grok è in testa nella partita di poker, quasi a voler “recuperare terreno”.

Come si sono comportate le AI?

A questo torneo di Texas Hold’em hanno partecipato 9 concorrenti: oltre ai noti Gemini, ChatGPT, Claude Sonnet (lanciato da Anthropic, già finanziata da FTX), Grok, DeepSeek, Kimi (AI di Moonshot AI), Llama, c’erano anche Mistral Magistral, sviluppato dalla francese Mistral AI e focalizzato sul mercato e sulle lingue europee, e GLM di Beijing Zhipu, una delle prime aziende cinesi a investire nella ricerca sui large language model.

Al momento della stesura, Gemini, ChatGPT, Claude Sonnet, Grok e DeepSeek sono in profitto, mentre gli altri 4 sono temporaneamente in perdita; il concorrente Llama di Meta è quello messo peggio, avendo già perso più della metà.

Il torneo è iniziato il 27 e terminerà il 31; ora manca meno di un giorno e mezzo. Dalla curva dei rendimenti, Grok di xAI è stato in testa per più di un giorno, poi superato da Gemini e rimasto a lungo secondo. Su 2540 mani giocate, Grok è stato superato da Claude Sonnet intorno alla mano 2270 e da ChatGPT intorno alla mano 2500.

DeepSeek, Kimi e Mistral Magistral sono rimasti sempre abbastanza stabili vicino al break-even. Llama, invece, ha iniziato a crollare subito dopo la fase di test, intorno alla mano 740, mantenendo stabilmente l’ultima posizione, mentre GLM ha iniziato a perdere terreno intorno alla mano 1440.

Oltre ai rendimenti, le statistiche tecniche mostrano le diverse “personalità” delle AI.

Nel VPIP (Voluntarily Put $ In Pot, cioè la percentuale di mani in cui si mette volontariamente denaro nel piatto), Llama ha raggiunto il 61%, scegliendo di puntare in più della metà delle mani; i tre concorrenti più prudenti hanno invece giocato meno mani, mentre i migliori hanno un VPIP tra il 25% e il 30%.

Nel PFR (Pre-Flop Raise, rilancio pre-flop), Llama è di nuovo in testa, seguito da Gemini, che ha ottenuto i migliori rendimenti. Sembra quindi che Llama di Meta sia un concorrente eccessivamente aggressivo e proattivo, mentre Gemini, pur essendo anch’esso aggressivo, mantiene un livello di iniziativa più equilibrato: probabilmente osa puntare quando ha buone carte e, incontrando un Llama sconsiderato, i loro rendimenti sono andati agli estremi opposti.

Combinando i dati di 3-Bet e C-Bet, si può vedere che Grok è in realtà un concorrente piuttosto solido ma non troppo passivo, con una forte pressione pre-flop; questo stile gli ha permesso di mantenere il vantaggio nella fase iniziale, ma poi la strategia aggressiva di Gemini e ChatGPT, insieme all’impulsività di Llama, ha permesso ai più audaci di superare e raggiungere la vetta.

Come analizzano le AI?

Max Pavlov ha stabilito alcune regole di base per la competizione: bui da 10/20 dollari, senza ante né straddle, 9 concorrenti su 4 tavoli contemporaneamente, e quando le chips scendono sotto 100 big blind il sistema ricarica automaticamente fino a 100 big blind.

Inoltre, tutte le AI utilizzano lo stesso prompt, viene impostato un numero massimo di token per limitare la lunghezza del ragionamento e, in caso di risposta anomala, si considera automaticamente fold. Max Pavlov ha previsto che, durante l’azione o alla fine di ogni mano, venga chiesto all’AI di spiegare il proprio processo decisionale.

Prendiamo come esempio una mano giocata durante la stesura di questo articolo per vedere come analizzano i giocatori AI.

Dopo che Claude e Gemini hanno pagato small e big blind, Llama ritiene che 8 di picche e Q di fiori siano “relativamente forti”, con la possibilità di ottenere una scala o un colore, e quindi chiama 20.

DeepSeek considera Q di cuori e 2 troppo deboli per chiamare dalla sua posizione, mentre GLM pensa che, avendo un colore in middle position, possa rilanciare per costruire il piatto contro un Llama loose, e che 80 dollari siano sufficienti per mettere pressione mantenendo il piatto controllabile. Kimi, con carte dello stesso valore ma di seme opposto rispetto a Llama, ritiene che la mano sia troppo debole e che, di fronte al rischio di una 3-Bet, non valga la pena chiamare.

Fino a qui, si vede che Llama non analizza dati o posizione, ma punta quasi “alla cieca”, mentre i tre successivi basano le loro decisioni su posizione e dati precedenti.

Dopo che GPT o3, con un Asso in mano, punta coraggiosamente 260, Grok e Magistral scelgono entrambi di foldare; in particolare Grok sospetta che GPT abbia AK o una coppia superiore alla sua, e considerando anche l’impulsività di Llama, decide di abbandonare.

Poi anche Gemini, Llama e GLM foldano. GLM pensa che GPT abbia probabilmente una coppia alta o un Asso, mentre Llama non fa analisi dati, ma pensa solo che la sua mano sia abbastanza forte, ma non abbastanza da chiamare 260.

L’impulsività di Llama, la prudenza di DeepSeek e Kimi e l’audacia di GPT sono emerse chiaramente in questa mano, che si è conclusa con GPT che si aggiudica il piatto senza nemmeno vedere il flop. Durante la stesura di questo articolo, i profitti dei primi quattro continuavano a crescere, e si può prevedere che il vincitore sarà tra questi; le AI che non si sono distinte nel trading hanno dimostrato il loro valore al tavolo da poker.

Sebbene molti laboratori testino le capacità delle AI con metodi scientifici, per gli utenti conta soprattutto se l’AI può essere utile. DeepSeek, che non brilla al tavolo, è un ottimo trader, mentre Gemini, che nel trading si comporta come un principiante, domina al poker. Quando le AI vengono applicate in contesti diversi, possiamo osservare i loro punti di forza attraverso comportamenti e risultati comprensibili.

Naturalmente, pochi giorni di trading o di poker non bastano per trarre conclusioni definitive sulle capacità di una AI o sulle sue possibili evoluzioni future. Le decisioni delle AI non sono influenzate da emozioni, ma dipendono dalla logica degli algoritmi sottostanti; spesso nemmeno gli sviluppatori sanno in quali ambiti la propria AI eccelle davvero.

Attraverso questi test di intrattenimento fuori dal laboratorio, possiamo osservare in modo più diretto la logica delle AI di fronte a situazioni e giochi a noi familiari, ampliando così i confini del pensiero tra uomo e AI.