Înainte de lansare, GPT-4o a doborât recordurile în clasamentul chatbot sub un nume secret

Mărește (credit: Getty Images)

Luni, angajatul OpenAI William Fedus confirmat pe X că a chatbot AI misterios de vârf în topuri cunoscut sub numele de „gpt-chatbot” care a fost supus testării pe Chatbot Arena a lui LMSYS și experții frustranți era, de fapt, OpenAI GPT-4o nou anunțat Model AI. El a dezvăluit, de asemenea, că GPT-4o a depășit clasamentul Chatbot Arena, obținând cel mai mare scor documentat vreodată.

„GPT-4o este noul nostru model de frontieră de ultimă generație. Am testat o versiune pe arena LMSys ca im-also-a-good-gpt2-chatbot”, a scris Fedus pe Twitter.

Chatbot Arena este un site web în care vizitatorii conversează cu două modele aleatorii de limbaj AI unul lângă altul, fără să știe care model este care, apoi alegeți care model oferă cel mai bun răspuns. Este un exemplu perfect de benchmarking AI bazat pe vibrații, așa cum a spus cercetătorul AI Simon Willison îl numește.