OpenAI, Anthropic və Google kimi üç böyük AI nəhənginin flagman modelləri eyni səhnədə üz-üzə gələndə, hansı robotu daha yaxşı idarə edir?
20 oktyabr tarixində Mifeng Technology, Hugging Face, NVIDIA, Tsinghua Universiteti və dünyanın 20-yə yaxın universiteti, şirkəti və elmi-tədqiqat qurumu tərəfindən birgə təsis edilən embodied arena RoboColiseum bu dövrün qiymətləndirmə nəticələrini açıqladı: Claude Opus 5.5 dörd flagman model arasında ümumi reytinqdə birinci yeri tutdu, GPT-6 Astra onu yaxından izlədi.
Alt bölgülərə görə, dörd flagman model arasında GPT-6 Astra təlimat izləmə və ümumi pozuntu uyğunlaşmasında liderdir, təlimat izləmə balı 99.35-ə çatır; Opus məkan anlama və ümumi əməliyyatlarda daha yaxşı performans göstərir və ən az tam tur qiymətləndirmə token istehlakı ilə flagman qrupunda ümumi birinciliyi qazanıb. Şəkil keyfiyyətinin pozulduğu testlərdə GPT-6.1 Sol digər üç modeldən açıq şəkildə geri qalır ki, bu da müxtəlif modellərin vizual məlumat dəyişikliklərinə qarşı sabitlik fərqlərini göstərir.
Lakin bu dövrün ümumi reytinqində ilk iki yeri hələ də embodied strategiya modelləri tutur, xüsusilə ümumi əməliyyat ölçüsündə üstünlüyünü qoruyur.
Bu eyni səhnədəki yarış sənayeyə ümumi böyük modellərlə embodied strategiya modellərinin qabiliyyət üstünlüklərini və çatışmazlıqlarını aydın görmək üçün birbaşa istinad təqdim edir.
RoboColiseum təlimat izləmə, məkan anlama, pozuntu uyğunlaşması və ümumi əməliyyatlar üzrə dörd qabiliyyət alt reytinqi, 78 yüksək dəqiqlikli simulyasiya qiymətləndirmə tapşırığı təqdim edir, həm modellərin alt göstəricilərini əks etdirir, həm də tapşırığın tamamlanma addımlarını və uğursuzluq yerlərini qeyd edərək tərtibatçılara modelin qabiliyyət çatışmazlıqlarını tez müəyyən etməyə kömək edir.
Birgə təsisçi kimi Mifeng RoboColiseum-a yüksək dəqiqlikli obyekt aktivləri və simulyasiya səhnələri təqdim edir, mürəkkəb robot əməliyyat tapşırıqlarının qiymətləndirmə mühitinin qurulmasını dəstəkləyir və müxtəlif obyekt qarşılıqlı əlaqəsi, məkan düzümü və ətraf mühit şəraiti altında model qabiliyyəti testləri üçün əsas resurslar təmin edir.
Modelin simulyasiyadakı nəticələrinin real əməliyyat performansını əks etdirib-etdirməməsi də qiymətləndirmənin açar məqamıdır. Platformanın açıqladığı faktiki ölçmə nəticələrinə görə, RoboColiseum simulyasiya qiymətləndirməsi ilə real maşın yerləşdirmə arasındakı korrelyasiya 89.5%-ə çatır, eyni modelin simulyasiya və real dünyadakı qiymətləndirmə fərqi 10%-dən azdır ki, bu da tərtibatçıların real maşın testinə keçməzdən əvvəl model seçimi və problem müəyyənləşdirməsi üçün istinad təmin edə bilər.
Mifeng Technology "həm tam, həm yaxşı, həm də sürətli" məlumat təchizatı sistemi təqdim edir, real maşın, simulyasiya və bədənsiz olmaqla üç əsas məlumat paradiqmasını əhatə edir. Simulyasiya baxımından Mifeng obyekt aktivləri və mühit aktivləri olmaqla iki növ resurs təqdim edir, müxtəlif gündəlik əşyalar və daxili məkan səhnələrini əhatə edir, həmçinin səhnə yenidənqurması, ekspert trayektoriya məlumatlarının əldə edilməsi və qiymətləndirmə nəticələrinin vizuallaşdırılması kimi imkanlar təqdim edərək model komandalarına müxtəlif təlim və qiymətləndirmə aparmağa kömək edir.
Coliseum əslində Qədim Roma dairəvi arenasını ifadə edir, RoboColiseum bu obrazı əsas götürərək çoxölçülü sistemli qiymətləndirmə sistemi qurur, real maşın performansı ilə yüksək dərəcədə uyğun simulyasiya qiymətləndirməsi ilə embodied ağıllı modellər üçün açıq, neytral və təkraredilə bilən "arena" və "təlim meydançası" yaradır. İstənilən universitet, elmi-tədqiqat qurumu və ya müəssisə tərtibatçısı öz modelini təqdim edərək standartlaşdırılmış "imtahandan" keçə bilər. Avqustda istifadəyə verildiyi gündən bəri ölkə daxilində və xaricdə 100-dən çox komanda platformada model təlimi və qiymətləndirməsi aparıb.
RoboColiseum hazırda dünya üzrə tərtibatçılar üçün açıqdır, model komandalarını qiymətləndirmədə iştirak etməyə dəvət edirik.
