觀點網訊:AI模型評測機構Artificial Analysis宣佈推出AA-3D基準測試,用於評估AI模型生成互動3D網頁場景的能力。
據知情人士透露,在該測試中,每個模型作為助理於離線沙盒中運行,將一段書面概要轉換為three.js的網頁場景,three.js為使用JavaScript編寫3D網站的工具。隨後由人類組成的評審團在不知道哪個模型負責製作哪個場景的情況下進行對比並評分。
AA-3D包含地標、機器、生物等7個大類別,共55個書面概要試題,試題描述場景應如何展示以及用戶如何與網站互動。以生物類別為例,其中一個指引為“創造一個精確解剖結構展示,其關節可鬱動的恐龍骨架,使其在三維場景中行走”。
評分方面,該測試採用人類評審團盲測方式,涉及超過1000名評審員、超過10000票有效計數,按Elo評分對21個模型進行排名。
成本方面,AA表示每個場景成本為0.20美元至32.08美元不等,視所用模型而定。其中每個任務平均成本為0.20美元的GPT-6 Luna(max)為眾模型中最便宜,排名第8;Anthropic的Claude Sonnet 5.5(Max,Default Fallback)每個任務平均成本為14.63美元,以Elo評分1194分並列第一。
Claude Sonnet 5.5的得分區間與3個模型重疊,並列第一。
