×
Falcon
2023-12-10 10:13
除了视频质疑之外,也有用户在使用中发现,在一些情况下,Gemini并没有正确反映真实的情况,例如,有用户测试后发现,对于2023年奥斯卡获奖者,Gemini Pro错误地表示最佳男主角是布兰登·格里森(Brendan Gleeson),而不是真正的得主布兰登·弗雷泽 (Brendan Fraser)。而当被要求给出6个字母的法语单词时,Gemini Pro给出了错误答案。

此外,Google援引的MMLU测试表格显示,在Gemini Ultra 90.0%的分数下面标有CoT@32,也就是“使用了思维链提示技巧、尝试32次选最好样本”;而GPT4 86.4%分数下却是5-shot。测试还显示Gemini Ultra对于GPT4只有几个百分点的微弱优势,但GPT4的发布时间早于Gemini半年以上。

在使用行业标准5-shot MMLU的情况下,HuggingFace技术主管Philipp Schmid根据技术报告中的数据重新分析并得出结论:假设使用5-shot,Gemini的得分实为83.7%,而非90.0%;GPT4则取得86.4%的得分。

对于视频造假质疑,一位AI行业从业者对第一财经记者表示,尽管官方声称是为了简洁展现而缩短了时间,但从官方后续的博客描述来看,此前的演示视频确实存在一定的误导性,会让外界误认为Gemini的响应和交互速度、准确性如视频所演示的那样,但其实它并未展示出全部的真实。

也有投资人表示,这或许也反映出新一波AI浪潮之下Google的焦虑。此前凭借AlphaGo在围棋领域的表现,Google在全球掀起了一波AI浪潮。但这一轮AI新浪潮的风头却被OpenAI的ChatGPT抢走,Google需要一款现象级AI产品来证明自己在人工智能领域的实力。毕竟产品的真正实力不能只看宣传片,更重要的还是在实际应用中的比试,届时用户将“用脚投票”。
0

暂无评论