揭秘 相关话题

大模子作念奥赛题行云活水，简便的数数却屡屡翻车的原因找到了。 谷歌的一项新商榷，发现大模子不会数数的原因，并不是简便的tokenizer所致，而是莫得迷漫的空间来存储用于计数的向量。 数出一段话中某个单词出现的次数，这样简便的任务不错难倒好多大模子，GPT-4o、Claude 3.5也无法避免。 若是再进一步，思要找到出现频率最高的一个词，更是难如登天，即便能蒙对给出的具体数目亦然错的。 有东谈主觉得是词汇的token化导致了大模子看到的“词”和咱们的看法不一致，但论文标明，骨子情况并不是这样