10月30日消息，人工智能语言公平研究联盟上月发布的一项研究发现，AI模型处理不同语言时消耗的Token数量可能相差悬殊，研究人员将不同语言因此产生的额外成本称为隐性的分词器税，网络内容较少的语言尤其容易受到影响。

研究发现，即使是互联网上最常用的20种语言，Token消耗量也存在明显差异，最高是最低的1.5至5倍。如果将测试范围扩大到200种语言，差距还会进一步扩大。在其中一个AI模型中，不同语言的Token消耗量最多相差17倍。报告指出，班加罗尔的一家初创企业每次向AI输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高的成本。分词器税带来的问题还不只是费用上涨，消耗的Token越多，AI响应就越慢，能够有效处理的上下文内容也越少，计算资源和网络条件本就有限的地区受到的影响尤其严重。

人工智能语言公平研究联盟发现，决定Token消耗量的并不只有一种语言的使用人数，采用什么文字同样重要。现有许多分词器仍然主要针对英语等数据资源丰富的语言进行优化，根本问题在于缺乏高质量的数字化数据。业内人士认为，开放数据项目对改善这一问题十分重要，但AI实验室仍需专门改进下一代分词器的设计，让它们更好地处理这些语言和文字。