AI领域的新速度之王Samba-1 Turbo:每秒1084 个token
摘要:
发生在近期的封号潮或让很多私域运营团队意识到要寻找和确立新的私域运营策略寻找将风险分散的方法他们也开始尝试接触新的运营工具往往危机之中也蕴藏着转机这月日...
发生在近期的封号潮,或让很多私域运营团队意识到,要寻找和确立新的私域运营策略,寻找将风险分散的方法,他们也开始尝试接触新的运营工具。往往危机之中也蕴藏着转机,这
5月29日 消息: 厂商最新推出的AI芯片表现出色,被称为AI领域的新速度之王。据外部机构Artificial Analysis独立测试结果显示,Samba-1Turbo在Llama3Instruct(8B)上的输出速度达到每秒1,084个token,创下了目前为止最快的记录。这一速度比MetaAI的Llama3Instruct(8B)API提供商的中位速度快8倍以上,甚至超越了之前推理速度最快的Groq。
Samba-1Turbo芯片是SambaNova的第四代设计,采用台积电的制造,具有支持更大模型的潜力,例如Llama3400B+。Artificial Analysis还验证了在Samba-1Turbo上运行的Llama3Instruct(8B)通过MMLU基准测试,质量得分与全FP16精度一致。
Samba-1Turbo的出现引发了业界的关注和讨论,被称为AI领域的新宠。该款AI芯片的性能表现令人惊叹,有望为应用带来全新的发展可能性。AI领域的竞争愈发激烈,Samba-1Turbo的问世必将为SambaNovaAI赢得更多市场份额。
SambaNova 目前尚未公开提供无服务器 API,但您可以通过他们的聊天界面试用他们的系统。
获取*体验地址