算力直降97%，GPT-3存储只用20MB？！这篇新论文火了

摘要： 之家月日消息乘联分会秘书长崔东树今日发文称年月氢燃料车保险数据量台销量增长环比下降崔东树表示与锂电池产业综合相比我国燃料电池核心原材料及部件水平以及整车耐用性及寿命仍与世界先进水平...

IT之家 9 月 28 日消息，乘联分会秘书长崔东树今日发文，称 2024 年 8 月氢燃料车保险数据量 784 台，销量增长 35%，环比下降 18%。崔东树表示，与锂电池产业综合相比，我国燃料电池核心原材料及部件水平、以及整车耐用性及寿命仍与世界先进水平有一定差距。IT之家注意到，购车成本与加氢成本高导致（氢燃料电池车）经济性...

一水 发自 凹非寺
量子位 | 公众号 QbitAI

好家伙！1750亿参数的GPT-3只需2 B存储空间了？！

基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。

最近，从事机器学习的Will小哥发了一篇论文，直接引来几十万网友or同行围观。

他提出了一项名为“noise_step”的新技术，允许模型直接在1.58-bit低精度下训练，且无需反向传播或动量（Momentum）加速，从而降低算力和存储消耗。

对此，网友们也纷纷发来祝贺，表示很高兴看到模型越来越具有性价比。

话不多说，来看具体内容。