算力直降97%，GPT-3存储只用20MB？！这篇新论文火了

摘要： 在这礼拜足坛开启了国际比赛日模式各大洲的世预赛正在如火如荼的开打早上英格兰爆冷输球的情况是很多球迷没想到的也是新帅出任后的第一次失败赛后很多专业人士反思...

在这礼拜足坛开启了国际比赛日模式，各大洲的世预赛正在如火如荼的开打。早上英格兰爆冷输球的情况，是很多球迷没想到的，也是新帅出任后的第一次失败。赛后，很多专业人士反思了本场三狮军团失败的主要问题，其中....

一水 发自 凹非寺
量子位 | 公众号 QbitAI

好家伙！1750亿参数的GPT-3只需2 B存储空间了？！

基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。

最近，从事机器学习的Will小哥发了一篇论文，直接引来几十万网友or同行围观。

他提出了一项名为“noise_step”的新技术，允许模型直接在1.58-bit低精度下训练，且无需反向传播或动量（Momentum）加速，从而降低算力和存储消耗。

对此，网友们也纷纷发来祝贺，表示很高兴看到模型越来越具有性价比。

话不多说，来看具体内容。