一位Reddit用户询问1位模型的未来是否光明,引用了大小为1gb且功能正常的Bonsai 8b,并指出一个27b模型被压缩到了5gb。 该帖子寻求关于此类高度压缩模型主要用例的共识。 它质疑1位量化是否仍是一个遥不可及的梦想或可行的前进道路。
关于1位模型可行性和未来的Reddit讨论
译自 English → 中文
一位Reddit用户询问1位模型的未来是否光明,引用了大小为1gb且功能正常的Bonsai 8b,并指出一个27b模型被压缩到了5gb。 该帖子寻求关于此类高度压缩模型主要用例的共识。 它质疑1位量化是否仍是一个遥不可及的梦想或可行的前进道路。