【谷歌发布Gemma 3 QAT模型】谷歌推出 Gemma3系列的全新版本,旨在显著降低内存需求的同时,保持模型的高质量。经过 QAT 优化的 Gemma327B 模型,其显存需求从54GB 大幅降低到14.1GB,意味着用户现在可以在 NVIDIA RTX3090等消费级 GPU 上本地运行这一大型模型。通过简单的测试,配备 RTX3070的机器也能运行 Gemma3的12B 版本。https://www.aibase.com/zh/news/17362

进圈子,查看精彩内容