大家好，我是章北海大模型训练动辄几千个 A100，几个月的训练，上亿美元的成本。像 GPT-4o 这样的模型训练成本约为 1 亿美元，Anthropic 最新严打的大模型训练成本可能高达 10 亿美元。前段时间震惊海外的 DeepSeek V3 最亮眼的是大幅压缩的预训练成本，也使用了 2000 多个 H800GPU、2 个月时间和 550 万美元。训练模型这事儿跟普通人太过遥远。。。本地部署做做推理还稍微能拼一拼众所知识，模型参数越大、精度越高，做推理时所需的显卡性能越强（显存、算力、带宽）... [2025-01-22]