千亿参数预训练语言模型YaLM 100B

[爱的天地]

YaLM 100B 是一个类似 GPT 的神经网络，用于生成和处理文本。该模型利用了 1000 亿个参数，在 800 个 A100 显卡和 1.7 TB 在线文本、书籍以及海量其他英文和俄文资源的集群上训练该模型花了 65 天时间。在下载权重之前，请确保有 200GB 的可用磁盘空间。该模型（代码基于 microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3）应该在具有张量并行性的多个 GPU 上运行。它在 4 个 (A100 80g) 和 8 个 (V100 32g) GPU 上进行了测试，能使用总计约 200GB 的 GPU 内存来正确划分权重维度（例如 16、64、128）的不同配置。

项目地址：
https://www.oschina.net/p/yalm-100b