马斯克 xAI 开源 Grok-1 大模型

马斯克的人工智能公司 xAI 宣布开放下载其 3140 亿参数混合专家模型 Grok-1。
 

 
Grok-1 是一个从头开始由 xAI 训练的大型语言模型,采用混合专家模型架构,其中 25% 的权重在给定令牌上处于活跃状态。
 
该模型的基本模型权重和网络架构现已根据 Apache 2.0 许可证开放。
 
据悉,Grok-1 的预训练阶段已于 2023 年 10 月结束,目前发布的是原始基础模型检查点,未针对任何特定应用进行微调。
 
项目地址:https://github.com/xai-org/grok-1
 
磁力下载:(296.38GB)

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

 
运行环境:NVIDIA Tesla A100 80G x 16 pieces 以上即可。

THE END