首页
推荐
关注
语音
文本
图像
大模型
发帖
登录
首页
话题
发帖
首页
推荐
关注
语音
文本
图像
大模型
消息
登录
最新
推荐
L
Lil2J
在学大模型
关注
个人成就
积分
5
话题
1
评论
0
注册排名
176
个人资料
编辑资料
昵称
Lil2J
签名
在学大模型
主页
https://github.com/jiahe7ay
粉丝
0
更多
没有更多内容了
粉丝
关注
0
更多
没有更多内容了
关注
话题
文章
L
L
Lil2J
[浏览需要 0 积分] 发布于2024-03-02 21:45:37
从0开始预训练1.4b中文大模型实践
简介 这篇文章主要记录了我个人对 1.4b 中文大模型的实践复现过程。我选择了 QWEN 作为基座模型,并训练了一个参数量达到 1.4b 的预训练模型,其中涉及的训练 token 数量约为 8b。在此过程中,我使用了两张 a100 80g 显卡,并耗费了大...
赞
3
评论
浏览
1667
默认分类
到底啦