江苏龙网

  1. 主页 > 生活百科 > >

国产|一块3090单挑180亿参数大模型：国产开源项目这回杀疯了( 三 )


领衔者 ， 正是LAMB优化器的提出者尤洋 。
国产|一块3090单挑180亿参数大模型：国产开源项目这回杀疯了
文章图片

他曾以第一名的成绩保送清华计算机系硕士研究生 ， 后赴加州大学伯克利分校攻读CS博士学位 。
拿过IPDPS/ICPP最佳论文、ACM/IEEE George Michael HPC Fellowship、福布斯30岁以下精英（亚洲 2021）、IEEE-CS超算杰出新人奖、UC伯克利EECS Lotfi A. Zadeh优秀毕业生奖 。
在谷歌实习期间 ， 凭借LAMB方法 ， 尤洋曾打破BERT预训练世界纪录 。
据英伟达官方GitHub显示 ， LAMB比Adam优化器快出整整72倍 。微软的DeepSpeed也采用了LAMB方法 。
2021年 ， 尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司 。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校；拥有Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名厂商工作经历 。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资 。
国产|一块3090单挑180亿参数大模型：国产开源项目这回杀疯了
文章图片

潞晨CSO Prof. James Demmel为加州大学伯克利分校杰出教授、ACM/IEEE Fellow ， 同时还是美国科学院、工程院、艺术与科学院三院院士 。
传送门：https://github.com/hpcaitech/ColossalAI


推荐阅读


上一篇：纳米技术在生活中的应用都有哪些？

下一篇：《摩尔庄园》手游鱼卖给谁？