• 发文
  • 评论
  • 微博
  • 空间
  • 微信

再与ChatGPT正面交锋?Meta推出Llama 3,号称“最强开源大模型”

热点科技 2024-04-21 11:24 发布于上海 发文

Meta发布最新开源模型Llama 3,号称“有史以来最强大的开源大模型”。在Llama 3发布后没多久,就破纪录地登顶了全球开源AI社区Hugging Face排行榜,还使Meta股价在大盘小跌的情况下上涨了1.54%,影响力可见一斑。

据了解,此次Meta推出的Llama 3模型共有8B和70B两个版本,大版本的Llama 3将有超过4000亿参数,相比上一代有显著提升。Meta的CEO马克·扎克伯格表示,“根据我们目前看到的基准测试结果,Llama 3无疑是市场上目前免费提供的同类产品中最智能、性能最出色的大模型。”

官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据新型了训练,这比Llama 2使用的数据集大7倍,代码也多出4倍,支持的8K上下文长度也是Llama 2容量的两倍。 

Llama 3与竞争对手的对比

Meta还在Llama 3的开发中采用了多种创新技术,包括数据并行化、模型并行化和管道并行化,极大提高了训练效率。同时,Meta也高度重视模型的安全性,推出了包括Llama Guard 2、Code Shield和CyberSec Eval 2在内的新版信任和安全工具,确保模型不会输出有害内容。

Meta还计划在未来几个月陆续推出更多功能丰富的Llama 3模型,包括支持多语种的版本,Llama 3将会被深度整合到Meta主要平台的搜索功能中,包括Facebook、Instagram、WhatsApp和Messenger等,升级后的Meta AI还将能够直接对链接内容进行简单总结。

此外,Meta选择以开源的方式发布Llama 3,意味着全球开发者都可以免费使用并改进这一模型。不过作为对比的是,百度创始人李彦宏也在近期表示,开源模型将会越来越落后,“大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。”

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    已认证
    热点科技

    2023年度爆发力创作者...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码