• 发文
  • 评论
  • 微博
  • 空间
  • 微信

一款神奇的本地快速部署开源大模型的工具——ollama

飞桨PPDB 2024-04-01 13:46 发文

第一次使用ollama我就被惊艳到了,惊掉了我的下巴。

开源大模型越来越多,大有百家争鸣之势。面对层出不穷的大模型,我们如何才能快速上手体验呢?答案就是:ollama。

什么是ollama

ollama

ollama可以帮助我们在本地启动并运行大语言模型。

我们不仅可以使用Llama 2、Code Llama等模型,还可以使用自己自定义创建的模型。

ollama支持的模型

以下是ollama已经支持的开源大模型,大家可以根据需要自行体验。

gemmallama2mistralmixtralcommand-rllavacodellamadolphin-mixtralqwenllama2-uncensoredmistral-openorcadeepseek-coderphinous-hermes2orca-minidolphin-mistralwizard-vicuna-uncensoredvicunanomic-embed-texttinydolphinllama2-chinese...

太多了,就不再一一罗列了,几乎涵盖了所有的开源大模型

安装

ollama支持macOS、Linux和Windows

以Linux为例,在终端执行命令:

curl -fsSL https://ollama.com/install.sh | sh

安装完成以后,验证是否安装成功:

ollama -v

如图,则表示已经安装成功了。

快速开始查看本地模型列表ollama list

拉取需要的模型ollama pull llama2

再次查看本地模型列表

由图可知,llama2模型已经下载到本地了

注意,不知道大家有没有发现,整个过程是不是和使用docker有些像呢。

运行模型ollama run llama2

当出现Send a message的提示时,说明模型已经成功启动了,我们就可以在终端使用大模型了。

测试模型

要求大模型为爱人写一封信,看看效果吧

My dearest,

As I sit here thinking of you, my heart fills with joy and love. Every moment I spend away from you

feels like an eternity, and I can't wait to be reunited with you. Your touch, your smile, your

laughter - everything about you makes me feel alive and complete.

I dream of the day when we can hold each other close again, feel each other's warm embrace, and lose

ourselves in the depths of our love. Until then, know that you are always on my mind and in my heart,

and that I will love you forever and always.

Yours always,

[Your Name]

再让大模型翻译成中文

我的愛,

每次思考你时,我的心都会满满喜悦和爱。在与你分享的每一刹点时,我就会感到无比不可或缺。你的接觸、你的笑容、你的嘻唱──都能使我感到生命中的全新感受和完整。

我梦想在与你重返时,能够拥抱你,感受到你的温暖,并追逐在我们之间的爱心。 Until then, 知道你一直是我的心中的 主人,和我会永不离弃你的爱。

永远 yours,

[你的名字]

整个体验过程相当流畅,在此之前,我很难想象体验开源模型到底要经历什么(不堪回忆)。现在则只要大约十分钟就可以,关键是几十个开源大模型都可以畅玩。

需要注意,从安装到下载模型,速度都非常快,如果你在体验过程中发现非常慢,则不妨试试科学上网。

进阶

ollama带给我们的神奇之处还远不止上述内容,还有更多的能力需要大家去进一步探索学习。如果你已经被ollama深深吸引,可以到ollama官网学习。

关注我,回复:ollama,获取ollama官方地址。

关注我,学习开源技术:

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    已认证
    飞桨PPDB

    大数据领域优质创作者...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码