精易论坛

标题: 使用ollama部署本地大模型,并实现HTTP流式输出 [打印本页]

作者: xiguapihenpi 时间: 2024-11-7 16:10
标题: 使用ollama部署本地大模型,并实现HTTP流式输出
本帖最后由 a370266652 于 2024-11-7 17:15 编辑

1.进入ollama官网后下载对应的系统版本,我下载的是Windows版

2.下载完成后运行安装程序,直接点install安装,等待安装完成
3.安装完成后会弹出一个命令提示框或者按WIN+R运行CMD
4.输入 ollama run llama3.2 拉取llama3.2 3b大模型,拉取完后就可以在命令框对话了

5.大模型有很多可以根据自己需要拉取,个人觉得这4个大模型还可以,电脑配置好的也可以拉Llama 3.1:70b qwen2.5:72b这种参数多的大模型

6.写了两个调用API的简单例子给大家,一个易语言的,一个HTML

Html文件用HP-Socket开个简单的HTTP服务就可以用了.

模块论坛都可以下到,使用了
HP-Socket https://125.confly.eu.org/forum.php?mod=viewthread&tid=14726883
zyJson https://125.confly.eu.org/forum.php?mod=viewthread&tid=14719783
精易模块

附件在下面

fujian.zip (369.2 KB, 下载次数: 168)

作者: Dakk 时间: 2024-11-7 16:25
这个牛逼！！！！！！！！！

作者: zyg666 时间: 2024-11-7 16:25
这个牛逼！！！

作者: 灵海雪缘 时间: 2024-11-7 16:30

作者: 0bing0 时间: 2024-11-7 16:30
看看，学习一下~~~~！

作者: 723349703 时间: 2024-11-7 16:33
谢谢分享,感谢开源

作者: 0bing0 时间: 2024-11-7 16:36
没附件啊

作者: 华庭大哥 时间: 2024-11-7 16:37
看看，学习一下~~~~！

作者: 华庭大哥 时间: 2024-11-7 16:38
附件在哪里？

作者: 安哥 时间: 2024-11-7 16:42
谢谢分享,感谢开源

作者: xiguapihenpi 时间: 2024-11-7 16:43

kirbysxh 发表于 2024-11-7 16:38
附件在哪里？

刚才附件没传上去,现在好了

作者: xiguapihenpi 时间: 2024-11-7 16:43

0bing0 发表于 2024-11-7 16:36
没附件啊

刚才附件没传上去,现在好了

作者: 萧然 时间: 2024-11-7 16:44
大侠，请教下，怎么通过命令给大模型设定一个角色呢？

作者: 闪电 时间: 2024-11-7 18:36
谢谢你的大作，你也知道，有些地方无法上github.com，下载不了，能不能把你下载的ollama软件提供一下百du网盘惑其他国内地址？

作者: xiguapihenpi 时间: 2024-11-7 18:41

闪电发表于 2024-11-7 18:36
谢谢你的大作，你也知道，有些地方无法上github.com，下载不了，能不能把你下载的ollama软件提供一下百du网 ...

百du搜ollama第一个网址就是ollama的官网

作者: 闪电 时间: 2024-11-7 18:47

a370266652 发表于 2024-11-7 18:41
百du搜ollama第一个网址就是ollama的官网

我就是百du找到官网，也看见你上述的那个图片，点击后无法下载，直接转到github网站了，我们这无法上github网站

作者: xiguapihenpi 时间: 2024-11-7 18:57

闪电发表于 2024-11-7 18:47
我就是百du找到官网，也看见你上述的那个图片，点击后无法下载，直接转到github网站了，我们这无法上gith ...

https://pan.quark.cn/s/06618ec596d7

作者: 闪电 时间: 2024-11-7 19:04

a370266652 发表于 2024-11-7 18:57
https://pan.quark.cn/s/06618ec596d7

谢谢，正在下载

作者: wmv520 时间: 2024-11-7 19:58

谢谢分享,感谢开源

作者: 亿万 时间: 2024-11-7 20:54
谢谢分享

作者: 422768237 时间: 2024-11-8 01:19

作者: 查过 时间: 2024-11-8 06:03
感谢发布原创作品，精易因你更精彩！6666666666666

作者: 豆豆灰常开心 时间: 2024-11-8 06:08
感谢分享，很给力！~

作者: 胖子葛格 时间: 2024-11-8 09:19
感谢大神分享~！

作者: 深圳梦 时间: 2024-11-8 12:25
支持开源~！感谢分享

作者: 138LLC 时间: 2024-11-8 12:25
666666666666666

作者: fusiyon 时间: 2024-11-8 14:43
666666666666666

作者: zhangbiao 时间: 2024-11-8 22:56
感谢分享

作者: 查过 时间: 2024-11-9 06:14
感谢您对论坛的支持！

作者: 豆豆灰常开心 时间: 2024-11-9 06:19
感谢分享，很给力！~

作者: pnf 时间: 2024-11-9 10:00
支持开源~！感谢分享

作者: 光影魔术 时间: 2024-11-11 17:26
感谢分享源码

作者: abnerll 时间: 2024-11-20 15:52
感谢分享

作者: 胖子葛格 时间: 2024-11-22 08:47
感谢大神分享~！

作者: 熊不熊 时间: 2024-12-4 04:32
感谢分享，很给力！~

作者: 千狐 时间: 2024-12-13 21:46
感谢分享，很给力！~

作者: 胖子葛格 时间: 2024-12-31 09:01
感谢大神分享~！

作者: 相随 时间: 2025-1-2 12:29
楼主请问一下如何在提问前设置角色呀？

作者: liuxiweb 时间: 2025-1-3 13:43
优秀！~试试！~~

作者: qck易语言 时间: 2025-1-4 17:57
为啥他只能安装在c盘

作者: qiangzi 时间: 2025-1-27 22:35
6666hhhhhhhhhhhhhhhhhhhhhhh

作者: qiangzi 时间: 2025-1-27 22:38
好贵啊！！！！！！！！！！！！！

作者: qiangzi 时间: 2025-1-27 22:43
5快啊！！！！！！！

作者: qiangzi 时间: 2025-1-27 22:44
维持！哈哈哈哈哈哈哈哈哈哈哈哈

作者: qiangzi 时间: 2025-1-27 23:02
红红火火恍恍惚惚

作者: qiangzi 时间: 2025-1-27 23:23
没币了下载不离开

作者: q127 时间: 2025-1-28 17:22
大佬有没有api流输出形式

作者: 千狐 时间: 2025-2-5 17:39
开源精神必须支持~

作者: dancige 时间: 2025-2-5 19:37
精币不够怎么办

作者: xinfeidainxun 时间: 2025-2-8 16:19
好像不能用啊怎么回事

作者: 落花落叶 时间: 2025-3-19 04:45
感谢大神分享~！

作者: 落花落叶 时间: 2025-3-19 04:46
开源精神必须支持~

作者: palapalatwo 时间: 2025-4-4 21:33
正在寻找这方面资料，好好学习一下，谢谢分享，为楼主点赞！

作者: mywjt 时间: 2025-4-7 21:09
附件在哪里啊？

作者: 测试的用户 时间: 2025-4-17 16:26
感谢分享

作者: 2473267776 时间: 2025-4-17 16:39
感谢分享，很给力！~

作者: FBDANINGU1978 时间: 昨天 21:31
感谢大神

作者: lxn2wyf 时间: 昨天 21:41
这帖子挺实用啊，正好在研究本地部署呢！

欢迎光临精易论坛 (https://125.confly.eu.org/)