我的电脑配置如下:(如果使用这个方案请确认电脑配置,可更换其他模型部署)
设备名 DESKTOP-GLIC41N 处理器 AMD Ryzen Threadripper PRO 3955WX 16-Cores 3.90 GHz 机带 RAM 64.0 GB (63.9 GB 可用) 存储 3.64 TB HDD WDC WD40EZAZ-00SF3B0, 932 GB SSD Samsung SSD 980 1TB 显卡 NVIDIA GeForce RTX 2080 Ti (11 GB) 设备 ID A5183A5D-1EB8-4E8C-82C9-598FE9ED2EEE 产品 ID 00330-80000-00000-AA181 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入
想要本地部署一个ai模型,满足论文的撰写、总结等功能
采用:docker+ollama+本地 Qwen2.5:14b +openwebui的方案 实现功能:
<aside> 💡
选择模型:qwen2.5:14b 输入:帮我写一段关于XX的综述
上传 PDF 论文 输入:总结这篇论文的核心观点
</aside>
不能泄露论文内容
具体步骤:
实际操作: