侧边栏壁纸
博主头像
Me博客 | 记录点点滴滴博主等级

大吉大利⛵️

  • 累计撰写 19 篇文章
  • 累计创建 58 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

Me
Me
2024-04-23 / 0 评论 / 0 点赞 / 470 阅读 / 4407 字
温馨提示:
本文最后更新于 2024-07-09,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

GK52DvgWgAAadXE-2.webp-yezb.jpg

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑 【点击下载

 

 

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!【点击下载

提醒:如果你不在海外,实在下载不了模型,稍后会把Llama 3 大模型上传到网盘 【点击下载稍后更新…..

 

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 (2.1)设置环境变量

API端口:
变量:OLLAMA_HOST
值:0.0.0.0:11434
模型存放路径:
变量:OLLAMA_MODELS
值:D:\xxxxx

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

0
博主关闭了所有页面的评论