Deepseek本地部署指南 10步打造离线AI助手 全显卡配置方案 - 技术教程论坛 - 综合分类 - 鸿源技库网

Deepseek本地部署指南 10步打造离线AI助手 全显卡配置方案

为什么要本地部署?

  • 绝对隐私保护|敏感数据0外传
  • 永久离线运行|摆脱网络延迟/服务器卡顿
  • 自主硬件调度|根据配置灵活调整模型

部署前必看

  • 推荐配置:NVIDIA独显+16GB内存起
  • 核显方案:12代酷睿处理器起步
  • 系统要求:Win10/11或Linux最新发行版

10步极速部署教程

  1. 获取LM Studio
    官网直达:https://lmstudio.ai
    选对应系统版本|建议默认路径安装
  2. LM Studio下载

    语言设置技巧
    启动后首屏右下角切换中文界面

  3. 设置中文

    模型获取方案
    ▸ 常规渠道:需魔法访问HuggingFace
    ▸ 镜像方案:https://hf-mirror.com(搜索栏输入模型ID)

  4. 需要魔法才可以下载

    挑选部署模型

    • 推荐 32B Q4 模型 ,效果佳,笔记本 3050 4G 显卡可运行但速度慢。
    • 无 GPU:选 1.5B Q8 推理或 8B Q4 推理。
    • 4G GPU:选 8B Q4 推理。
    • 8G GPU:可选 32B Q4 推理或 8B Q4 推理。
    • 16G GPU:可选 32B Q4 推理或 32B Q8 推理。
    • 24G GPU:可选 32B Q8 推理或 70B Q2 推理。

    需要魔法才能看得到右边页面

  5. 查看已下载模型:在软件相应位置查看。
  6. 已下载目录

    选择聊天功能:进入聊天板块。
  7. 进入聊天界面

    加载模型注意避免选太高配置致内存占满卡死,可先选小配置,依电脑占用调整,进度条不动可输入数字
  8. 配置模型

    完成加载:等待模型加载完毕。
  9. 加载完毕

    开始对话:模型加载好后,即可断网对话,模型自行推理出结果。

    对话界面

无魔法解决方案:访问镜像网站https://hf-mirror.com ,在顶部搜索,务必下载 GGUF 文件,才可在 LM Studio 运行。模型选择建议同上。可在 LM Studio 内更改默认路径,选择嵌套文件夹,否则无法识别。
至此,你的本地 AI 模型部署成功!
请登录后发表评论

    没有回复内容