如何在Windows 10平台部署自己的deepseek!

在 Windows 10 上本地部署 DeepSeek 开源模型（如 `deepseek-llm-7b-chat`），以下是详细步骤：

---

一、准备工作

1. 硬件要求

- 内存：至少 16GB（推荐 32GB 以上，7B 模型需 14GB 显存）。

- 显卡：NVIDIA 显卡（推荐 RTX 3060 以上，支持 CUDA）。

- 硬盘：至少 30GB 可用空间。

2. 软件安装

1. Python 3.8+

- 下载地址：[Python官网](
https://www.python.org/downloads/)

- 安装时勾选 “Add Python to PATH”。

2. Git

- 下载地址：[Git for Windows](
https://git-scm.com/download/win)

- 安装时选择默认选项。

3. CUDA 和显卡驱动（如果使用 GPU）

- 安装最新版 [NVIDIA 驱动](
https://www.nvidia.com/Download/index.aspx)。

- 安装 [CUDA Toolkit 11.8](
https://developer.nvidia.com/cuda-11-8-0-download-archive)（需注册账号）。

---

二、部署步骤

1. 下载代码和模型

1. 克隆仓库

打开 PowerShell 或 CMD，运行：

```powershell

git clone https://github.com/deepseek-ai/deepseek-LLM.git

cd deepseek-LLM

```

2. 下载模型权重

- 访问 Hugging Face 模型页：[deepseek-llm-7b-chat](
https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat)

- 点击 “Download” → “Download all files”（需注册 Hugging Face 账号）。

- 将下载的模型文件放在项目目录下的 `
./models/deepseek-llm-7b-chat` 文件夹中。

---

2. 配置虚拟环境

1. 创建虚拟环境

```powershell

python -m venv myenv

```

2. 激活虚拟环境

```powershell

.\myenv\Scripts\activate

```

3. 安装依赖库

```powershell

pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cu118 如果使用 CUDA 11.8

pip install -r requirements.txt

```

---

3. 运行模型

1. 编写测试脚本

在项目目录下新建文件 `run.py`，写入以下代码：

```python

from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "
./models/deepseek-llm-7b-chat" 模型路径

tokenizer = AutoTokenizer.from_pretrained(model_path)

model =
AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") 自动选择 GPU/CPU

prompt = "你好，请写一首关于冬天的诗。"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(inputs, max_length=100)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

```

2. 执行脚本

```powershell

python run.py

```

三、常见问题解决

1. CUDA 不可用

- 检查显卡驱动：确保安装了最新 NVIDIA 驱动。

- 验证 PyTorch CUDA 支持：

```python

import torch

print(torch.cuda.is_available()) 应输出 True

```

2. 内存不足

- 降低精度：加载模型时添加参数 `torch_dtype=torch.float16`。

- 使用 CPU：设置 `device_map="cpu"`（速度极慢，仅测试用）。

3. 模型路径错误

- 确保模型文件夹包含以下文件：

```

config.json

model.safetensors

tokenizer.json

```

四、替代方案（无 GPU 用户）

如果本地配置不足，可直接调用 DeepSeek API：

1. 注册 [DeepSeek 平台](
https://platform.deepseek.com/)，获取 API Key。

2. 安装依赖：

```powershell

pip install requests

```

3. 调用代码示例：

```python

import requests

api_key = "你的API_KEY"

headers = {"Authorization": f"Bearer {api_key}"}

data = {

"model": "deepseek-chat",

"messages": [{"role": "user", "content": "你好！"}]

}

response = requests.post("https://api.deepseek.com/v1/chat/completions", json=data, headers=headers)

print(response.json()["choices"][0]["message"]["content"])

```

五、参考链接

- DeepSeek 官方 GitHub：[deepseek-LLM](
https://github.com/deepseek-ai/deepseek-LLM)

- Hugging Face 模型库：[deepseek-llm-7b-chat](
https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat)