当前位置：网站首页 > 技术文章 > 正文

用LLaMA-Factory对Deepseek大模型进行微调-安装篇

itomcoil 2025-05-14 14:08 14 浏览

前面的文章已经把知识库搭建好了，还通过代码的形式做完了 RAG 的实验。接下来呢，咱们要通过实际操作来完成 Deepseek 的另一种优化办法——微调。

一、环境

因为我这台电脑性能不太好，所以就在 AutoDL 网站上租了一个容器实例，是按量计费的，一个小时两块多，感觉还能接受。选择情况是这样的：

上面是我用的实例配置，你们可以根据自己需要选择不同的配置，不过GPU显存最少要选择24G以上。

开通后的实例

用VsCode连接远程实例，安装SSH扩展，使用实例提供的SSH登录指令和密码进行登录

登录成功后，在终端控制台能看到AutoDL的使用说明

按照使用提示将默认目录切换到/root/autodl-tmp

cd /root/autodl-tmp

二、微调框架Llama-Factory

Llama-Factory 作为一个开源的微调框架，为开发者提供一个简便、高效的工具，以便在现有的预训练模型基础上，快速适应特定任务需求，提升模型表现。它支持多种流行的语言模型，如 LLaMA、BLOOM、Mistral、Baichuan 等。此外，Llama-Factory 配备了用户友好的 LlamaBoard Web 界面，降低了使用门槛，使得即便是没有深厚编程背景的用户，也能轻松进行模型微调和推理操作。

安装Llama-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

搭建Python环境，由于镜像环境已经安装conda,可以直接使用

conda create -n llama-factory python=3.10
conda activate llama-factory
pip install -e ".[torch,metrics]"

运行Llama-Factory

llamafactory-cli webui

VsCode能直接通过端口转发连接到远程实测的服务，所以选择在浏览器里打开就行，最后看到的Web界面如下：

三、通过HuggingFace下载模型

本次测试使用的是Huggingface上的模型文件，用
DeepSeek-R1-Distill-Qwen-1.5B进行微调，由于网络原因无法访问，我们使用国内的镜像

设置环境

mkdir Hugging-Face  #创建一个文件夹用户存放模型文件
export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/root/autodl-tmp/Hugging-Face
pip install -U huggingface_hub

下载模型

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

以上已经完成微调前所有环境的安装准备工作，接下来就可以Llama-Factory的Web界面进行微调，具体怎么操作等本人试验后，再继续分享！

conda删除镜像源

上一篇：碎片时间学Python-03包管理器
下一篇：Deepseek实战:企业别只会用Ollama，也可以用SGLang

用LLaMA-Factory对Deepseek大模型进行微调-安装篇

相关推荐

我用 1 个 2 手计算器换了 3 台 MacBook(上)

零基础也能搞定!DeepSeek大模型本地安装全攻略

Win7中同时安装python2和python3的方法

Python三目运算符(三元运算符)用法详解

PS零基础入门教程:Photoshop 2024工具详解—标尺工具

按颜色计数、求和、算平均值或最大值?学这个函数就够啦!

SpringBoot中使用LocalDateTime踩坑记录

中药古今研究:人参

「mysql第二次安装不了」mysql安装失败怎么清理干净?

最全的linux安装软件方法 linux安装软件流程