百度360必应搜狗淘宝本站头条
0xalinux查看python版本信息python怎么改成中文python安装opencv库1到10的阶乘之和是多少
当前位置：网站首页 > 技术文章 > 正文

用LLaMA-Factory对Deepseek大模型进行微调-安装篇

itomcoil 2025-05-14 14:08 20 浏览

前面的文章已经把知识库搭建好了，还通过代码的形式做完了 RAG 的实验。接下来呢，咱们要通过实际操作来完成 Deepseek 的另一种优化办法——微调。

一、环境

因为我这台电脑性能不太好，所以就在 AutoDL 网站上租了一个容器实例，是按量计费的，一个小时两块多，感觉还能接受。选择情况是这样的：

上面是我用的实例配置，你们可以根据自己需要选择不同的配置，不过GPU显存最少要选择24G以上。

  • 开通后的实例
  • 用VsCode连接远程实例，安装SSH扩展，使用实例提供的SSH登录指令和密码进行登录
  • 登录成功后，在终端控制台能看到AutoDL的使用说明
  • 按照使用提示将默认目录切换到/root/autodl-tmp
cd /root/autodl-tmp

二、微调框架Llama-Factory

Llama-Factory 作为一个开源的微调框架，为开发者提供一个简便、高效的工具，以便在现有的预训练模型基础上，快速适应特定任务需求，提升模型表现。它支持多种流行的语言模型，如 LLaMA、BLOOM、Mistral、Baichuan 等。此外，Llama-Factory 配备了用户友好的 LlamaBoard Web 界面，降低了使用门槛，使得即便是没有深厚编程背景的用户，也能轻松进行模型微调和推理操作。

  • 安装Llama-Factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
  • 搭建Python环境，由于镜像环境已经安装conda,可以直接使用
conda create -n llama-factory python=3.10
conda activate llama-factory
pip install -e ".[torch,metrics]"
  • 运行Llama-Factory
llamafactory-cli webui

VsCode能直接通过端口转发连接到远程实测的服务，所以选择在浏览器里打开就行，最后看到的Web界面如下：

三、通过HuggingFace下载模型

本次测试使用的是Huggingface上的模型文件，用
DeepSeek-R1-Distill-Qwen-1.5B进行微调，由于网络原因无法访问，我们使用国内的镜像

  • 设置环境
mkdir Hugging-Face  #创建一个文件夹用户存放模型文件
export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/root/autodl-tmp/Hugging-Face
pip install -U huggingface_hub
  • 下载模型
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

以上已经完成微调前所有环境的安装准备工作，接下来就可以Llama-Factory的Web界面进行微调，具体怎么操作等本人试验后，再继续分享！

相关推荐

selenium(WEB自动化工具)

定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaF...

开发利器丨如何使用ELK设计微服务中的日志收集方案?

【摘要】微服务各个组件的相关实践会涉及到工具，本文将会介绍微服务日常开发的一些利器，这些工具帮助我们构建更加健壮的微服务系统，并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...

高并发系统设计:应对每秒数万QPS的架构策略

当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时，大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...

2025 年每个 JavaScript 开发者都应该了解的功能

大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...

JavaScript Array 对象

Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0，第二个索引值为1，以此类推。更多有...

Gemini 2.5编程全球霸榜，谷歌重回AI王座，神秘模型曝光，奥特曼迎战

刚刚，Gemini2.5Pro编程登顶，6美元性价比碾压Claude3.7Sonnet。不仅如此，谷歌还暗藏着更强的编程模型Dragontail，这次是要彻底翻盘了。谷歌，彻底打了一场漂亮的翻...

动力节点最新JavaScript教程(高级篇)，深入学习JavaScript

JavaScript是一种运行在浏览器中的解释型编程语言，它的解释器被称为JavaScript引擎，是浏览器的一部分，JavaScript广泛用于浏览器客户端编程，通常JavaScript脚本是通过嵌...

一文看懂Kiro，其 Spec工作流秒杀Cursor，可移植至Claude Code

当Cursor的“即兴编程”开始拖累项目质量，AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维：需求-设计-任务三件套一次生成，文档与代码同步落地，复杂项目不...

「晚安·好梦」努力只能及格，拼命才能优秀

欢迎光临，浏览之前点击上面的音乐放松一下心情吧！喜欢的话给小编一个关注呀！Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...

JavaScript 中 some 与 every 方法的区别是什么?

大家好，很高兴又见面了，我是姜茶的编程笔记，我们一起学习前端相关领域技术，共同进步，也欢迎大家关注、点赞、收藏、转发，您的支持是我不断创作的动力在JavaScript中，Array.protot...

10个高效的Python爬虫框架，你用过几个?

小型爬虫需求，requests库+bs4库就能解决；大型爬虫数据，尤其涉及异步抓取、内容管理及后续扩展等功能时，就需要用到爬虫框架了。下面介绍了10个爬虫框架，大家可以学习使用！1.Scrapysc...

12个高效的Python爬虫框架，你用过几个?

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实...

pip3 install pyspider报错问题解决

运行如下命令报错:>>>pip3installpyspider观察上面的报错问题，需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...

PySpider框架的使用

PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统，它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...

「机器学习」神经网络的激活函数、并通过python实现激活函数

神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下：左图中，偏置b没有被画出来，如果要表示出b，可以像右图那样做。用数学式来表示感知机：上面这个数学式子可以被改写：...

一周热门
最近发表
标签列表