当前位置：网站首页 > 技术文章 > 正文

一文教会你，搭建AI模型训练与微调环境，包学会的!

itomcoil 2025-06-24 14:26 12 浏览

一、硬件要求

显卡配置：需要Nvidia显卡，至少配备8G显存，且专用显存与共享显存之和需大于20G。

二、环境搭建步骤

1. 设置文件存储路径

非系统盘存储：建议将非安装版的环境文件均存放在非系统盘（如E盘）中，以便于重装或移植。
自定义Path文件夹：在E盘创建mypath文件夹，并将其添加到用户环境变量Path中。

2. 下载并安装必要软件

CMake：下载CMake的Windows x64 ZIP文件，解压至E:\environment\cmake，并将bin目录添加到Path中。
Visual Studio：下载并安装Community版Visual Studio 2022 IDE，选择桌面C++板块内容进行安装。
Anaconda：下载新版Anaconda安装程序，安装时勾选将Anaconda添加到环境变量等选项。
Git：从官方渠道下载安装Git。
CUDA Toolkit：安装CUDA Toolkit 12.1版本，安装过程中仅选择CUDA驱动和工具包。

3. Python环境配置

使用uv管理Python包：将uv所有文件安装至E:\uv下，并添加Python 3.11独立文件。
创建虚拟环境：在LLaMA-Factory目录下，使用uv venv -p 3.11命令创建Python虚拟环境。
安装依赖：使用uv pip install -e ".[torch,metrics]"命令安装LLaMA-Factory的依赖项。

4. 安装训练加速与量化工具

flash-attention：下载并安装flash-attention训练加速库。
hqq：安装hqq用于量化。

5. 安装PyTorch

根据CUDA版本安装适配的PyTorch版本。使用全局代理加速时，可直接通过pip安装；无全局代理时，需先下载对应的wheel文件再安装。

6. 配置数据集与参数

数据集准备：将自定义数据集命名为alpaca_dataset.json，并放置在LLaMA-Factory\data目录下。
参数配置：在LLaMA-Factory\data\dataset_info.json文件中添加自定义数据集配置，并将.yaml参数配置文件放入LLaMA-Factory\config目录下。

7. 设置环境变量与启动Web界面

环境变量设置：在E:\mypath文件夹内新建llamafactory-cli.bat文件，并配置相关环境变量与启动命令。
启动Web界面：通过命令行输入llamafactory-cli webui启动LLaMA-Factory的Web界面。

三、模型微调与部署

1. 下载基础模型

从模型库下载所需的基础模型（如Qwen2.5-7B-Instruct），并解压至E:\AI\models目录中。

2. 在Web界面中进行模型微调

配置参数：在Web界面中，选择相应的配置路径、载入训练参数，并填写本地模型路径。
设置训练选项：配置量化等级、量化方法、加速方式、数据集、训练轮数、最大样本数等参数。
开始训练：点击“开始”按钮进行模型微调，训练结束后查看损失图以评估训练效果。

3. 部署微调后的模型

安装Ollama：下载并安装Ollama，并重启电脑。
拉取模型：使用Ollama拉取基础模型。
格式转换：使用llama.cpp中的工具将微调后的模型检查点转换为gguf格式。
创建新模型：在Ollama中创建新模型，并配置相关参数与gguf文件路径。

至此，微调后的模型已成功部署，并可通过Ollama进行调用与使用。

anaconda 环境变量

上一篇：使用scikit-learn为PyTorch 模型进行超参数网格搜索
下一篇：本地部署开源版Manus+DeepSeek创建自己的AI智能体

相关推荐

selenium(WEB自动化工具): 定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaF...

开发利器丨如何使用ELK设计微服务中的日志收集方案?: 【摘要】微服务各个组件的相关实践会涉及到工具，本文将会介绍微服务日常开发的一些利器，这些工具帮助我们构建更加健壮的微服务系统，并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...

高并发系统设计:应对每秒数万QPS的架构策略: 当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时，大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...

2025 年每个 JavaScript 开发者都应该了解的功能: 大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...

JavaScript Array 对象: Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0，第二个索引值为1，以此类推。更多有...

Gemini 2.5编程全球霸榜，谷歌重回AI王座，神秘模型曝光，奥特曼迎战: 刚刚，Gemini2.5Pro编程登顶，6美元性价比碾压Claude3.7Sonnet。不仅如此，谷歌还暗藏着更强的编程模型Dragontail，这次是要彻底翻盘了。谷歌，彻底打了一场漂亮的翻...

动力节点最新JavaScript教程(高级篇)，深入学习JavaScript: JavaScript是一种运行在浏览器中的解释型编程语言，它的解释器被称为JavaScript引擎，是浏览器的一部分，JavaScript广泛用于浏览器客户端编程，通常JavaScript脚本是通过嵌...

一文看懂Kiro，其 Spec工作流秒杀Cursor，可移植至Claude Code: 当Cursor的“即兴编程”开始拖累项目质量，AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维：需求-设计-任务三件套一次生成，文档与代码同步落地，复杂项目不...

「晚安·好梦」努力只能及格，拼命才能优秀: 欢迎光临，浏览之前点击上面的音乐放松一下心情吧！喜欢的话给小编一个关注呀！Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...

JavaScript 中 some 与 every 方法的区别是什么?: 大家好，很高兴又见面了，我是姜茶的编程笔记，我们一起学习前端相关领域技术，共同进步，也欢迎大家关注、点赞、收藏、转发，您的支持是我不断创作的动力在JavaScript中，Array.protot...

10个高效的Python爬虫框架，你用过几个?: 小型爬虫需求，requests库+bs4库就能解决；大型爬虫数据，尤其涉及异步抓取、内容管理及后续扩展等功能时，就需要用到爬虫框架了。下面介绍了10个爬虫框架，大家可以学习使用！1.Scrapysc...

12个高效的Python爬虫框架，你用过几个?: 实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实...

pip3 install pyspider报错问题解决: 运行如下命令报错:>>>pip3installpyspider观察上面的报错问题，需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...

PySpider框架的使用: PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统，它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...

「机器学习」神经网络的激活函数、并通过python实现激活函数: 神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下：左图中，偏置b没有被画出来，如果要表示出b，可以像右图那样做。用数学式来表示感知机：上面这个数学式子可以被改写：...

一周热门

最近发表

首页
收录
顶部