当前位置：网站首页 > 技术文章 > 正文

一文教会你，搭建AI模型训练与微调环境，包学会的!

itomcoil 2025-06-24 14:26 3 浏览

一、硬件要求

显卡配置：需要Nvidia显卡，至少配备8G显存，且专用显存与共享显存之和需大于20G。

二、环境搭建步骤

1. 设置文件存储路径

非系统盘存储：建议将非安装版的环境文件均存放在非系统盘（如E盘）中，以便于重装或移植。
自定义Path文件夹：在E盘创建mypath文件夹，并将其添加到用户环境变量Path中。

2. 下载并安装必要软件

CMake：下载CMake的Windows x64 ZIP文件，解压至E:\environment\cmake，并将bin目录添加到Path中。
Visual Studio：下载并安装Community版Visual Studio 2022 IDE，选择桌面C++板块内容进行安装。
Anaconda：下载新版Anaconda安装程序，安装时勾选将Anaconda添加到环境变量等选项。
Git：从官方渠道下载安装Git。
CUDA Toolkit：安装CUDA Toolkit 12.1版本，安装过程中仅选择CUDA驱动和工具包。

3. Python环境配置

使用uv管理Python包：将uv所有文件安装至E:\uv下，并添加Python 3.11独立文件。
创建虚拟环境：在LLaMA-Factory目录下，使用uv venv -p 3.11命令创建Python虚拟环境。
安装依赖：使用uv pip install -e ".[torch,metrics]"命令安装LLaMA-Factory的依赖项。

4. 安装训练加速与量化工具

flash-attention：下载并安装flash-attention训练加速库。
hqq：安装hqq用于量化。

5. 安装PyTorch

根据CUDA版本安装适配的PyTorch版本。使用全局代理加速时，可直接通过pip安装；无全局代理时，需先下载对应的wheel文件再安装。

6. 配置数据集与参数

数据集准备：将自定义数据集命名为alpaca_dataset.json，并放置在LLaMA-Factory\data目录下。
参数配置：在LLaMA-Factory\data\dataset_info.json文件中添加自定义数据集配置，并将.yaml参数配置文件放入LLaMA-Factory\config目录下。

7. 设置环境变量与启动Web界面

环境变量设置：在E:\mypath文件夹内新建llamafactory-cli.bat文件，并配置相关环境变量与启动命令。
启动Web界面：通过命令行输入llamafactory-cli webui启动LLaMA-Factory的Web界面。

三、模型微调与部署

1. 下载基础模型

从模型库下载所需的基础模型（如Qwen2.5-7B-Instruct），并解压至E:\AI\models目录中。

2. 在Web界面中进行模型微调

配置参数：在Web界面中，选择相应的配置路径、载入训练参数，并填写本地模型路径。
设置训练选项：配置量化等级、量化方法、加速方式、数据集、训练轮数、最大样本数等参数。
开始训练：点击“开始”按钮进行模型微调，训练结束后查看损失图以评估训练效果。

3. 部署微调后的模型

安装Ollama：下载并安装Ollama，并重启电脑。
拉取模型：使用Ollama拉取基础模型。
格式转换：使用llama.cpp中的工具将微调后的模型检查点转换为gguf格式。
创建新模型：在Ollama中创建新模型，并配置相关参数与gguf文件路径。

至此，微调后的模型已成功部署，并可通过Ollama进行调用与使用。

anaconda 环境变量

上一篇：使用scikit-learn为PyTorch 模型进行超参数网格搜索
下一篇：本地部署开源版Manus+DeepSeek创建自己的AI智能体

相关推荐

Python Qt GUI设计:将UI文件转换Python文件三种妙招(基础篇—2): 在开始本文之前提醒各位朋友，Python记得安装PyQt5库文件，Python语言功能很强，但是Python自带的GUI开发库Tkinter功能很弱，难以开发出专业的GUI。好在Python语言的开放...

Connect 2.0来了，还有Nuke和Maya新集成: ftrackConnect2.0现在可以下载了--重新设计的桌面应用程序，使用户能够将ftrackStudio与创意应用程序集成，发布资产等。这个新版本的发布中还有两个Nuke和Maya新集成，...

Magicgui:不会GUI编程也能轻松构建Python GUI应用: 什么是MagicguiMagicgui是一个Python库,它允许开发者仅凭简单的类型注解就能快速构建图形用户界面(GUI)应用程序。这个库基于Napari项目,利用了Python的强大类型系统,使得...

Python入坑系列:桌面GUI开发之Pyside6: 阅读本章之后，你可以掌握这些内容：Pyside6的SignalsandSlots、Envents的作用，如何使用？PySide6的Window、DialogsandAlerts、Widgets...

Python入坑系列-一起认识Pyside6 designer可拖拽桌面GUI: 通过本文章，你可以了解一下内容：如何安装和使用Pyside6designerdesigner有哪些的特性通过designer如何转成python代码以前以为Pyside6designer需要在下载...

pyside2的基础界面（pyside2显示图片）: 今天我们来学习pyside2的基础界面没有安装过pyside2的小伙伴可以看主页代码效果...

Python GUI开发:打包PySide2应用（python 打包pyc）: 之前的文章我们介绍了怎么使用PySide2来开发一个简单PythonGUI应用。这次我们来将上次完成的代码打包。我们使用pyinstaller。注意，pyinstaller默认会将所有安装的pack...

使用PySide2做窗体，到底是怎么个事?看这个能不能搞懂: PySide2是Qt框架的Python绑定，允许你使用Python创建功能强大的跨平台GUI应用程序。PySide2的基本使用方法：安装PySide2pipinstallPy...

pycharm中conda解释器无法配置（pycharm安装的解释器不能用）: 之前用的好好的pycharm正常配置解释器突然不能用了？可以显示有这个环境然后确认后可以conda正在配置解释器，但是进度条结束后还是不成功！！试过了pycharm重启，pycharm重装，anaco...

Conda使用指南:从基础操作到Llama-Factory大模型微调环境搭建: Conda虚拟环境在Linux下的全面使用指南：从基础操作到Llama-Factory大模型微调环境搭建在当今的AI开发与数据分析领域，conda虚拟环境已成为Linux系统下管理项目依赖的标配工具。...

Python操作系统资源管理与监控（python调用资源管理器）: 在现代计算环境中，对操作系统资源的有效管理和监控是确保应用程序性能和系统稳定性的关键。Python凭借其丰富的标准库和第三方扩展，提供了强大的工具来实现这一目标。本文将探讨Python在操作系统资源管...

本地部署开源版Manus+DeepSeek创建自己的AI智能体: 1、下载安装Anaconda，设置conda环境变量，并使用conda创建python3.12虚拟环境。2、从OpenManus仓库下载代码，并安装需要的依赖。3、使用Ollama加载本地DeepSe...

一文教会你，搭建AI模型训练与微调环境，包学会的!: 一、硬件要求显卡配置：需要Nvidia显卡，至少配备8G显存，且专用显存与共享显存之和需大于20G。二、环境搭建步骤1.设置文件存储路径非系统盘存储：建议将非安装版的环境文件均存放在非系统盘（如E盘...

使用scikit-learn为PyTorch 模型进行超参数网格搜索: scikit-learn是Python中最好的机器学习库，而PyTorch又为我们构建模型提供了方便的操作，能否将它们的优点整合起来呢？在本文中，我们将介绍如何使用scikit-learn中的网格搜...

如何Keras自动编码器给极端罕见事件分类: 全文共7940字，预计学习时长30分钟或更长本文将以一家造纸厂的生产为例，介绍如何使用自动编码器构建罕见事件分类器。现实生活中罕见事件的数据集：背景1.什么是极端罕见事件？在罕见事件问题中，数据集是...

一周热门

最近发表

首页
收录
顶部