LoRA 适配器是什么,为什么不能单独运行

一分钟搞懂基础模型与 LoRA 适配器的区别,避免下载了几个 GB 的"模型"却跑不起来。

LoRA微调常见坑

LoRA 适配器是什么,为什么不能单独运行

在 HuggingFace 上看到只有几十 MB 的"模型"?八成是 LoRA 适配器——它不是完整模型,单独下载跑不起来。

一分钟版本

  • 基础模型(base model):完整的神经网络,几个 GB 到几百 GB,能独立运行
  • LoRA 适配器(adapter):只包含"增量改动"的小文件(通常 10-500 MB),必须加载到指定的基础模型上

类比:基础模型是一本完整的书,LoRA 是一张夹在书里的勘误页。没有书,勘误页没有意义。

怎么识别 LoRA

  1. 看文件列表:只有 adapter_model.safetensors + adapter_config.json,没有大的权重文件
  2. 看模型卡片:通常写明 base_model: Qwen/Qwen2.5-7B-Instruct 这样的字段
  3. 本站的帮助:我们收录的模型如果标注了 ⚠️ LoRA 适配器 风险标记,就是提醒你这个

正确的使用姿势

# 1. 先下载它声明的基础模型(adapter_config 里写着)
# 2. 用 peft 加载:基础模型 + 适配器
from peft import PeftModel
model = PeftModel.from_pretrained(base_model, "作者/某lora适配器")

常见坑

  • 下载错文件:把 adapter 当完整模型拉下来,推理时报 "missing weights"
  • 基础模型不匹配:LoRA 是在某个具体基础模型上训练的,换了基础模型效果会崩
  • 合并保存:要分发独立模型时,用 merge_and_unload() 把适配器合并进基础模型

本站收录条目会对 LoRA 适配器打风险标记,详情页的「安装提示词」也会自动提醒 AI 助手先确认基础模型。

AigoTools

发现 10000+ 有用的AI工具.
@2024 AigoTools.All rights reserved.