1.1 角色卡 JSON 结构详解#

SillyTavern 的角色卡本质上是 JSON 数据——无论它是独立的 .json 文件还是嵌入在 .png 图片中的 V2 格式。理解这个 JSON 结构是深度定制的第一步。

SillyTavern V2 角色卡（Character Card V2，简称 CCv2）的完整 JSON 结构如下：

1
{
2
  "spec": "chara_card_v2",
3
  "spec_version": "2.0",
4
  "data": {
5
    "name": "角色名称",
6
    "description": "角色的外貌、身份、背景等描述。这是 AI 理解角色外观和基础设定的主要来源。",
7
    "personality": "角色的性格特征。AI 会根据这个字段决定回复的语气、用词和态度。",
8
    "scenario": "当前所处的场景设定。这为对话提供了一个背景舞台。",
9
    "first_mes": "角色的开场白。用户加载角色后看到的的第一句话。",
10
    "mes_example": "对话示例。提供一个或多个示范对话，展示角色的说话风格。这是让 AI 理解角色语调最有效的手段。",
11
    "creator_notes": "创作者笔记。私有字段，用户可见但 AI 不可见，用于记录灵感或备注。",
12
    "system_prompt": "在系统提示中追加的自定义指令。如果你希望 AI 在每次对话中都遵循某些规则，可以写在这里。",
13
    "post_history_instructions": "对话开始后追加的指令。每次对话都会在历史记录后注入这段文本，用于维持角色行为一致性。",
14
    "tags": ["标签1", "标签2"],
15
    "creator": "创作者名称",
16
    "character_version": "角色版本号",
17
    "extensions": {
18
      "world": "关联的世界书名称（可选）",
19
      "fav": false,
20
      "talkativeness": 0.5,
21
      "prompt": "自定义提示词覆盖（可选）",
22
      "depth_prompt": {
23
        "depth": 4,
24
        "role": "system",
25
        "prompt": "深度提示词内容"
26
      }
27
    },
28
    "alternate_greetings": ["可选的开场白2", "可选的开场白3"],
29
    "voice": {
30
      "name": "voice_name",
31
      "mode": "off",
32
      "level": 80,
33
      "rate": 0
34
    }
35
  }
36
}

各关键字段详解：

mes_example 的写法（最重要）：

很多用户低估了 mes_example 的价值。这个字段在 prompt 中直接作为 few-shot 示例呈现给 AI，比任何抽象描述都更有效。正确写法示范：

1
<START>
2
{{user}}: 今天天气真不错。
3
{{char}}: （伸了个懒腰，眯起眼睛看向窗外）是啊，阳光暖洋洋的，让人想出去走走。你要一起去吗？
4
<END>

每段对话用 <START> 和 <END> 包裹，角色用 {{char}}、用户用 {{user}} 占位。2-3 段示范就能让 AI 迅速掌握角色的说话节奏和风格。

depth_prompt 字段：

这是 CCv2 提供的一个高级控制机制。你可以设置一个”深度提示词”，它会在对话达到一定轮次后开始注入：

1
"depth_prompt": {
2
  "depth": 4,
3
  "role": "system",
4
  "prompt": "你已经和用户相处了一段时间，你对用户产生了深厚的感情，但你在努力克制。"
5
}

depth 值表示在对话超过这个轮次后开始生效，用于表达角色随关系发展而产生的性格变化。

1.2 从 Web UI 创建原创角色卡#

在入门篇中你学会了导入现有角色卡。现在我们来创建一个完全原创的角色。

操作步骤：

1. 点击左侧栏的 角色管理 图标（两个人形头像）
2. 点击 创建角色 按钮
3. 填写以下信息：

基本信息标签页：

头像设置：

• 点击头像区域上传图片
• 支持裁剪和缩放
• 建议 512x512 像素以上，PNG 格式支持透明背景

高级标签页：

• Creator’s Notes：你的私人笔记，AI 看不到
• System Prompt：追加系统指令
• Post-History Instructions：对话后的持续指令
• Alternate Greetings：添加多条备用开场白，角色加载时可选

4. 点击 保存，新角色即出现在角色列表中

编写高质量开场白的技巧：

一个好的开场白应该包含三个要素：角色状态 + 环境描写 + 互动邀请。

较差的： “你好，我是小雨。”

较好的： “雨滴顺着伞沿滑落，在石板路上溅起细碎的水花。小雨站在咖啡馆的屋檐下，朝你招了招手——‘这里这里！快过来，位置我已经占好了。’”

前者只是一个自我介绍，后者则建立了场景、情绪和互动入口。

1.3 角色卡嵌入世界书与自定义背景#

嵌入世界书：

在角色卡的 extensions.world 字段中，可以指定一个已有的世界书名称。当加载这个角色时，对应的世界书会自动激活：

1
"extensions": {
2
  "world": "中土世界设定",
3
  ...
4
}

你也可以在角色编辑界面的 扩展 区域直接关联世界书——从下拉列表中选择即可。

关联世界书后，该世界书中的所有条目都会在对话中生效（触及关键词时自动注入）。这比在 description 中硬编码世界观描述高效得多，因为世界书只在被触发时才消耗 token。

自定义聊天背景：

为角色设置独特的聊天背景，可以大幅增强沉浸感：

1. 进入角色编辑界面
2. 找到 聊天背景 设置区域
3. 上传一张背景图片（建议 1920x1080 以上）
4. 设置背景模糊程度（Blur）和暗度（Darken）
5. 保存后，该角色的所有对话都会使用此背景

背景图片存放在 ./data/user/backgrounds/ 目录下（手动安装）或对应数据卷中（Podman 安装）。

1.4 Character Expressions 配置#

Character Expressions（角色表情/立绘切换）让角色在对话中根据情绪或场景自动切换图像。这是目前社区 CCv2+ 的主流标配功能。

文件命名规则：

表情立绘通过文件命名约定来工作。你的角色图片目录结构应当如下：

1
./data/user/characters/你的角色名/
2
├── base.png              # 基础立绘（默认显示）
3
├── happy.png             # 开心
4
├── sad.png               # 悲伤
5
├── angry.png             # 愤怒
6
├── surprised.png         # 惊讶
7
├── blush.png             # 害羞/脸红
8
├── cry.png               # 哭泣
9
├── smile.png             # 微笑
10
└── custom.png            # 自定义表情（可选）

截图辅助： 建议将角色卡目录的文件夹截图保存，可以清晰看到表情文件命名结构和对应关系。

在角色卡中配置表情：

在角色编辑界面或直接编辑 JSON 的 extensions 区域：

1
"extensions": {
2
  "expressions": {
3
    "happy": "happy.png",
4
    "sad": "sad.png",
5
    "angry": "angry.png",
6
    "surprised": "surprised.png",
7
    "blush": "blush.png",
8
    "cry": "cry.png",
9
    "smile": "smile.png",
10
    "custom": "custom.png"
11
  }
12
}

表情切换触发方式：

• 手动触发：在聊天输入框上方点击表情图标，手动选择表情
• AI 自动触发：当启用 Expression Image 扩展后，SillyTavern 会分析 AI 的回复内容，自动匹配对应的表情图像。AI 在回复中加入 *表情名*（如 *blush*）即可触发切换，或在扩展设置中选择”根据回复情感分析自动匹配”
• 快捷键：在扩展设置中可以为常用表情绑定快捷键

表情图片规格建议：

• 尺寸：建议与基础立绘一致（如 512x512 或 1024x1024）
• 格式：PNG（支持透明背景）
• 构图：保持角色位置一致，仅改变面部表情——否则切换时会有”跳跃感”
• 工具：可以使用 ComfyUI 配合 Image-to-Image + ControlNet（OpenPose）批量生成统一构图的不同表情（见第 4 章的 ComfyUI 集成）

⬆ 返回目录

2.1 工作原理#

世界书的核心机制是条件触发：

1
用户输入 ──→  SillyTavern 扫描所有世界书条目
2
                │
3
                ├── 如果未触发任何条目 → 不注入额外信息
4
                │                         （节省上下文）
5
                │
6
                └── 如果触发条目关键词 ──→ 将该条目的内容注入到 prompt 中
7
                                           （仅在需要时消耗 token）

为什么世界书有用？

假设你正在玩一个中世纪奇幻角色。如果你把整个世界观（七个王国、三种魔法体系、百年战争历史、数十个地名人名）全部塞进角色卡的 description 字段，会发生两个问题：

1. 浪费上下文窗口：每次对话无论是否涉及这些信息，AI 都要”记住”它们
2. 信息稀释：世界观信息挤占了角色自身设定的空间，导致角色行为一致性下降

世界书完美解决了这个问题——只在需要时才注入相关信息。用户提到”龙石城”时，世界书自动注入这座城市的地理位置、历史背景和当前状态。用户提到”冰霜魔法”时，世界书注入该魔法体系的规则和使用限制。

注入位置：

世界书条目通常注入在 prompt 的角色描述区域之后、对话历史之前。具体位置可以通过 SillyTavern 的预设管理中的 Lorebook 注入位置 设置调整。

2.2 创建第一本世界书#

操作步骤：

1. 点击左侧栏的 世界书 图标（一本书的图案）
2. 点击 创建世界书 按钮
3. 填写基本信息：

4. 点击 保存，世界书创建完成
5. 在空白世界书中点击 添加条目 开始创建具体内容

启用世界书：

创建完成后，需要为世界书分配角色或对话：

• 全局启用：在设置中将世界书设为”全局世界书”，对所有角色生效
• 角色绑定：在角色卡的 extensions.world 字段指定世界书名称，加载该角色时自动激活
• 手动切换：在聊天界面点击世界书图标，在当前对话中手动启用或禁用

截图辅助： 建议截取世界书列表页和条目编辑弹窗的界面图，标注关键设置项的位置。

2.3 条目设计详解#

每个世界书条目包含触发条件和内容两大组成部分。理解触发机制是设计高质量世界书的关键。

1
条目名称: 龙石城
2
主要关键词: [龙石城, 龙石, 城堡, Dragonstone]
3
次要关键词: [坦格利安, 龙, 火山]
4
概率: 100%

2.4 实践案例：奇幻世界观#

下面为一个名为”艾兰西亚”的虚构奇幻世界设计一组完整的世界书条目。Depth 值控制注入位置（0=靠近角色卡，越高越靠后），概率列控制次要关键词的触发几率（主要关键词始终 100% 触发）。

世界书名称： 艾兰西亚世界观

条目 1：世界概览（Depth=0, Weight=5）

条目 2：银月森林（Depth=0, Weight=5）

条目 3：裂痕能量（Depth=2, Weight=5）

条目 4：暗影议会（Depth=5, Weight=10）

条目运作示意：

当用户第一次问”艾兰西亚的人如何看待魔法”时——条目 1（世界概览）触发，注入世界基本信息。当用户说”我走进银月森林”——条目 2 触发，注入森林描述。当对话深入（超过 5 轮），用户提到”有人在暗中操纵一切”——条目 4 以 50% 的概率触发，引入暗影议会。

这就是世界书的精髓——随着对话自然推进，世界信息逐层展开，而不是一次性地把所有设定塞给 AI。

⬆ 返回目录

3.1 Author’s Note 与 Character Note#

这两个功能都允许你在 prompt 中注入自定义文本，但它们的注入位置和作用范围不同。

1
注释位置: 在对话历史之后
2
注入频率: 2  # 每 2 条消息注入一次
3
角色深度: 4  # 对话 4 轮后才开始生效

3.2 向量化记忆（Vector Storage）#

SillyTavern 的向量化记忆功能是解决”AI 长期记忆不足”痛点的主要方案。它通过 ChromaDB 将对话内容转换为向量（embedding），在需要时检索相关片段重新注入 prompt。

1
对话进行 ──→ SillyTavern 将每条消息转为向量 ──→ 存入 ChromaDB
2
                    │
3
                    └── 新消息到来时 ──→ 检索 ChromaDB 中的相关历史
4
                                           │
5
                                           └── 将检索到的相关片段注入 prompt

1
# 拉取 ChromaDB 镜像
2
podman pull chromadb/chroma:latest
3

4
# 创建数据卷
5
podman volume create chromadb-data
6

7
# 启动 ChromaDB（注意使用 8090 端口，避免与 SillyTavern 的 8000 端口冲突）
8
podman run -d \
9
  --name chromadb \
10
  -p 8090:8000 \
11
  -v chromadb-data:/chroma/chroma \
12
  chromadb/chroma:latest
13

14
# 验证运行
15
podman logs chromadb
16
# 看到 "chromadb" 相关启动日志即成功（例如 "Uvicorn running on http://0.0.0.0:8000"）

1
# 创建虚拟环境
2
python -m venv chroma-env
3
source chroma-env/bin/activate  # Windows: chroma-env\Scripts\activate
4

5
# 安装 ChromaDB
6
pip install chromadb
7

8
# 启动服务（使用 8090 端口避免冲突）
9
chroma run --host 0.0.0.0 --port 8090

3.3 多角色群聊#

群聊功能让你创建包含多个角色的房间，体验多角色互动的角色扮演。

1
@艾琳 你昨天说的那件事，现在可以告诉我详情了吗？

3.4 角色分组与场景切换#

角色分组允许你为不同角色设置”群组”，方便在类似场景中快速切换：

1. 在角色管理中创建 分组
2. 将相关角色拖入同一分组（如”校园组”、“奇幻组”、“现代都市组”）
3. 切换分组即可快速过滤角色列表

场景切换功能让你在同一个对话中切换地点或时间：

1. 在对话界面中点击 场景管理
2. 选择一个预设场景（或创建新场景）
3. 场景切换会自动更新 scenario 字段
4. 下次 AI 回复将基于新场景生成

场景可以与角色分组联动——例如”校园组”默认关联”教室”和”天台”两个场景，“奇幻组”关联”森林”和”城堡”。

⬆ 返回目录

4.1 扩展管理界面概览#

扩展管理入口位于左侧栏的 拼图图标（扩展中心）。

界面主要区域：

1. 已安装扩展列表：显示所有可用的扩展，每个扩展有独立的开关和设置面板
2. 扩展设置：点击扩展名称展开详细配置选项
3. 添加扩展：从社区下载或从本地加载扩展包

扩展通常以 JavaScript 文件（.js）形式放在 ./plugins/ 目录下（手动安装），或通过 Podman 的数据卷挂载。撰写本文时，SillyTavern 的内置扩展已经覆盖了大多数常见需求，大部分功能开箱即用。

4.2 ComfyUI 集成#

ComfyUI 是一个基于节点工作流的 Stable Diffusion 图像生成工具。SillyTavern 的 ComfyUI 扩展让 AI 可以”看见”和”创造”图像。

1
# 拉取 ComfyUI 镜像
2
podman pull ghcr.io/comfyanonymous/comfyui:latest
3

4
# 创建数据目录和模型目录
5
mkdir -p ~/comfyui/models
6
mkdir -p ~/comfyui/output
7
mkdir -p ~/comfyui/custom_nodes
8

9
# 启动 ComfyUI
10
podman run -d \
11
  --name comfyui \
12
  -p 8188:8188 \
13
  -v ~/comfyui/models:/workspace/ComfyUI/models \
14
  -v ~/comfyui/output:/workspace/ComfyUI/output \
15
  -v ~/comfyui/custom_nodes:/workspace/ComfyUI/custom_nodes \
16
  --device nvidia.com/gpu=all \
17
  ghcr.io/comfyanonymous/comfyui:latest

1
# 克隆仓库
2
git clone https://github.com/comfyanonymous/ComfyUI.git
3
cd ComfyUI
4

5
# 安装依赖
6
pip install -r requirements.txt
7

8
# 下载模型（以 SDXL 为例）
9
# 将 SDXL 基础模型放到 models/checkpoints/ 目录
10

11
# 启动
12
python main.py --listen 0.0.0.0 --port 8188

1
{
2
  "3": {
3
    "class_type": "KSampler",
4
    "inputs": {
5
      "seed": 42,
6
      "steps": 20,
7
      "cfg": 7,
8
      "sampler_name": "euler",
9
      "scheduler": "normal",
10
      "denoise": 1,
11
      "model": ["4", 0],
12
      "positive": ["6", 0],
13
      "negative": ["7", 0],
14
      "latent_image": ["5", 0]
15
    }
16
  },
17
  "4": {
18
    "class_type": "CheckpointLoaderSimple",
19
    "inputs": {
20
      "ckpt_name": "sd_xl_base_1.0.safetensors"
21
    }
22
  },
23
  "5": {
24
    "class_type": "EmptyLatentImage",
25
    "inputs": {
26
      "width": 1024,
27
      "height": 1024,
28
      "batch_size": 1
29
    }
30
  },
31
  "6": {
32
    "class_type": "CLIPTextEncode",
33
    "inputs": {
34
      "text": "",
35
      "clip": ["4", 1]
36
    }
37
  },
38
  "7": {
39
    "class_type": "CLIPTextEncode",
40
    "inputs": {
41
      "text": "",
42
      "clip": ["4", 1]
43
    }
44
  },
45
  "8": {
46
    "class_type": "VAEDecode",
47
    "inputs": {
48
      "samples": ["3", 0],
49
      "vae": ["4", 2]
50
    }
51
  },
52
  "9": {
53
    "class_type": "SaveImage",
54
    "inputs": {
55
      "filename_prefix": "ComfyUI",
56
      "images": ["8", 0]
57
    }
58
  }
59
}

1
工作流：基础角色图 → ControlNet OpenPose → 不同表情 prompt → 批量输出

4.3 TTS 文字转语音#

TTS（Text-to-Speech）扩展让角色的回复可以”读出来”，大幅增强沉浸感。2026 年有多种方案可选，下表汇总对比：

推荐方案分析：

首选：Edge TTS（零配置、零成本）

Edge TTS 使用微软 Azure 的神经网络 TTS 服务，完全免费，无需注册 API Key，无需 GPU。它通过 Edge 浏览器的语音 API 调用，SillyTavern 中安装对应扩展后填入语音偏好即可。

1
SillyTavern 扩展配置：
2
  提供商: Edge TTS
3
  语音: zh-CN-XiaoxiaoNeural（中文女声，推荐）
4
        zh-CN-YunxiNeural（中文男声）
5
  语速: 1.0（0.5-2.0 可调）
6
  音调: 1.0（0.5-2.0 可调）

如果你需要自定义角色声线（中文）：GPT-SoVITS v2

GPT-SoVITS v2（GitHub）是目前中文语音克隆效果最好的开源方案。只需 10-30 秒的语音样本，就能复刻出角色独有的声线。

1
# GPT-SoVITS v2 安装（Podman，社区维护镜像）
2
podman pull breakstring/gpt-sovits:latest
3

4
podman run -d \
5
  --name gpt-sovits \
6
  -p 9870:9870 \
7
  -v ~/gpt-sovits-data:/workspace/data \
8
  --device nvidia.com/gpu=all \
9
  breakstring/gpt-sovits:latest
10

11
# 启动后访问 http://localhost:9870 进入 Web UI
12
# 在 TTS 推理页面加载角色语音样本并生成

如果你需要多语种 + 简单使用：XTTS-v2（注意维护状态）

XTTS-v2（原 Coqui TTS，2024 年后项目已归档）支持 17 种语言。社区维护的 fork 仍在更新，但中文效果不如 GPT-SoVITS 自然。如果主要用于中文，优先选择 GPT-SoVITS。

1
# XTTS 原始安装（仓库已归档，可能无法直接用 pip 安装最新依赖）
2
pip install TTS
3
tts-server --model_name tts_models/multilingual/multi-dataset/xtts_v2

在 SillyTavern 中配置 TTS：

1. 打开 扩展管理 → TTS
2. 启用 Text-to-Speech 扩展
3. 选择提供商（Edge TTS / XTTS / GPT-SoVITS / SillyTavern TTS 等）
4. 填写 API 地址（本地 TTS 服务）或选择语音（Edge TTS）
5. 设置语言和语音偏好
6. 保存后，每条角色回复都会自动朗读

4.4 实时翻译扩展#

实时翻译扩展用于跨语言角色扮演场景——角色说日语，你看中文；或者你发中文，角色回复英文。

配置步骤：

1. 在 扩展管理 中启用 Translate 扩展
2. 选择翻译引擎：

3. 设置源语言和目标语言
4. 选择翻译范围：
   • 仅角色回复：用户不翻译，角色回复翻译
   • 双向翻译：用户和角色的消息都翻译
   • 自动检测：自动检测源语言并翻译成目标语言

典型配置示例（Google Translate，中文用户看日文角色）：

1
翻译引擎: Google Translate
2
源语言: 日语（自动检测）
3
目标语言: 中文（简体）
4
翻译范围: 仅角色回复
5
显示模式: 双语对照（原文 + 翻译）

启用双语对照模式后，角色回复会同时显示原文和翻译，方便你学习语言也便于校验翻译质量。

4.5 Web Search 扩展#

Web Search 扩展让 AI 能够搜索互联网获取最新信息，突破了模型知识截止日期的限制。

前提条件： 需要一个搜索 API 的 Key。推荐方案：

配置步骤：

1. 在 扩展管理 中启用 Web Search
2. 选择搜索引擎：
   • 选择 DuckDuckGo（最简单，零配置）
   • 或 Google（需填写 Search Engine ID 和 API Key）
   • 或 SearXNG（需填写自托管实例 URL）
3. 设置搜索触发方式：
   • 自动：AI 判断需要时自动搜索
   • 手动：用户在消息中使用 /search 关键词 触发
   • 混合（推荐）：AI 建议搜索，用户确认后执行
4. 设置搜索结果注入数量（建议 3-5 条）

使用场景：

• 实时信息：问 AI”今天天气如何”时搜索天气预报
• 设定考据：基于真实历史/地理的角色扮演中搜索细节
• 知识问答：用户询问真实世界的事实性信息

注意： 启用 Web Search 后，API 调用会变慢（网络请求耗时），且搜索结果的 token 消耗需要计入上下文。建议只在需要实时信息的场景中开启。

⬆ 返回目录

5.1 为什么自托管#

在入门篇中，我们推荐新手使用 DeepSeek API 起步。当你深入使用 SillyTavern 后，自托管本地模型有几个独特的优势：

隐私：

• 所有对话数据完全在本地，不会离开你的机器
• 适合涉及敏感话题、原创世界观或商业机密的角色扮演

免费：

• API 调用虽便宜（DeepSeek 几分钱一次完整对话），但高频使用月消费可达数十至上百元
• 本地模型一次硬件投入，永久使用

无内容审核：

• API 提供商通常有内容政策（Claude 最为严格）
• 本地模型没有任何审查限制

离线可用：

• 不需要互联网连接
• 飞机上、偏远地区、网络故障时均可使用

劣势（需接受）：

• 需要一定硬件投入（显卡显存）
• 中文角色扮演质量暂时不及顶尖 API 模型
• 配置和维护需要一定技术能力

5.2 Ollama 安装#

Ollama 是目前最便捷的本地模型运行工具，支持 Windows、macOS、Linux 三平台。

1
curl -fsSL https://ollama.com/install.sh | sh
2

3
# 验证安装
4
ollama --version
5
# 示例输出：ollama version 0.9.x 或更高

1
brew install ollama

1
# Qwen3 系列（2026 年推荐）
2
ollama pull qwen3:8b        # ~4.7GB（Q4_K_M 量化）
3
ollama pull qwen3:14b       # ~8.2GB
4
ollama pull qwen3:32b       # ~19GB
5
ollama pull qwen3:235b-a2b  # ~137GB（需要多 GPU）
6

7
# Qwen2.5 系列（稳定兼容）
8
ollama pull qwen2.5:7b      # ~4.2GB
9
ollama pull qwen2.5:14b     # ~8.0GB
10
ollama pull qwen2.5:32b     # ~18GB
11
ollama pull qwen2.5:72b     # ~42GB
12

13
# DeepSeek 开源版
14
ollama pull deepseek-r1:14b   # ~8.0GB（Q4_K_M）
15
ollama pull deepseek-r1:32b   # ~19GB
16
ollama pull deepseek-r1:70b   # ~42GB
17

18
# 其他值得尝试的模型
19
ollama pull llama3.1:8b       # ~4.5GB
20
ollama pull llama3.1:70b      # ~40GB
21
ollama pull mistral:7b        # ~4.1GB

5.3 推荐中文模型#

截至 2026 年 5 月，以下是在 SillyTavern 上中文角色扮演表现最佳的本地模型：

第一梯队（推荐首选）：Qwen3 系列

Qwen3 是阿里云于 2025 年 4 月发布的最新大模型系列，中文能力在开源模型中处于顶尖水平：

A2B 说明： Qwen3-235B-A2B 使用 MoE（Mixture of Experts）架构，每次推理只激活约 40B 参数，但总参数 235B。效果接近同规模密集模型，但推理速度快得多。

第二梯队：Qwen2.5 系列

Qwen2.5 虽然已被 Qwen3 取代，但作为上一个稳定版本仍然广泛使用，且 7B/14B 等小模型兼容性更好：

• Qwen2.5-14B-Instruct：入门级中文模型，8-10GB 显存即可运行
• Qwen2.5-32B-Instruct：性价比较高，需要 20GB 左右显存
• Qwen2.5-72B-Instruct：高质量模型，需要 48GB 显存（常见于 2x3090/4090 或单张 A6000）

第三梯队：DeepSeek 开源版

DeepSeek R1 的开源权重系列在推理和创意写作方面表现出色：

• DeepSeek-R1-Distill-Qwen-32B：经过 R1 蒸馏，推理能力强，中文 RP 质量好
• DeepSeek-R1-Distill-Qwen-14B：较小蒸馏版本，适合中端显卡
• DeepSeek-V3-0324（原始权重）：需要 4-bit 量化后才能本地运行

5.4 量化级别选择指南#

GGUF 是 llama.cpp 生态的量化格式。同一个模型的不同量化版本，在质量和大小之间做权衡。

5.5 连接 SillyTavern#

Ollama 启动并拉取模型后，连接 SillyTavern 非常简单。

启动 Ollama 服务：

1
# 确保 Ollama 服务在运行
2
ollama serve
3

4
# 在另一个终端验证连接
5
curl http://127.0.0.1:11434/api/tags
6
# 返回 JSON 列表，显示已拉取的模型

SillyTavern 配置：

在 API 连接 界面中填写：

如果 SillyTavern 运行在 Podman 容器中，使用 http://host.containers.internal:11434/v1 来访问宿主机的 Ollama。

点击 连接 测试。成功后，就可以像使用任何云端 API 一样使用本地模型了。

Ollama 多模型切换：

Ollama 支持同时保持多个模型在内存中。在 SillyTavern 的 API 连接界面下拉菜单中可以选择不同模型，Ollama 会自动加载或卸载。

5.6 性能调优#

本地模型的性能优化主要集中在三个参数：上下文长度（num_ctx）、GPU 加速层数、并发设置。

1
# 方法一：在 SillyTavern 预设中设置 Context Size
2
# 方法二：通过 Ollama 的 modelfile 调整
3

4
# 创建自定义 Modelfile
5
cat > Modelfile << 'EOF'
6
FROM qwen3:14b
7
PARAMETER num_ctx 8192
8
EOF
9

10
# 创建自定义模型
11
ollama create qwen3:14b-ctx8k -f Modelfile
12

13
# 在 SillyTavern 中使用 qwen3:14b-ctx8k

1
# 在 Ollama 中使用 GPU 加速
2
# 通过 modelfile 设置
3
PARAMETER num_gpu 35  # Qwen3-14B 有 41 层，35 层在 GPU 上运行
4

5
# 或通过环境变量（一次性）
6
OLLAMA_NUM_GPU=35 ollama run qwen3:14b

1
# Linux 需要安装 NVIDIA Container Toolkit（如果使用 Podman）
2
# 或直接通过系统 Ollama 使用（推荐，无需容器）
3
nvidia-smi  # 确认驱动和 CUDA 可用
4
ollama run qwen3:14b  # Ollama 自动检测并使用 GPU

1
# Linux 下使用 ROCm 版 Ollama 安装脚本
2
curl -fsSL https://ollama.com/install.sh | sh -s -- --rocm
3

4
# 启动后，Ollama 会自动检测 AMD GPU 并使用 ROCm 加速
5
ollama run qwen3:14b

1
# 查看 Ollama 运行状态
2
ollama ps
3

4
# 查看正在处理的请求数
5
# Ollama 会显示当前活跃的模型和正在处理的任务

5.7 硬件选型参考#

如果你正在考虑为本地模型购买或升级硬件，以下参考表可以帮助你做决策：

1
# macOS Ollama 使用 Metal 加速
2
ollama run qwen3:32b
3
# 将在 M 系列芯片上自动启用 GPU 加速