大模型文本生成参数详解

大型语言模型生成文本行为的关键参数

Model Capabilities

模型能力： 它定义了模型能做什么、不能做什么，以及做得有多好。了解一个模型的能力，可以帮助你更好地利用它，并对其产出有合理的预期

总结与关系

Conversation turns in context

The number of previous conversation turns to include in the context. Default is 15 turns, i.e. 30 messages.
语境中的会话转折 要包含在上下文中的前一会话回合数。默认为15圈，即30条消息。

1. Token Limit（令牌限制 / 最大生成长度）

• 它是什么？ Token 是模型处理文本的基本单位，可以是一个字、一个词甚至一个标点。Token Limit 指的是模型在一次对话回合中，最多能生成多少 token。这包括你的问题（输入）和我的回答（输出）的总和。

• 如何工作？

  • 你设置一个值，比如 4096 tokens。
  • 如果你的问题很长，占用了 1000个 token，那么我最多只能生成 4096 - 1000 = 3096 个 token 的回答。
  • 当生成的 token 数达到这个限制时，我的回答会被突然切断，可能不完整。

• 如何设置？

  • 需要长回答时（如写长文、详细分析）：设置较高的值（如 4000）。
  • 需要简短回答时（如问答、总结）：设置较低的值（如 1000），可以节省计算资源，让回答更精炼。
  • 通用场景：保持默认值或中等偏上的值（如 2000-3000）通常是不错的选择。

2. Temperature（温度）

• 它是什么？ 控制生成文本的随机性和创造性。它是影响输出风格最重要的参数。

• 如何工作？

  • 低温度（如 0.1 - 0.3）：模型会更“保守”和“确定”。它会选择概率最高的词，输出更加可预测、稳定、严谨。适合事实问答、代码生成、技术写作等需要准确性的任务。
  • 高温度（如 0.7 - 1.0）：模型会更“大胆”和“随机”。它会从可能的词中更随机地选择，输出更加创造性、多样化、出人意料。适合写故事、诗歌、头脑风暴、生成创意内容。
  • 注意：温度过高（接近或超过 1.0）可能导致输出不连贯或胡言乱语。

• 如何设置？

  • temperature = 0：完全确定性的输出。每次用相同的输入都会得到完全相同的输出。
  • temperature = 0.2：推荐用于分析和逻辑任务。我的回答会非常专注和直接。
  • temperature = 0.5：良好的通用平衡点。有一定创造性，但不会太离谱。
  • temperature = 0.8：推荐用于创意写作。你会看到更多样化的想法和表达。

3. Top-p（核采样）

• 它是什么？ 另一种控制随机性的方法，通常与 Temperature 配合使用。它决定了模型在选择下一个词时的候选词范围。

• 如何工作？

  • 模型会计算所有可能的下一个词的概率，并从一个累积概率超过 top-p 的最小集合中挑选词。
  • 低 Top-p（如 0.1）：候选词范围很窄，只考虑那些概率最高的极少数词。输出更加精准和可预测。
  • 高 Top-p（如 0.9）：候选词范围很广，会考虑很多概率相对较低的词。输出更加多样和有创意。

• 与 Temperature 的关系和如何设置？

  • 通常，只需调整 Temperature 或 Top-p 其中一个即可，不要两者都大幅调整。
  • 常见且推荐的组合：
    • 追求质量和稳定性：temperature = 0.7， top-p = 0.9。这是很多应用的默认设置，能在创意和连贯性之间取得良好平衡。
    • 追求严谨和准确：temperature = 0.2， top-p = 0.5。
    • 如果只让我选一个来调，我建议优先调整 Temperature，因为它更直观。

4. Frequency Penalty（频率惩罚）

• 它是什么？ 惩罚那些在文本中已经出现过的词，降低它们再次被选中的概率。用于减少重复。

• 如何工作？

  • 正值（如 0.5 - 1.0）：惩罚较强。模型会尽量避免使用已经用过的词，使词汇更丰富。但设置过高可能导致模型为了避免重复而使用不自然或生硬的词汇。
  • 负值（如 -0.5 - -1.0）：反其道而行之，奖励重复。这会增加模型使用已有词汇的概率，使文本围绕特定主题重复，可能适合写口号或强调。

• 如何设置？

  • frequency_penalty = 0：默认值，不施加惩罚。
  • frequency_penalty = 0.5：推荐设置。可以有效防止我车轱辘话来回说，让表达更丰富。
  • 除非有特殊需求，通常保持在 0 到 1.0 之间。如果你发现我的回答重复性太高，适当调高这个值。

总结与实用建议

给新手的简易配置方案：

1. 日常通用聊天/知识问答：

   • Temperature: 0.5 - 0.7
   • Top-p: 0.9
   • Frequency penalty: 0.5
   • Token Limit: 2000

2. 需要严谨答案（编程、数学、总结）：

   • Temperature: 0.2
   • Top-p: 0.5
   • Frequency penalty: 0.2
   • Token Limit: 2000

3. 创意写作（故事、文案、头脑风暴）：

   • Temperature: 0.8
   • Top-p: 0.95
   • Frequency penalty: 0.3 （允许一些重复可能更有助于风格统一）
   • Token Limit: 4000

最重要的是，大胆尝试！根据你想要的结果微调这些参数，观察输出变化，你会很快掌握它们的用法。

[[../tool/Obsidian双链语法]]
[[../ai/Qwen3系列常见模型之间的核心区别]]
[[../ai/ModelCapabilities中ReasoningVisionWeb Search选择]]
[[../tool/Obsidian双链语法]]