【免费下载链接】gemma-4-31B-it-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF点击查看免费下载gemma-4-31B-it-GGUF 是 Google DeepMind Gemma 4 31B 指令模型经 Unsloth 量化的 GGUF 版本合集支持本地多模态推理、可开关的思考模式Thinking与 MTP 加速。本文给出 temperature、top_p、top_k 的官方推荐值、思考模式的开启/关闭方式、量化版本选择与 llama.cpp 加速命令是一份可直接照抄的调优清单。这个仓库里有什么仓库包含 31B 主模型的全部主流量化版本、视觉投影文件和 MTP 加速草稿模型文件说明gemma-4-31B-it-Q4_K_M.gguf4-bit 平衡之选社区最常用gemma-4-31B-it-Q8_0.gguf8-bit接近无损精度gemma-4-31B-it-UD-Q4_K_XL.ggufUnsloth Dynamic 混合精度版gemma-4-31B-it-Q3_K_M.gguf ~ gemma-4-31B-it-IQ2_XXS.gguf低显存入门档位BF16/gemma-4-31B-it-BF16-00001-of-00002.gguf16-bit 完整精度分两片mmproj-BF16.gguf视觉投影文件图像输入必配mtp-gemma-4-31B-it.ggufMTP 草稿模型加速文本生成模型本体约 30.7B 参数、60 层、256K 上下文结构细节见 config.json。官方推荐采样参数temperature、top_p、top_k 一步到位官方最佳实践给出的全场景标准配置只有三行来源README.md参数推荐值作用temperature1.0采样温度。1.0 为中性随机性调低如 0.7输出更稳定保守调高则更有创意但易跑偏top_p0.95核采样。只从累积概率 95% 的候选词中抽取过滤低概率噪声词top_k64候选池大小。每步只在概率最高的 64 个 token 里选择 新手建议先原样使用这组参数不要自行摸索。Gemma 4 的 chat template 与词表262K是配套的官方值是经过回归验证的。按场景微调的思路写代码、数学、事实问答保持temperature1.0不变可把top_p降到 0.9 让输出更收敛创意写作、头脑风暴temperature提到 1.1~1.2top_p保持 0.95结构化输出JSON、工具调用三参数都用官方值靠 system prompt 约束格式不要靠调参思考模式如何开启与关闭Gemma 4 全系内置先思考、后回答的推理模式控制方式很直接来源README.md开启思考在 system prompt 开头加入|think|控制 token关闭思考去掉该 token 即可输出结构开启后模型先输出内部推理再给最终答案|channelthought [内部推理过程] channel| [最终答案]在 Transformers 里更省事——apply_chat_template传enable_thinkingTrue/False即可processor.parse_response()会自动分离思考与答案示例代码见 README.md。⚠️多轮对话关键坑历史消息里只能保留每轮的最终回答绝不能把之前的思考内容拼回上下文否则模型会重复思考甚至混乱来源README.md。用 MTP 草稿模型把生成速度拉满仓库自带的 MTPMulti-Token Prediction草稿模型可与任意量化版搭配做投机解码官方实测单卡 B200 上 Q4_K_M 从 70 tok/s 提升到 101 tok/s来源MTP/README.md。llama.cpp 在 2026-06-07 之后已合并 MTP 支持新构建可自动发现根目录的 mtp-gemma-4-31B-it.gguf核心参数就两个./build/bin/llama-server -hf unsloth/gemma-4-31B-it-GGUF:Q4_K_M \ --spec-type draft-mtp --spec-draft-n-max 4 -ngl 999 -fa on量化版本怎么选显存预算推荐文件24GB 消费级显卡gemma-4-31B-it-Q4_K_M.gguf32GB~48GBgemma-4-31B-it-Q5_K_M.gguf 或 gemma-4-31B-it-UD-Q5_K_XL.gguf64GB / 追求精度gemma-4-31B-it-Q8_0.gguf多 GPU 分片UD-Q8_K_XL 等 XL 版更适合大显存带 UD 前缀的是 Unsloth Dynamic 混合精度量化对关键层保留更高比特同体积下质量通常更好。核心清单速查✅ 采样参数temperature1.0、top_p0.95、top_k64✅ 思考开关system prompt 开头的|think|token✅ 多轮对话历史中只保留最终回答丢弃思考内容✅ 图像输入搭配 mmproj-F16.gguf图片放在文字之前✅ 提速MTP 草稿模型 --spec-type draft-mtp✅ 多轮之外的完整规范多模态顺序、图像 token 预算等见 README.md照这份清单配置Gemma 4 31B 在本地即可获得与 API 版本一致的思考与生成质量。赞分享【免费下载链接】gemma-4-31B-it-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-GGUF点击查看免费下载相关推荐Qwen3.8-Flash-Next-GGUF调参清单思考与非思考模式temperature、top_p、top_k完整推荐值告别无效输出Qwen3.8 Flash Next GGUF调参清单思考与非思考模式temperature、top_p、top_k完整推荐值告别无效输出 想让 Qwen35 分钟部署大麦抢票自动化脚本PC 与 Android 双端完整指南5 分钟部署大麦抢票自动化脚本PC 与 Android 双端完整指南 这是大麦抢票自动化工具的新手教程。项目会自动完成大麦登录、选择场次与票价、提交订单让你RPA如何调好temperature、top_k、top_pPhi-4-mini-instruct_rai_1.8.0_hybrid采样参数调优实用指南如何调好temperature、top_k、top_pPhi 4 mini instruct_rai_1.8.0_hybrid采样参数调优实用指南 Phi 4上一篇career-ops的性能调优让系统运行更快的终极指南下一篇10个你必须知道的SQLancer使用技巧快速提升数据库测试效率创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考