LLaMA-Factory零门槛操作的全能大模型微调平台 辉哥 发布于 2026-03-18 收录于 知识库图书馆 和 Python在 LLM(大语言模型)微调领域,如果说 Unsloth 是追求极致速度的“轻量化跑车”,那么 LLaMA-Factory 就是一辆功能全、动力足、谁都能上手的“全能越野车”。 它是由北京大学团队主导开发的开源项目,目前已成为国内乃至全球最受欢迎的微调框架之一。以下是关于 LLaMA-Factory...
Unsloth开源AI模型训练框架本地加速大模型微调与推理 辉哥 发布于 2026-03-18 收录于 知识库图书馆 和 AI技术教程 PythonUnsloth 是一个开源的本地化 AI 模型运行与训练工具,提供统一的界面(Unsloth Studio 网页 UI 和 Unsloth Core 代码库)来加载、微调和运行各类大型语言模型(如 Llama-3、Mistral、Gemma、Qwen 等)【39†L99-L105】【44†L313-...
AMD RX 580 8GB显卡最佳llama.cpp部署指南:高效运行Qwen3.5-9B大模型 辉哥 发布于 2026-03-16 收录于 知识库图书馆 和 AI技术教程 Ubuntuamd RX 580 8GB 显存版本llama.cpp最优使用方案: 1. 下载具体文件 前往 llama.cpp Releases,下载 vulkan (兼容nvdia和amd):
Heretic:全自动移除LLM审查机制的开源工具,无需训练低成本对齐 辉哥 发布于 2026-03-16 收录于 编程技巧项目实战 和 AI技术教程Heretic 全自动移除 transformer 架构语言模型审查机制(即“安全对齐”/censorship) 的工具,无需昂贵的模型后训练流程 ...
LLM量化等级全解析:如何根据显存选择最佳模型精度(Q8_0到Q2_K指南) 辉哥 发布于 2026-03-16 收录于 实用工具与脚本 和 AI技术教程在 AI 模型(特别是大语言模型)中,量化等级(Quantization Level)指的是将模型权重从高精度浮点数(如 FP32)转换为低精度整数(如 INT8、INT4)的压缩程度。 它直接决定了模型文件的大小、运行速度以及推理质量。 简单来说: ...
OpenClaw对接本地Llama模型完整配置指南:Ubuntu与Win11详细教程 辉哥 发布于 2026-03-16 收录于 编程技巧项目实战 和 AI技术教程 AI助手 OpenClaw UbuntuOpenClaw 配置使用 llama.cpp 部署的本地模型 OpenClaw 可无缝对接 llama.cpp 部署的本地模型(HTTP 服务) 以下是针对 Ubuntu/Win11 系统的精准配置步骤,适配 llama.cpp b8370 版本。 ...
手把手教程:在Windows和Ubuntu上部署高性能本地AI大模型引擎llama.cpp 辉哥 发布于 2026-03-16 收录于 实用工具与脚本 和 AI技术教程 Ubuntullama.cpp 是轻量级、高性能的本地 LLM 推理引擎,纯 C/C++ 实现,无冗余依赖,支持 GGUF 模型量化、多硬件加速(CPU/GPU)、多模态推理,是本地部署翻译 / 对话类 LLM 的核心工具。 ...
OpenClaw连接错误unauthorized/1008使用SSH隧道安全访问 辉哥 发布于 2026-03-15 收录于 实用工具与脚本 和 AI技术教程 OpenClawopenclaw 链接错误,“unauthorized” / 1008 错误,不修改本地回环地址,使用SSH 隧道方式链接 openclaw.json 的gateway配置为: "bind": "loopback", SSH 隧道:ssh -N -L 18789:127.0.0.1:18789 us...
OpenClaw远程连接Tailscale安全访问私有AI工具 辉哥 发布于 2026-03-15 收录于 实用工具与脚本 和 AI技术教程 OpenClawopenclaw官方推荐远程链接使用,Tailscale/VPN,个人不太推荐因此提供了删除方案 Tailscale - 它能把分散在不同地方的设备(如你的手机、家里的电脑、云端的服务器)虚拟成在一个局域网内。 优势:零配置、穿透力强。即使你的服务器没有公网 IP,安装 Tailscale 后,你也...
OpenClaw大龙虾v2026.3.12发布:支持GPT-5.4与插件化架构的AI助手 辉哥 发布于 2026-03-14 收录于 实用工具与脚本 和 AI技术教程 AI助手 OpenClawOpenClaw 大龙虾官方正式版本 v2026.3.13 以下是该版本核心特性与安全更新。 一、三大重磅功能升级 1. 全新 Dashboard v2(控制面板) 模块化视图:概览、聊天、配置、Agent、会话五大模块,信息更清晰。 命令面板:全局 / 命令、搜索、导出、置顶,操作更高效。 移动端...