V2EX › Local LLM

首页 注册 登录 节点订阅方式 RSS JSON Feed 使用 Planet 订阅节点更新 父节点 42相关节点 显示 37 个更多的相关节点 子节点 V2EX › Local LLM 主题总数 394 这个节点讨论在本地电脑或者局域网里运行 LLM（大语言模型）的技术细节 全部主题 1 2 3 4 5 6 7 8 9 10 ... 20 ❮ ❯ 找国产 GPU 算力卡渠道，沐曦，平头哥，海光 captainm • 3 天前 • 最后回复来自 Lynnxx 6 腾讯开源的 DSpine 推测解码挺有意思，但什么时候能在 Mac 上支持 Qwen3.8-27B？ NouveauNom • 3 天前 • 最后回复来自 coefu 5 有没有可以笔记本部署比较不错的代码模型 vverr • 3 天前 • 最后回复来自 coefu 30 小型公司私有化部署大模型（deepseek-v4-flash）的话，有推荐的配置吗? boringwheat • 5 天前 • 最后回复来自 HelloWorld23333 8 超聚变的 fusionXpark GB10 有人用吗? huntai520 • 2 天前 • 最后回复来自 huntai520 2 有什么本地部署好使的写代码小模型吗？ 24GB 显存玩玩那种 52txr • 4 天前 • 最后回复来自 miaosheng 24 [分享] Mac 本地跑大模型实测： 54 tok/s，一年省下 API 费 ≈ 一台 Mac mini daniel2493468168 • 11 天前 • 最后回复来自 daniel2493468168 8 PHP2Shell 的攻击链，超过了大多人类的智商吗 jacketma • 10 月 29 日 • 最后回复来自 coefu 6 本地机器能跑 DeepSeek v4.1flash 或者 Qwen3.8 得多少钱？ cjkcjkcjk • 10 月 21 日 • 最后回复来自 panghu960 95 H100*2 本地部署大模型求助 Lekou • 10 月 22 日 • 最后回复来自 panghu960 15 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s sentinelK • 10 月 22 日 • 最后回复来自 panghu960 8 笔记本 125B 模型 Q4 量化， xHigh256k 调优峰值 64tps。附部署和调优源码 flkaylor19 • 10 月 24 日 • 最后回复来自 panghu960 1 本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！ jinsongzhaocn • 10 月 22 日 • 最后回复来自 panghu960 19 strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill sentinelK • 10 月 19 日 • 最后回复来自 Ken1028 15 RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next — Strata 安装跟实测 TGOcc PRO • 10 月 15 日 • 最后回复来自 vopsoft 16 有没有人装过 Strata + Qwen3.8-Flash-Next 125b？我遇到的问题是在 workbuddy 里一直超时。 zktz • 10 月 26 日 • 最后回复来自 panghu960 9 小模型训练、蒸馏、微调的需求大吗？目前想训练自己的模型、又觉得成本太高放弃或犹豫的团队多吗 qwzhang01 • 10 月 11 日 • 最后回复来自 coefu 2 2 万块以内，可以本地部署的最好的模型是哪个？ jedeft • 10 月 11 日 • 最后回复来自 levn 10 pro6000 部署 Qwen 3.8 flash next nvfp4 zzutmebwd • 10 月 9 日 • 最后回复来自 jinsongzhaocn 56 人人编程 VS AI SaaS，真的有优势吗？ jacketma • 9 月 30 日 • 最后回复来自 94 4 1 2 3 4 5 6 7 8 9 10 ... 20 ❮ ❯ 第 1 到 20 / 共 394 个主题 430 人收藏了这个节点 关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Privacy · Solana · 1823 人在线 最高记录 6679 · Select Language 创意工作者们的社区 World is powered by solitude VERSION: 3.9.8.5 · 51ms · UTC 16:12 · PVG 00:12 · LAX 08:12 · JFK 11:12♥ Do have faith in what you're doing. ❯