罗西的思考 - 博客园

会员 周边 新闻 博问 闪存 赞助商 Chat2DB 所有博客 当前博客 我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录 注册 登录 罗西的思考 一手伸向技术，一手伸向生活 博客园 首页 新随笔 联系 订阅 管理 [置顶] 第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》 摘要： 第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》 目录第二本书出版了：《Transformer技术纵深：架构解析与前沿突破》购买链接0x01 由来0x02 收获0x03 感谢0x04 遗憾0x05 打广告 我的第二本书终于顺利出版了。这次是和清华大学出版社合作，本书的策划编辑是 阅读全文 posted @ 2026-04-14 21:06 罗西的思考 阅读(1126) 评论(0) 推荐(3) [置顶] 新书出版：《分布式机器学习——系统、工程与实战》 摘要： ## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  阅读全文 posted @ 2023-07-21 23:50 罗西的思考 阅读(3133) 评论(7) 推荐(3) 2026年11月 《Transformer技术纵深：架构解析与前沿突破》书籍大图（25~33章） 摘要： 《Transformer技术纵深：架构解析与前沿突破》书籍大图（25~33章） 目录《Transformer技术纵深：架构解析与前沿突破》书籍大图（25~33章）0x00 说明0x25图 25-1图 25-2图 25-3图 25-5图 25-6图 25-7图 25-8图 25-9图 25-10图 2 阅读全文 posted @ 2026-11-14 19:30 罗西的思考 阅读(4) 评论(0) 推荐(0) 《Transformer技术纵深：架构解析与前沿突破》书籍大图（13~24章） 摘要： 《Transformer技术纵深：架构解析与前沿突破》书籍大图（13~24章） 目录《Transformer技术纵深：架构解析与前沿突破》书籍大图（13~24章）0x00 说明第13章图13-3图13-6图13-7图13-9图13-10图13-11图13-13图13-14图13-17图13-18第1 阅读全文 posted @ 2026-11-14 19:29 罗西的思考 阅读(4) 评论(0) 推荐(0) 《Transformer技术纵深：架构解析与前沿突破》书籍大图（1~12章） 摘要： 《Transformer技术纵深：架构解析与前沿突破》书籍大图（1~12章） 目录《Transformer技术纵深：架构解析与前沿突破》书籍大图（1~12章）0x00 说明0x01 第一章图1-3图1-8图1-10图1-12图1-13图1-140x02 第二章图2-1图2-2图2-3图2-4图2-6 阅读全文 posted @ 2026-11-14 19:28 罗西的思考 阅读(4) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】MoE (Stable LatentMoE) 交互式演示文档 摘要： # 【轻量化复刻大模型 / KIMI K3】MoE (Stable LatentMoE) 交互式演示文档 目录0x01 实现概述1.1 模块范围1.2 实现思路1.3 运行方式0x02 核心数学2.1 总体公式2.2 子机制分解2.2.1 Width 分离（Latent Bottleneck）2.2 阅读全文 posted @ 2026-11-14 16:41 罗西的思考 阅读(41) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】Stable LatentMoE 梳理 摘要： 【轻量化复刻大模型 / KIMI K3】Stable LatentMoE 梳理 目录【轻量化复刻大模型 / KIMI K3】Stable LatentMoE 梳理0x00 概要0x01. 演进脉络与定位1.1 前身与痛点1.2 同期方案对比1.3 一句话定位0x02. 原理讲解2.1 直觉类比2.2 阅读全文 posted @ 2026-11-13 21:36 罗西的思考 阅读(49) 评论(0) 推荐(1) 【轻量化复刻大模型 / KIMI K3】AttnRes 模块交互式演示 摘要： 【轻量化复刻大模型 / KIMI K3】AttnRes 模块交互式演示 目录【轻量化复刻大模型 / KIMI K3】AttnRes 模块交互式演示0x00 概述0x01 核心数学1.1 Block vs Full1.2 状态机 API0x02 Tab 1: Demo 四联图2.1 目的2.2 Cop 阅读全文 posted @ 2026-11-12 21:28 罗西的思考 阅读(84) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理（2） 摘要： # 【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理（2） 目录0x00 概要0x01 子知识点拆解0x02 子知识点深度分析2.0 共享抽象与设计动机2.1 打分核（scoring kernel）与伪查询2.1.1 原理（三视角）2.1.2 对比基线2.1. 阅读全文 posted @ 2026-11-11 20:41 罗西的思考 阅读(56) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理（1） 摘要： # 【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理（1） 目录0x00 概要0.1 脉络0.2 论文信息0.3 关键图/表索引0.4 注意说明0x01 先懂 AttnRes：残差为什么是瓶颈1.1 标准残差的展开1.2 PreNorm 稀释与信息瓶颈1.3 阅读全文 posted @ 2026-11-10 21:06 罗西的思考 阅读(84) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理 摘要： 【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理 目录【轻量化复刻大模型 / KIMI K3】Gated MLA 梳理0x00 概述0.1 原始论文0.2 直接相关的图/表0.3 本文说明0x01. 演进脉络与定位1.1 脉络1.2 同期竞品1.3 定位一句话0x02. 原理讲解2. 阅读全文 posted @ 2026-11-09 20:28 罗西的思考 阅读(82) 评论(0) 推荐(0) 【轻量化复刻大模型 / KIMI K3】Serve 模块交互式演示 摘要： 【轻量化复刻大模型 / KIMI K3】Serve 模块交互式演示 目录【轻量化复刻大模型 / KIMI K3】Serve 模块交互式演示0x00 概述0x01 核心数学1.1 KDA 投机回放：投影缓存 vs 完整快照1.2 verify_and_replay 重演一致性1.3 KDA 递推核心 阅读全文 posted @ 2026-11-08 15:00 罗西的思考 阅读(93) 评论(0) 推荐(0) 下一页 公告 博客园 © 2004-2026 浙公网安备 33010602011771号 浙ICP备2021040463号-3