专题课程 针对AI领域几个专业方向的深度课程
-
LLM Agent 架构:ReAct、工具调用、规划、记忆与反思
大语言模型从静态文本预测向动态智能体演进,核心在于构建“感知—决策—行动”闭环。本文深入解析 ReAct 推理行动交替、工具调用协议、思维树规划及反思记忆机制,探讨如何克服长时程任务中的错误累积与上下文限制。通过剖析 CoALA 架构与安全边界,帮助读者系统掌握 LLM 作为控制器的设计范式,实现从知识检索到复杂任务执行的跨越。
-
创业及变现第6课:需求证据的强弱排序
能用自己的话解释访谈、试用、付费与复购不可混为一谈,并完成一个可核查的小练习。
-
学生入门第6课:分类与数值预测有什么不同
能用自己的话解释区分类别和连续数值,并完成一个可核查的小练习。
-
创业及变现第5课:竞品不只有另一家AI公司
能用自己的话解释比较人工、表格和不处理等替代方案,并完成一个可核查的小练习。
-
学生入门第5课:用平均数做第一条预测
能用自己的话解释学习简单基线,并完成一个可核查的小练习。
-
向量数据库核心:近似最近邻搜索(IVF、PQ、HNSW)原理
向量检索是 RAG 系统的核心,但高维数据下的精确搜索成本过高。本文深入解析 IVF、PQ 与 HNSW 三大近似最近邻算法,从维度灾难切入,详解聚类、量化压缩及图结构原理。通过剖析召回率与 QPS 的权衡机制,结合参数调优与工程选型策略,助你构建高性能、低延迟的大模型检索基础设施。
-
RAG 原理与架构:从稀疏检索、稠密检索到重排与生成
大模型参数记忆存在时效滞后、溯源困难及幻觉风险。RAG 通过引入非参数记忆,将知识外置于文档库,实现动态更新与证据可追溯。本文深入解析 RAG 的数学形式化定义,涵盖从 BM25 稀疏检索、稠密双塔到重排与生成的全链路架构,探讨切分策略、分数融合及 HyDE 等高级范式,助您掌握构建高可靠检索增强系统的底层逻辑与工程权衡。
-
创业及变现第4课:把痛点写成可检验假设
能用自己的话解释定义频率、代价与可观察证据,并完成一个可核查的小练习。
-
学生入门第4课:先把数据分好:训练集与测试集
能用自己的话解释考试不能提前看答案,并完成一个可核查的小练习。
-
创业及变现第3课:客户访谈不问你会不会买
能用自己的话解释用过去真实行为代替诱导式许愿,并完成一个可核查的小练习。
-
学生入门第3课:特征:挑哪些线索才有用
能用自己的话解释区分相关线索与无关线索,并完成一个可核查的小练习。
-
IO 感知的注意力:FlashAttention 原理与在线 Softmax
自注意力虽算力密集,却常因中间矩阵频繁读写 HBM 而陷入内存瓶颈。本文解析 FlashAttention 如何利用屋顶线模型识别这一痛点,并通过分块策略将计算留在片上 SRAM。重点推导在线 Softmax 的精确递推公式,对比 v1 与 v2 在并行调度上的差异,揭示如何通过减少 I/O 开销突破带宽限制,实现比近似方法更高效且精确的注意力加速。
-
混合专家模型(MoE):稀疏激活、路由与负载均衡
混合专家模型(MoE)通过稀疏激活打破参数规模与计算量的线性绑定,实现“参数多、计算少”的条件计算。本文深入剖析其核心机制:从门控路由的数学形式,到负载均衡损失的稳定性设计,再到专家并行中的通信优化。我们将梳理从 Switch 到 DeepSeekMoE 的架构演进,解析路由坍塌成因及工程落地陷阱,助你理解 MoE 如何在大模型中高效扩展表达能力并突破算力瓶颈。
-
创业及变现第2课:选一个足够具体的客户群
能用自己的话解释区分使用者、付款者与决策者,并完成一个可核查的小练习。
-
学生入门第2课:给数据起名字:样本与标签
能用自己的话解释认识一条数据与希望预测的答案,并完成一个可核查的小练习。
-
创业及变现第1课:从技术点子到真实需求
能用自己的话解释先验证问题,不从模型名字倒推生意,并完成一个可核查的小练习。
-
学生入门第1课:机器怎样从例子中学习
能用自己的话解释区分人写规则与从样本学习,并完成一个可核查的小练习。
-
推理优化(三):投机解码的数学原理与工程实现
大模型解码常受限于显存带宽,串行生成导致权重反复读取,耗时远超计算本身。投机解码利用这一特性,通过轻量草稿模型快速“猜”出多个候选 token,再由大模型一次性并行“验”证。该机制将多次串行前向压缩为单次并行验证,在严格保证输出分布不变的前提下,显著降低延迟并提升吞吐,是无需重训即可落地的关键推理加速技术。
-
推理优化(二):大模型量化原理——INT8、GPTQ、AWQ 与 SmoothQuant
量化并非简单的精度压缩,而是对显存、带宽与计算资源的重新分配。本教程深入解析 INT8、GPTQ、AWQ 及 SmoothQuant 的核心原理,从均匀量化数学基础出发,剖析激活离群值这一关键难点。通过对比仅权重量化与权重加激活量化的工程路径,揭示二阶误差补偿与通道缩放机制,帮助工程师在精度与吞吐间找到最优平衡,实现大模型推理的高效部署。
-
推理优化(一):KV Cache、MQA/GQA 与显存带宽瓶颈
大模型推理与训练瓶颈迥异:训练重算力,推理重延迟。本文聚焦解码阶段的访存密集特性,深入解析 KV Cache 显存占用公式,探讨 MQA/GQA 如何通过共享 KV 头降低带宽压力,并介绍 PagedAttention 解决显存碎片问题。旨在建立“突破显存带宽瓶颈”的核心认知,为掌握高效推理优化奠定基础。