最近发布
新加入的笔记和 Blog,按时间从新到旧排列。
查看近期修订精读 Attention Is All You Need:原始 Transformer 论文
按原文顺序读 Vaswani 等人 2017 年的论文:它要解决的并行与长程依赖问题、缩放点积与多头注意力、位置编码、训练配置,以及表 1–4 的结果。
推测解码:草稿、验证与实际加速
先查本地运行时怎样开启推测解码,再用概率校正与耗时算例理解它何时真正提速,比较链、树和自推测。
向量索引:精确搜索、HNSW 与 IVF
从距离度量和精确基线出发,理解 HNSW、IVF 怎样减少比较,并用近邻召回率衡量代价。
平衡搜索树与有序查询
从查询、旋转和后继替换理解二叉搜索树,再用红黑不变量约束高度并比较有序容器。
图的存储:边列表、邻接表与邻接矩阵
用同一张小图比较三种表示的空间与操作成本,处理重复边、自环和孤立顶点,并选择适合算法的存储方式。
哈希表:碰撞、装载率与扩容
用一次包含删除和重建的碰撞追踪,理解哈希表的键约束、存储方式与期望及摊销成本。
追踪一次网络请求:DNS、连接、TLS 与 HTTP
从域名解析到 HTTP 响应,理解地址、端口、证书、代理和 localhost,并按失败层定位问题。
进程、地址空间与内存
从程序的运行与退出,到分页和资源继承,理解进程怎样使用内存,以及进程、容器与虚拟机的边界有何不同。
关系型数据、SQL 与事务
用订单与库存实例理解表、键、连接、NULL、约束、索引,以及并发事务和外部副作用的边界。
Python 并发与 Asyncio:任务归属、等待和取消
选择协程、线程或进程,理解协作调度与共享状态,并用有界队列处理超时和失败。
约束最优性与对偶证书
用一个二维二次规划算出最优点、活跃约束和乘子,逐项验证 KKT,并用原始–对偶间隙证明最优性。
计数与组合证明
从明确计数对象出发,用双射、双重计数、容斥和鸽巢原理求解有限问题,并判断搜索与输出的成本。