MLIR、AI 编译器、推荐系统、计算广告与折腾实践。https://notlate.cn/https://notlate.cn/blog/triton-core-summary/https://notlate.cn/blog/triton-core-summary/1. Triton 1.0：从实验室走向OpenAI工程化落地 资料： 1. 2019 Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations (https://dl.acm.org…Tue, 07 Apr 2026 00:00:00 GMThttps://notlate.cn/blog/tvm-core-summary-3/https://notlate.cn/blog/tvm-core-summary-3/声明：本文纯手写 3. 第三代：MetaSchedule 基于概率编程的全自动框架 资料： Tensor Program Optimization with Probabilistic Programs (https://arxiv.org/abs/2205.13603) 3.1 背景 在Te…Sun, 05 Apr 2026 00:00:00 GMThttps://notlate.cn/blog/tvm-core-summary-2/https://notlate.cn/blog/tvm-core-summary-2/声明：本文纯手写 2. 第二代：Ansor 高性能算子自动生成框架 资料： 2020 Ansor: Generating High Performance Tensor Programs for Deep Learning (https://arxiv.org/abs/2006.06762) …Fri, 03 Apr 2026 00:00:00 GMThttps://notlate.cn/blog/tvm-core-summary/https://notlate.cn/blog/tvm-core-summary/声明：本文纯手写 1. 第一代：AutoTVM 一种端到端的自动优化编译器 资料 2018 TVM: An Automated End to End Optimizing Compiler for Deep Learning (https://arxiv.org/abs/1802.04799)…Sun, 29 Mar 2026 00:00:00 GMThttps://notlate.cn/blog/mlirmemref-dialect-deep-dive/https://notlate.cn/blog/mlirmemref-dialect-deep-dive/本文档基于 Claude Code + Sonnet4.6 (https://zhetengxia.com/) + CodeReaderSkills (https://zhetengxia.com/)完成。 一、MemRef方言概述 设计目的和核心概念 MemRef（Memory Refere…Mon, 23 Mar 2026 00:00:00 GMThttps://notlate.cn/blog/mlir-pass/https://notlate.cn/blog/mlir-pass/本文选取 MLIR 的 Pass Manager （ mlir/lib/Pass/Pass.cpp 及相关头文件）作为解读对象。Pass Manager 是整个编译器的"调度中枢"，它的实现不算很长——核心代码约 2000 行——但几乎每一个设计决策背后都有值得细品的权衡。 一、为什么选这段代…Tue, 17 Mar 2026 00:00:00 GMThttps://notlate.cn/blog/mlirtransform-dialect-deep-dive/https://notlate.cn/blog/mlirtransform-dialect-deep-dive/本文档基于 Claude Code + GLM4.7&Sonnet4.6 (https://zhetengxia.com/) + CodeReaderSkills (https://zhetengxia.com/)完成。 方言完整地图 目录结构 文件规模概览 | 文件 | 行数 | 职责 | …Sat, 14 Mar 2026 00:00:00 GMThttps://notlate.cn/blog/mliraffine-dialect-deep-dive/https://notlate.cn/blog/mliraffine-dialect-deep-dive/本文档基于 Claude Code + GLM4.7 (https://zhetengxia.com/) + CodeReaderSkills (https://zhetengxia.com/)完成。 1. 快速概览 1.1 代码统计 目录结构: 总计: 约 14,332 行 C++ 代码（不…Fri, 13 Feb 2026 00:00:00 GMThttps://notlate.cn/blog/ascendnpu-autofuse/https://notlate.cn/blog/ascendnpu-autofuse/1. 背景 1.1 AI模型演进趋势 现代AI模型架构日益复杂，呈现两个显著特点： 算子细粒度化 ：MoE（混合专家）、多模态模型中大量使用动态小算子组合 结构灵活多变 ：如DeepSeek中的hcPre、hcPost等模块，组合方式多样 1.2 传统方案痛点 手写融合算子面临两大挑战： 开发…Thu, 12 Feb 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-fusion-analysis/https://notlate.cn/blog/mlirlinalg-fusion-analysis/【MLIR】Linalg的通用Fusion优化分析 从宏观到微观，逐步深入理解 Linalg 的 Fusion 优化 1. Fusion 是什么？ Fusion（融合） = 把多个操作合并成一个，减少中间结果的内存读写。 直观示例 ： 相关文件 ： 2. Fusion 的核心概念 2.1 生产…Sat, 31 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/graph-ir-vs-ssa-ir-ai-ssa/https://notlate.cn/blog/graph-ir-vs-ssa-ir-ai-ssa/在编译器和 AI 编译领域，经常会听到 Graph IR 和 SSA IR 。 它们并不是“新旧关系”，而是 解决不同问题的两类中间表示（IR） 。 本文用 直观的方式 解释它们的区别，以及各自适合做什么。 1. 什么是 Graph IR？ 直观理解 Graph IR 像一张“算子连接图” 节…Wed, 28 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-fusepadopwithlinalgproducer-analysis/https://notlate.cn/blog/mlirlinalg-fusepadopwithlinalgproducer-analysis/【MLIR】Linalg中FusePadOpWithLinalgProducer优化分析 本文档基于 MLIR 版本 : 21.1.8分析，代码路径： mlir/lib/Dialect/Linalg/Transforms/FusePadOpWithLinalgProducer.cpp 1. 概…Wed, 28 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/ascgen-mlir-analysis/https://notlate.cn/blog/ascgen-mlir-analysis/Author: 牛玉虎 Date: 2026 01 28 MLIR 是一套提供AI编译器基础设施的框架，其提供了丰富、易用、易扩展的能力。本文主要挑选一些相对Ascgen来说不具备，但是用处比较大的能力来进行介绍。 注：这些能力基本上具备通用性，至于是否适用于Ascend NPU，还需要深入分…Tue, 27 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/how-to-mlir-implement-tile-based/https://notlate.cn/blog/how-to-mlir-implement-tile-based/本文档介绍 MLIR 中的 Tiling 技术，这是优化计算性能的核心方法。即使你对 MLIR 不熟悉，也可以通过本文档学习 Tiling 的概念和用法。 目录 1. 前置知识：MLIR 基础概念 ( 1 前置知识mlir 基础概念) 2. 什么是 Tiling？ ( 2 什么是 tiling…Tue, 27 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/how-to-mlir-loop/https://notlate.cn/blog/how-to-mlir-loop/本文通过一个完整的矩阵乘法示例，讲解MLIR中三个核心Loop优化技术： 1. Loop carried Dependency 分析 识别循环间依赖 2. Loop Unrolling 循环展开 3. Affine Loop LICM 循环不变代码外提 场景：矩阵乘法优化 考虑这个经典的热点场…Tue, 27 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/how-to-mlir-linalg-pack-implement/https://notlate.cn/blog/how-to-mlir-linalg-pack-implement/1. 概述 1.1 什么是 linalg.pack？ linalg.pack 是 MLIR Linalg dialect 中用于 数据布局重排 （Data Layout Relayout）的核心操作。它通过将张量的某些维度分块（tiling）并重新排列，实现三大性能优化目标（ 不仅仅是这3个 …Tue, 27 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/ai-compiler-summary/https://notlate.cn/blog/ai-compiler-summary/请移步GitBook： AI编译器融合技术系统化分类总结 (https://notlate cn.github.io/aicompiler/) 目录及核心内容如下： 0. 全篇概述与阅读建议 0.1 全篇概述 本文旨在深入探讨 编译器融合技术 ，特别是如何在硬件架构 (如GPU 和 NPU) …Sun, 25 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/how-to-mlir-implement-gpu-ascend-npu/https://notlate.cn/blog/how-to-mlir-implement-gpu-ascend-npu/扩展阅读 ：本指南是对《AI 编译器融合技术系统化分类》第 8.3 节“自动调优与调度分离”的深度展开。 1. 核心理念：调度与计算分离 在传统 AI 编译器（如 TVM v1）中，调度逻辑往往硬编码在 C++ 代码中。而在 MLIR 生态中， Transform Dialect 的引入实现了…Sat, 24 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/how-to-mlir-implement/https://notlate.cn/blog/how-to-mlir-implement/1. 背景与动机 在 AI 编译器中， 算子融合（Operator Fusion） 是提升性能的关键手段，旨在通过将多个算子合并为一个内核（Kernel）来减少全局内存（HBM/DDR）的读写次数。 然而，融合并非总是正收益的。盲目融合可能导致严重的副作用： GPU 端 ：导致 寄存器溢出（R…Sat, 24 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlir-sparsetensor-dialect-how-to-analysis/https://notlate.cn/blog/mlir-sparsetensor-dialect-how-to-analysis/在传统编程中， CSR 通常是手动维护的三个数组（ row ptr , col indices , values ）。但在 MLIR 中， 稀疏性 被设计成为 类型系统 (Type System)的一种属性，而不是具体的数据结构实现细节。 1. CSR是什么？ 在传统高性能计算和深度学习系统中…Sat, 24 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlir-how-to-triton-efficient-implement-attention/https://notlate.cn/blog/mlir-how-to-triton-efficient-implement-attention/1. 概述 Flash Attention是一种高效的注意力机制实现，通过 在线算法 和 内存优化 显著减少注意力计算的内存访问开销。MLIR通过其分层设计提供了系统化的实现方式。 1.1 核心思想 1.2 关键优化技术 Tiling : 将大矩阵分成小块在快速内存中处理 Online Sof…Fri, 23 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/iree-flow-dialect-how-to-efficient-qkv/https://notlate.cn/blog/iree-flow-dialect-how-to-efficient-qkv/一、问题动机：为什么 QKV 是 必须 做 Multi output Fusion 的场景 以 Transformer 中最典型的结构为例： $$ Q = X W Q,\quad K = X W K,\quad V = X W V $$ 朴素实现的问题 在“算子级”视角下，这是 三个独立 Ma…Thu, 22 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-3/https://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-3/本文介绍 mlir/lib/Dialect/Linalg/Transforms/ElementwiseOpFusion.cpp 中其他三种关键优化模式： 1. populateFoldReshapeOpsByExpansionPatterns 2. tensor::populateBubble…Mon, 19 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-4/https://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-4/通过此命令可以查看MLIR中关于linalg的所有Pass，本篇主要分析： linalg fuse elementwise ops （ 基于llvm 21.1.8版本 (https://github.com/llvm/llvm project/tree/llvmorg 21.1.8)）。 1.…Mon, 19 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-2/https://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis-2/概述 populateElementwiseOpsFusionPatterns 函数不仅包含核心的 FuseElementwiseOps pattern，还集成了多个辅助优化策略，它们协同工作以最大化融合的效果。 函数定义 （ ElementwiseOpFusion.cpp:2253 2262…Thu, 15 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis/https://notlate.cn/blog/mlirlinalg-elementwiseopfusion-analysis/1 引言 在编译器优化中， 算子融合 （Operator Fusion）是一项关键技术，它通过合并多个连续的计算操作来减少中间结果的materialization，从而降低内存带宽需求并提升缓存利用率。MLIR的Linalg方言提供了强大的算子融合能力，其中 ElementwiseOpFusi…Tue, 06 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirlinalg-producer-indexing-map-permutation-analysis/https://notlate.cn/blog/mlirlinalg-producer-indexing-map-permutation-analysis/1. 问题背景 代码位置 核心问题 这个检查在做什么？ 获取producer输出的indexing map，检查它是否是permutation，为什么？ 2. Permutation是什么？ 定义 Permutation：维度的一一对应重排，每个输入维度恰好对应一个输出维度，每个输出维度恰好来…Tue, 06 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/mlirtensor-vs-memref/https://notlate.cn/blog/mlirtensor-vs-memref/1. 基本概念对比 | 特性 | Tensor | MemRef | | | | | | 语义 | 值语义（Value Semantics） | 引用语义（Reference Semantics） | | 可变性 | 不可变（Immutable） | 可变（Mutable） | | 内存模型 …Tue, 06 Jan 2026 00:00:00 GMThttps://notlate.cn/blog/inductorscheduler-can-fuse-study/https://notlate.cn/blog/inductorscheduler-can-fuse-study/本文深入剖析 PyTorch Inductor 编译器中算子融合（Operator Fusion）的核心决策流程 can fuse ，详细解析融合条件检查、特殊融合类型、优化策略等关键实现。 目录 1. 流程概述 ( 流程概述) 2. 融合决策架构 ( 融合决策架构) 3. 主入口：Sched…Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/inductorscheduler-study/https://notlate.cn/blog/inductorscheduler-study/本文详细解析 PyTorch 2.x Inductor 编译器的核心调度模块 torch/ inductor/scheduler.py ，深入探讨其架构设计、算子融合策略、内存优化技术等关键实现。 目录 1. 模块概述 ( 模块概述) 2. 核心架构 ( 核心架构) 3. 主要类详解 ( 主要…Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/onnx-mlirdimanalysis-study/https://notlate.cn/blog/onnx-mlirdimanalysis-study/DimAnalysis 动态维度分析 1. 概述 DimAnalysis 是 onnx mlir 中用于在 编译时分析动态维度之间等价关系 的工具类。它能够判断两个动态维度在运行时是否相等，从而帮助编译器做出更优的代码生成决策。 2. 核心作用 2.1 消除不必要的广播代码 当两个张量的动态维…Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/onnx-mlirdialectbuilder-study/https://notlate.cn/blog/onnx-mlirdialectbuilder-study/本文深入剖析 onnx mlir 项目中的 DialectBuilder 设计模式，帮助开发者理解如何优雅地构建 MLIR 操作。 1. 引言 在 MLIR 编译器开发中，我们经常需要创建大量的 IR 操作。直接使用 OpBuilder 虽然灵活，但代码往往冗长且容易出错。onnx mlir …Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/onnx-mlirshapehelper-study/https://notlate.cn/blog/onnx-mlirshapehelper-study/本文深入剖析 onnx mlir 项目中的 ShapeHelper 基础设施，帮助开发者理解如何在编译时和运行时计算 ONNX 操作的输出形状。 1. 引言 在深度学习编译器中， 形状推断（Shape Inference） 是核心功能之一。准确的形状信息可以： 在编译时优化内存分配 消除不必要…Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/onnx-mlirindexexpr-study/https://notlate.cn/blog/onnx-mlirindexexpr-study/< IndexExpr 是 onnx mlir 项目的核心基础设施之一，它提供了一套统一的接口来处理编译时常量和运行时动态值，是形状推断和代码生成的关键组件。 1. 引言 1.1 设计动机 在深度学习编译器中，索引计算无处不在： 形状推断：计算输出张量的维度 循环边界：确定迭代范围 内存访问：…Tue, 30 Dec 2025 00:00:00 GMThttps://notlate.cn/blog/custom-domain-redirect/https://notlate.cn/blog/custom-domain-redirect/1. 准备工作 1. 申请个人域名 1. 免费方式：从 ClouDNS.net (https://cloudns.net)上创建账号申请即可，右上角可以选择中文。如果实在不会操作，可以参考： 教你免费注册一个ClouDNS永久域名(保姆级教程） (https://blog.csdn.net/q…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/bid-landscape-bid-landscape-summary/https://notlate.cn/blog/bid-landscape-bid-landscape-summary/市场竞价预估 市场竞价预估的目标是预测每一次请求的市场价格，通常ADX和DSP都使用二价计费，因此市场价格也就是二价（计费价）。 准确地预测市场价格是一个重要的任务。对于ADX来说，每一次广告的请求的计费价都是可知的，因为可以轻易地用回归的方法拟合出。ADX可以用来预估每个DSP的竞价，从而选…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/machine-learning-probability-statistics-knowledge/https://notlate.cn/blog/machine-learning-probability-statistics-knowledge/本文主要记录一下学习推荐模型需要弄清楚的基础概念和知识点汇总，更全面的知识推荐阅读书籍： 《统计学习方法 第2版》 李航 著 《程序员的数学2 概率统计》 平冈和幸 堀玄 著 《程序员的数学3 线性代数》 平冈和幸 堀玄 著 概率 概率分布（单个随机变量） 随机事件数量化之后称为随机变量，随机…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/mobile-advertising-work-summary-adx/https://notlate.cn/blog/mobile-advertising-work-summary-adx/本文主要记录计算广告领域ADX的基础功能和工作中用到的策略。 询价 低价（市场保留价，Market Reserve Price） 公开底价 密封底价 多重低价 静态多重低价 动态多重低价 智能询价（Selective Call Out） 随着接入的DSP越来越多，媒体方的每次广告请求，对于AD…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/mobile-advertising-work-summary-ssp/https://notlate.cn/blog/mobile-advertising-work-summary-ssp/本文主要记录计算广告领域中媒体方增加收入的过程中遇到的问题和解决思路。 广告预加载 问题描述 广告请求本身是一个比较耗时的过程，主要在于网络通信、DSP检索排序广告并出价、ADX竞价等时间。对ADX和DSP而言，希望能放宽时延，以充分发挥召回和排序模型的性能。对媒体而言，希望能减少时延，尽快返…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-09-computational-advertising/https://notlate.cn/blog/notes-computational-advertising-09-computational-advertising/个性化系统框架 计算广告是根据个体用户信息投送个性化内容的典型系统之一 个性化系统的构成部分 用于实时响应请求，完成决策的『在线投放引擎』 离线的『分布式计算』数据处理平台 用于在线实时反馈的『流计算平台』 连接和转运上面三部分数据流的『数据高速公路』 协作流程 『在线投放系统』的日志接入『数…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/mobile-advertising-work-summary-dsp/https://notlate.cn/blog/mobile-advertising-work-summary-dsp/本文主要记录计算广告领域DSP的基础功能和工作中用到的技术与策略简述。由于内容太多，具体方法总结会另写文章介绍。 合约广告（Guaranteed Delivery） 流量预测（Traffic Forecasting） 给定一组受众标签组合和一个ECPM阈值，预估将来某个时间段内符合这些受众标签…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-10/https://notlate.cn/blog/notes-computational-advertising-10/信息检索 倒排索引：从大量文档中查找包含某些词的文档集合 向量空间模型(Vector Space Model, VSM)：最基础最重要的相似度度量方法之一 文档表示方法：用各个关键词在文档中的强度(如TF IDF)组成的矢量来表示文档 词频(Term Frequency, TF)：某文档中，该…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-13-core/https://notlate.cn/blog/notes-computational-advertising-13-core/竞价广告计算法 常用的定价策略 广义第二高价(GSP) 市场保留价(MRP) 价格挤压 最关键的两个计算问题 广告检索 广告排序 搜索广告系统 优化目标 关键技术 查询扩展 意义：需求方通过扩展关键词获得更多的流量，供给方借此来变现更多流量和提高竞价的激烈程度 扩展方法 第五章介绍了精确匹配、…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-14/https://notlate.cn/blog/notes-computational-advertising-14/点击率预测模型 点击率：把点击事件h看成一个二元取值的随机变量，取值为真(h=1)的概率就是点击率 点击事件分布：表示成以点击率μ为参数的二项分布 点击率基础模型：逻辑回归(LR)，在(a,u,c)组合与点击率μ之间建立函数关系，表示成对μ(a,u,c)=p(h=1|a,u,c)的概率建模问题…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-16/https://notlate.cn/blog/notes-computational-advertising-16/创意优化 创意需要将向用户推送广告的关键原因明确表达出来 程序化创意 地域性创意 搜索重定向创意 个性化重定向创意 电机热力图 电机热力图是将某一个创意各位置被点击的密度用热力图方式呈现，帮助创意优化者直观的发现和解决其中的问题 创意的发展趋势 视频化 激励视频形式 交互化 实验框架 一个实用…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-04-recommender-system/https://notlate.cn/blog/notes-recommender-system-04-recommender-system/1. 特征与工程 （1）特征就是对具体行为的抽象，但是抽象过程会造成信息的损失 ① 因为具体的推荐行为和场景中包含大量原始的场景、图片和状态信息，保存所有信息的存储空间过大，我们根本无法实现。 ② 因为具体的推荐场景中包含大量冗余的、无用的信息，把它们都考虑进来甚至会损害模型的泛化能力。 （2…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-05-embedding/https://notlate.cn/blog/notes-recommender-system-05-embedding/1. Embedding是什么 Embedding 就是用一个数值向量“表示”一个对象（Object）的方法 解读1：左边例子，从 king 到 queen 的向量和从 man 到 woman 的向量，无论从方向还是尺度来说它们都非常接近。 解读2：右边例子也很典型，从 walking 到 w…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-computational-advertising-15-core/https://notlate.cn/blog/notes-computational-advertising-15-core/广告交易平台ADX cookie映射 解决供给方和需求方身份对应问题 重点关注三个问题：由谁发起，在哪里发起，谁保存映射 询价优化 对每次展示中询价的DSP数进行精简，尽可能只向那些可能赢得拍卖的DSP询价 两种思路：工程规则思路和带约束的优化问题 需求方平台DSP 实时竞价环境下：提供定制化…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-01-recommender-system/https://notlate.cn/blog/notes-recommender-system-01-recommender-system/1. 深度学习推荐系统基础概念 2. 从0到1搭建深度学习推荐系统 开源项目Sparrow RecSys实操（以Mac为例） （1）安装Scala 2.11（务必是2.11大版本，否则与开源项目设置的版本号不匹配，会有执行失败的问题） （2）下载开源项目Sparrow RecSys git c…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-06/https://notlate.cn/blog/notes-recommender-system-06/1. 高并发线上服务 1. 工业级推荐服务器功能 1. 需要跟离线训练好的模型打交道，把离线模型进行上线，在线进行模型服务（Model Serving）， 2. 需要跟数据库打交道，把候选物品和离线处理好的特征载入到服务器 3. 召回层、排序层、业务逻辑(结果多样性、流行度) 4. AB 测试…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-07/https://notlate.cn/blog/notes-recommender-system-07/基础架构、特征工程、线上服务融会贯通 一张脑图比较大，加载比较慢。 参考资料 《深度学习推荐系统实战》 极客时间，王喆Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-08/https://notlate.cn/blog/notes-recommender-system-08/1. 协同过滤(CF) 1. 里程碑 2003年，Amazon发表论文《 Amazon.com recommendations: item to item collaborative filtering (https://ieeexplore.ieee.org/document/1167344…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-09-study/https://notlate.cn/blog/notes-recommender-system-09-study/1. 深度学习模型拟合能力更强 特征交叉方式中，点积等方式过于简单，在样本数据比较复杂的情况下，容易欠拟合。而深度学习可以大大提高模型的拟合能力，比如在 NeuralCF（神经网络协同过滤）模型中，点积层被替换为多层神经网络，理论上多层神经网络具备拟合任意函数的能力，所以我们通过增加神经网络层…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-10-study/https://notlate.cn/blog/notes-recommender-system-10-study/特征组合和特征交叉问题非常常见，特征的种类非常多，特征交叉的复杂程度也要大得多。解决这类问题的关键，就是 模型对于特征组合和特征交叉的学习能力 ，因为它决定了模型对于未知特征组合样本的预测能力，而这对于复杂的推荐问题来说，是决定其推荐效果的关键点之一。 那特征交叉与深度学习模型的拟合能力有什么…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-11/https://notlate.cn/blog/notes-recommender-system-11/参考资料 《深度学习推荐系统实战》 极客时间，王喆Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-12/https://notlate.cn/blog/notes-recommender-system-12/1. 离线评估 （1）介绍 离线评估是最常用、最基本的。顾名思义就是：我们将模型部署于线上环境之前，在离线环境下进行的评估。由于不用部署到生产环境，“离线评估”没有线上部署的工程风险，也不会浪费宝贵的线上流量资源，而且具有测试时间短，可多组并行，以及能够利用丰富的线下计算资源等诸多优点。 （2…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-recommender-system-13/https://notlate.cn/blog/notes-recommender-system-13/1. Facebook的深度学习推荐系统 2014年，Facebook发表了广告推荐系统论文GBDT+LR。严格意义上讲，这并不属于深度学习的范畴，但在当时，这种方式进行特征的自动组合和筛选，开启了特征工程模型化、自动化的新阶段。并且其在2014年就采用的在线学习、在线数据整合、负样本降采样等…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-01/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-01/ItemCF召回 ItemCF原理 $$ \sum {j} like(user, \, item j) · sim(item j, \, item {候选物品}) \tag{1} $$ 用图表示为： 物品相似度计算方法 $$ sim(i 1, i 2) = \frac{|V|}{\sqrt{|…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-03/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-03/FM 线性模型 设有$d$个特征，记为：$\pmb{X} = x 1, x 2, ... , x d $，则线性模型的表达式为： $$ p = b + \sum {i=1}^d w i · x i $$ 其中，$b$为偏置，总共$d+1$个模型参数。$p$是预测结果，也就是特征和权重参数的加权…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-04/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-04/简单平均 lastN特征 把用户最近n次交互的物品Embedding向量取平均，作为一个用户特征使用。 适用于召回双塔模型、粗排三塔模型、精排模型。 DIN 原理 本质：用加权平均代替平均，也就是注意力机制。 注意力机制不适用于召回双塔和粗排三塔。因为需要用到候选物品，而用户塔看不到候选物品。…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-02/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-02/精排 多目标模型 简单的多目标模型 模型结构 损失函数和训练 问题 数据集通常是类别及不平衡的，比如总共1000次曝光，其中只有100次点击，10次收藏，收藏次数对于曝光来说相差极大。 解决方案：通常使用负样本降采样的方法。 预估校准：负样本降采样之后，就改变了各个目标的实际分布，所以模型的预…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-06/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-06/物品冷启动评价指标 物品冷启动目标 精准推荐：新物品的推荐效果往往比较差 激励发布：新物品得到较多流量后，更容易激励作者。 挖掘高潜：从新物品中挖掘高质量物品。 评价指标 作者指标：发布渗透量、人均发布量等 用户指标：新笔记的交互率、大盘指标（比如日活、月活、时长） 内容指标：新物品中的高热笔…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-05/https://notlate.cn/blog/notes-xiaohongshu-recommender-system-study-05/重排是精排的后处理操作。 物品多样性 相似度度量 基于物品属性标签 基于物品向量表征 （1）双塔模型的物品塔，但是因为头部效应问题导致学不好物品向量表征 （2） 基于图文内容学习 CLIP 基于图文内容的物品向量表征 原理 对于图片 文本二元组数据进行对比学习，预测图文是否匹配。优点是：无需人…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/prior-calibration/https://notlate.cn/blog/prior-calibration/本文主要记录工作中常用的先验校准以及原理推导，算是作为文章《 面向稀有事件的 Logistic Regression 模型校准 (http://vividfree.github.io/机器学习/2015/12/15/model calibration for logistic regressi…Sun, 09 Feb 2025 00:00:00 GMThttps://notlate.cn/blog/work-summary/https://notlate.cn/blog/work-summary/本文主要记录一些工作中的零散总结，供自己翻阅。 alphaFM特点 alphaFM是一位腾讯同学开发的单机多线程的FM工具。GitHub地址：https://github.com/CastellanZhang/alphaFM，详细介绍可以去看下其介绍、原理和优化思路。本人在工作中也用到了这个工…Sun, 09 Feb 2025 00:00:00 GMT