Hadamard 变换：数学基础、随机旋转与量化码本
从二维矩阵出发，逐步构造高阶 Hadamard 矩阵，解释归一化、正交性与通道能量重分配。随后比较随机符号 Hadamard 与 Haar 随机正交变换，推导旋转后分布与量化码本的关系，并通过 Lloyd–Max 的边界、质心更新及 NumPy 程序，建立完整的数学与量化基础。
从正交变换理解旋转量化
低比特量化需要把连续数值映射到有限的表示范围。通道之间的能量分布、共享尺度和量化码本，共同决定这一过程带来的误差。Hadamard 变换提供了一种结构化的正交变换：通过重新混合通道，并在激活与权重之间建立配对，可以保持精确计算的结果，同时改变量化所面对的数值分布。
本系列从矩阵构造、正交性和随机旋转讲起，介绍分块结构、符号翻转、通道重排与可学习旋转，继而梳理 LLM 与 AIGC 生成模型（包括 DiT）中的旋转量化方法，最后讨论蝶形算法、GPU 执行与 FP8 部署等工程优化。每一步都围绕具体问题展开，用推导、数值例子、论文与代码说明方法如何构成、误差如何比较，以及效果和性能如何验证。
HADAMARD 系列文章
从基础到量化优化
已发布 3 篇。
Hadamard 变换：分块结构、符号翻转与通道重排
完整 Hadamard 变换受到维度构造、计算成本与输入分布的共同影响。本文从这些问题出发，介绍分块矩阵、Regular Hadamard、符号翻转、通道重排和多级组合，推导激活与权重的配对关系，并用相反的数值例子说明：混合范围扩大，并不必然降低量化误差。
Hadamard 变换：从量化误差到可学习旋转
精确算术下等价的坐标变换，经过量化后会产生不同的输出误差。本文从线性层的小矩阵计算出发，分析旋转块、量化组与共享尺度的关系，建立校准候选的比较方法，再推导稠密正交矩阵、可学习蝶形及通道缩放的参数化与配对规则，说明如何围绕实际量化目标选择和优化变换。