Methods-贸泽技术与解决方案杂志，及时了解技术创新与工程设计方面的重要资讯。
Issue link: https://trendsintech.mouser.com/i/1540278
阵稀疏，需要专门的库或硬件才能 实现高效计算，因为不规则的稀疏 性可能会导致通用硬件效率低下。 量化 量化将高精度权重（如32位）转换为 较低精度（如8位甚至二进制精度），可 以节省内存，并利用硬件加速器加快 计算速度。其中一种方法是后训练量 化（PTQ），这种方法无需重新训练即 可量化预训练的浮点模型。后训练方法 的一种变体是动态范围量化，它将权重 量化为较低精度，但推理过程中的激 活值仍为浮点数。另一种变体是全整数 量化，即权重和激活值都量化为整数。 另一种方法是量化感知训练（QAT）， 即在训练过程中加入量化。此举可 以在训练过程中模拟低精度计算，从 而尽可能降低对精度的影响。 缓解过拟合 过拟合是指ML模型在训练数据上表现 优异，但在它没见过的数据上却表现 得很差。缓解方法包括数据增强，即通 过生成现有样本的转换版本（如旋转 图像）来扩充数据集，从而提高泛化效 果。对于嵌入式系统获取的传感器数据 （通常是时间序列数据），可通过窗口切 片、抖动和时间扭曲等技术，在序列数 据中引入变化，从而有效缓解过拟合。 其他技术，如L1/L2正则化，则通过惩 罚大权重来减少过拟合。L1正则化将 权重绝对值相加，通过将不太重要的 权重设置为零来提高稀疏性，这也可 以作为一种特征选择。L2正则化将 权重平方和相加，通过将影响分散到 所有特征上来抑制过大的权重，并 提高模型的平滑度。剔除（dropout） 技术会在训练过程中随机移除神经 元，防止过度依赖特定的网络通路。 低秩分解 低秩分解通过将大权重矩阵分解成 更小、更简单的矩阵，从而降低ML模 型的计算和内存需求（图2）。在典型 的神经网络中，权重矩阵可能非常庞 大，会消耗大量内存和处理能力。低 秩分解将这些大矩阵近似分解为两个 或多个较小矩阵的乘积，从而减少需 要存储和处理的参数。这种分解方法 显著减少了前向和后向传递所需的运 算次数，从而加快了推理和训练速度。 高效损失函数 损失函数是一个数学公式，用于衡 量模型的预测值与实际值之间的偏 差。它可以指导训练过程以提高性 能。此类函数包括二元交叉熵、均方误 差（MSE）和铰链损失（Hinge Loss）。 二元交叉熵 这种损失函数通常用于二元分类 任务，其目标是将数据分为两类 （如"是"或"否"、"猫"或"狗"）。 图1：非结构化剪枝会减少节点之间的权重总数。本例中，原始网络（左）包含36个权重，而剪枝后的网络包含23个权重。 权重共享可减少内存中需要存储的唯一权重数量。在剪枝后的网络中，每条线的颜色代表一个特定权重。 （图源：Green Shoe Garage，贸泽重新绘制） | 32