issey的博客

在《【NLP】多标签分类》系列的上一篇文章中，我们深入探讨了三种机器学习方法：Binary Relevance (BR)、Classifier Chains (CC) 以及 Label Powerset (LP)，旨在解决多标签分类的挑战。这些方法各展所长，为我们提供了不同角度解析和处理多标签问题的视角。继先前对这些机器学习方法的详尽分析之后，本篇文章转向更为先进的解决策略——专注于序列生成方法，并以Transformer模型的一种变体，即T5预训练模型为核心，进行实验探索。

《【NLP】多标签分类》主要介绍利用三种机器学习方法和一种序列生成方法来解决多标签分类问题（包含实验与对应代码）。共分为上下两篇，上篇聚焦三种机器学习方法，分别是：Binary Relevance (BR)、Classifier Chains (CC)、Label Powerset (LP)，下篇聚焦利用序列生成解决多标签分类方法，将使用Transformer完成该任务。

本文为该系列第三篇文章，也是最后一篇。本文共分为两部分，在第一部分，我们将学习如何使用pytorch lightning保存模型的机制、如何读取模型与对测试集做测试。第二部分，我们将探讨前文遇到的过拟合问题，调整我们的超参数，进行第二轮训练，并对比两次训练的区别。我们还将基于pytorch lightning实现回调函数，保存训练过程中val_loss最小的模型。最后，将我们第二轮训练的best model进行评估，这一次，模型在测试集上的表现将达到排行榜第13位。

本文为该系列第二篇文章，在本文中，我们将学习如何用pytorch搭建我们需要的Bert+Bilstm神经网络，如何用pytorch lightning改造我们的trainer，并开始在GPU环境我们第一次正式的训练。在这篇文章的末尾，我们的模型在测试集上的表现将达到排行榜28名的位置。

本系列将带领大家从数据获取、数据清洗、模型构建、训练，观察loss变化，调整超参数再次训练，并最后进行评估整一个过程。我们将获取一份公开竞赛中文数据，并一步步实验，到最后，我们的评估可以达到排行榜13位的位置。但重要的不是排名，而是我们能在其中学到很多。本文为该系列第一篇文章，在本文中，我们将一同观察原始数据，进行数据清洗。样本是很重要的一个部分，学会观察样本并剔除一些符合特殊条件的样本，对模型在学习时有很大的帮助。

混淆矩阵简介;二分类混淆矩阵;多分类混淆矩阵;准确率、精确率、召回率、特异度；F1-score；示例与代码实现；使用sklearn对比计算结果是否正确

softmax分类器相关公式与步骤;数据集获取;从零开始实现softmax多分类器;使用自己实现的softmax多分类器完成鸢尾花多分类;与sklrean的softmax多分类器作结果对比

简介；如何利用softmax对样本进行分类；明确变量与集合；进一步处理；对label向量化；样本特征的加权组合；softmax函数；损失函数；梯度下降；损失函数求偏导的详细推导；softmax多分类模型的训练流程和预测流程。

推荐阅读；前言；图像正交变换简介；离散傅里叶变换；对图像进行离散傅里叶变换的作用；二维离散傅里叶变换；频谱图；示例；离散余弦变换；简介；基本原理；示例

推荐阅读;前言;霍夫变换概述;霍夫变换直线检测原理;从笛卡尔坐标系到霍夫空间;两点一线的霍夫空间形式;寻找共线的点;直角坐标系存在的问题;极坐标参数空间下的霍夫变换;matlab霍夫变换直线检测示例;检测步骤;示例以及代码;原图边缘检测;对二值图像霍夫变换;寻找霍夫空间中的交点;在笛卡尔坐标系绘制线段;关于houghlines的补充说明;完整代码