深度学习中,是否应该打破正负样本1:1的迷信思想?

2024-04-29

Q: 深度学习中,是否应该打破正负样本1:1的迷信思想?

A: 正负样本1:1背后是让Loss收敛的目标,是一个形象的说法:1 + (-1)=0或者x * 1/x = 1,认为在Loss的表示下,对一定数量的正(负)样本,可以找到另外的成关系数量的负(正)样本,使得在Loss作用下得到一个“单位元”(或者说“零元”/“收敛因子”),因此要让Loss收敛就需要查找正负样本隐含的数量关系,而1:1是对很多简单分类问题很常见的数量关系而已。  题主说正负样本有极不均衡的场景,但又谋求让自己的拟合符合1:1样本数量的规则,有没有可能对正负关系的切入角度不够合理,可以在最开始的数据表示方面多想想,看看换一种样本的度量方式行不行。