数据是否总需要标注?
数据是否总是需要标记?
答案是不一定需要。机器学习算法中,很多都属于监督学习算法或无监督学习算法。
例如,当你想要区分照片中的狗、猫或猩猩时,你可以向机器学习模型提供已经标记为狗、猫或猩猩的照片。同样,如果你想为作文打分,可以输入许多已批改并标记了分数的作文。在这些情况下,我们都知道预期的输出结果是什么:比如狗、猫、猩猩或者分数等级A+、A、A-、D…
在训练过程中,如果提供了标记数据,算法会尝试找到一个函数或数学模型,将输入与预期的输出相匹配。这通常意味着程序员会试验不同的算法,以找到最佳的匹配函数。标记数据在这个过程中起到了监督或指导的作用,确保算法所选的函数是有效的1。如果函数的输出与标记数据不符,算法就需要寻找更好的匹配方式。
然而,标记数据是一个既耗时又昂贵的过程,往往需要雇佣人力来完成。如果我们只是希望从数据中发掘出某种模式,但又不清楚具体会找到什么样的模式,那么我们就无法事先为数据打上标签。这时,无监督学习算法就派上了用场。
无监督学习算法不是试图将输入与预期的输出相匹配,而是努力在数据中寻找规律,以便将输入数据自动分组到不同的类别中1。例如,银行会利用无监督机器学习来检测信用卡交易中的欺诈行为。由于每分钟都有大量的交易发生,而且我们不可能手动检测每个交易并标记为欺诈行为,因此,我们依赖机器学习算法自动发现这些欺诈行为的模式。同样,将学生按照一定数量进行分组,或者在网络中的活动流数据中找出恐怖主义活动,也是无监督学习能够解决的问题。
1 Kelleher, J.D, Tierney, B, Data Science, London, 2018.