40.1K
7773
归纳偏好
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上等效的假设所迷惑，而无法产生确定的学习结果。归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发或价值观。奥卡姆剃刀原则是一种用来引导算法确立正确偏好的常用原则。它的基本含义是如果有多个假设与观察一致，则选择最简单的那个。奥卡姆剃刀原则并非唯一可行的原则。归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设，在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。
