null 深度学习之美(张玉宏)——第三章 机器学习三重门 - K码农

 2019-06-13 19:39:24 ——读书笔记1 ——机器学习三重门(监督学习,半监督学习,非监督学习)


 

一、监督学习

  监督学习基本上是“分类”的代名词,用训练数据集合学习得到一个模型,然后再使用这个模型对新样本进行预测。根据目标预测变量的类型不同,监督学习大体可分为回归分析和分类学习。回归分析通常用最小二乘法求解,分类算法中比较著名的有K近邻,支持向量机,朴素贝叶斯分类器,决策树,BP 反向传播算法等。

  以KNN为例,KNN属于惰性学习,它没有显式的训练过程,在训练阶段仅仅将样本保存起来 ,所以训练时间开销为零。待收到测试样本时,才开始处理。 与之相反的是,在训练阶段就“火急火燎”地从训练样本中建模型、调参数的学习方法,称为”急切学习“。给定某个待分类的测试样本,基于某种距离(如欧几里得距离),找到训练集合中与其最近的K个训练样本,然后基于这K个最近的“邻居” (K为正整数,通常较小),进行预测分类。

二、非监督学习

  非监督学习本质上是”聚类“如果说分类是指根据数据的特征或属性,分到已有的类当中, 那么,聚类一开始并不知道数据会分为几类,而是通过聚类分析将数据聚成几个群。比较有名的非监督学习算法有:均值聚类, 关联规则分析,主成分分析, 随机森林,受限玻尔兹曼机。目前,用在深度学习里,最有前景的无监督学习算法是 Ian Goodfellow 提出来的“生成对抗网络”。

  以K均值聚类为例,聚类的关键是“相似”性度量,不同的相似性标准会产生不同的分类结果。如:同样是人,相似是按年龄还是按性别划分就会有不同的聚类结果。同一个聚类算法只能用一种数据表示,否则无法度量相似性。评估环节是聚类和分类最大的差异之处,分类有明确的外界标准,是猫是狗一目了然,而聚类的评估, 显得相对主观。K均值聚类的目的在于,给定K个期望的聚类个数和包括N个数据对象的数据集合,将其划分为满足距离方差最小的K个类。

三、半监督学习——中庸之道

  远离父母、走出校园后(少量监督学习),没有人告诉你对与错,一切都要基于自己早期已获取的知识,从社会中学习扩大并更新自己的认知体系(无监督学习),然后当遇到新事物时,我们能泰然自若处理,而非六神无主。半监督学习就是以“己知之认知(标签化的分类信息),扩大未知之领域(通过聚类思想将未知事物归类为己知事物)”隐含了一个基本假设一一聚类假设,其核心要义就是 :相似的样本,拥有相似的输出。常见的半监督学习算法有生成式方法,半监督支持向量机,图半监督学习,半监督聚类等。半监督学习既用到了监督学习的先验知识,也吸纳了非监督学习的聚类思想, 二者兼顾。

四、强化学习

  “强化学习”亦称“增强学习”,但它与监督学习和非监督学习有所不同,强化学习强调在一系列的情景之下,选择最佳决策,它讲究通过多步恰当的决策,来逼近一个最忧的目标 因此,它是一种序列多步决策的问题。强化学习的设计灵感源于心理学中的行为主义理论,即有机体如何在环境给予的奖励或惩罚剌激下,逐步形成对剌激的预期,从而产生能获得最大利益的习惯性行为。简单地说就是”好孩子是表扬出来的“。强化学习也使用未标记的数据,它可以通过某种方法(奖惩函数)知道你是离正确答案越来越近,还是越来越远。

五、关于人工智能的思考

  机器学习的研究还分为三大流派:连接主义、行为主义和符号主义。

  连接主义的主要代表形式是人工神经网络,它的处理对象是原始的数据,这部分研究包括深度学习的最新进展。

  行为主义的代表形式就是强化学习方法,Alphago zero即为一个成功的例子,但其成功的规则并不能说明可以广泛适用于其他人工智能领域。其一是因为AlphaGo Zero 依靠规则明确的围棋,自动生成了大量的、 训练自己的数据 ,而人类的智能表现,大多是在非明确规则下完成的,也无须大数据来训练自己的智能。举个例子:你一辈子能谈几次恋爱(屈指可数吧),家不是讲理(规则)的地方,谈恋爱也不是吧?其二是因为围棋属于一种彼此信息透明、方案可穷举的全信息博弈游戏 然而,人类的决策,大多是在信息残缺处境下做出的。所以想把它的强化学习经验迁移到信息非完备的场景,还有很长的路要走。

  符号主义的代表形式是专家系统和知识图谱。近来又有“老树发新芽”之势,特别是知识图谱,在智能搜索领域有着广泛的应用。

  从三大流派处理的对象来看,有某种递进的关系:数据-->信息-->知识。作为小白的我呢,也不期望能给人工智能做出多大贡献,会用就行,如果你也是这条路上的小伙伴,那我们一起加油吧。


 

注:以上文字借鉴书中内容,详细资料请参见正版图书《深度学习之美》张玉宏。