孔子说,温故而知新。今天重读陆汝钤院士的六问。感触颇多,特转发给大家。
厚德载物,厚积薄发;根深叶茂,根正苗红。问渠哪得清如许,唯有源头活水来。大师风范,站立的角度不一样,一些深度思维需要细细品味。我们需要清冷的思考,切问而近思。

在人工智能界有一种说法,认为机器学习是人工智能领域最能体现智能的一个分支。从历史来看,机器学习似乎也是人工智能发展最快的分支之一。在二十世纪八十年代的时候,符号学习可能还是机器学习的主流,而自从二十世纪九十年代以来,就一直是统计机器学习的天下了。不知道是否可以这样认为:从主流为符号机器学习发展到主流为统计机器学习,反映了机器学习从纯粹的理论研究和模型研究发展到了以解决现实生活中实际问题为目的的应用研究。这是科学研究的一种进步。
平时由于和机器学习界的朋友接触多了,经常获得一些道听途说的信息以及专家们对机器学习现状及其发展前途的评论。在此过程中,难免会产生一些自己的疑问,我借此机会把它写下来,算是一种“外行求教机器学习”。
问题一:在人工智能发展早期,机器学习的技术内涵几乎全部是符号学习,可是从二十世界九十年代开始,统计机器学习犹如一匹黑马横空出世,迅速压倒并取代了符号学习的地位。人们可能会问:在满目的统计学习期刊和会议文章面前,符号学习是否被彻底忽略了?它还能成为机器学习研究的对象吗?它是否将继续在统计学习的阴影里生活并苟延残喘?对这个问题有三种可能的答案:一是告诉符号学习:你就是该退出历史舞台了,认命吧!二是告诉符号学习:你的一言堂应该关门了!单纯的统计学习已经走到了尽头,再想往前走就要把统计学习和符号学习结合起来。三是事物发展总会有“三十年河东,三十年河西”的现象,符号学习还有“翻身”的日子。第一种观点我没有听人明说过,但是我想恐怕有可能已经被许多人默认了。第二种观点我曾听王珏教授多次说过,他并不认为统计学习会衰退,而只是认为机器学习已经到了一个转折点,从今往后,统计学习应该和知识的利用相结合,这是一种“螺旋式上升,进入更高级的形式”,否则,统计学习可能会停留于现状而止步不前。王珏教授还认为:进入转折点的标志就是koller等的《概率图模型》一书的出版。至于第三种观点,恰好我收到老朋友,美国人工智能资深学者、俄亥俄大学chandrasekaran教授的来信,他正好谈起符号智能被统计智能“打压”的现象,并且正好表达了河东河西的观点。原文翻译如下:最近几年,人工智能在很大程度上集中于统计学和大数据,我同意由于计算能力的大幅提高,这些技术曾经取得过某些令人印象深刻的成果,但是我们完全有理由相信,虽然这些技术还会继续改进、提高,总有一天这个领域会对它们说再见,并转向更加基本的认知科学研究。尽管钟摆摆回去还需一段时间,我相信定有必要把统计学习和对认知结构的深刻理解结合起来。看来,chandrasekaran教授也并不认为若干年以后AI真会回到河西,他的意见和王珏教授的基本一致,但不限于机器学习,而是涉及整个人工智能只是王珏教授强调知识。而chandrasekaran教授强调更加基本的“认知”。
问题二:王珏教授认为统计机器学习不会“一路顺风”的判据是:统计机器学习算法都是基于样本数据独立同分布的假设,但是自然界现象千变万化,王珏教授认为“哪有那么多独立同分布?”这就引来了下一个问题:“独立同分布”条件对于机器学习来讲真的是必需的吗?独立同分布的不存在一定是一个不可逾越的障碍吗?无独立同分布条件下的机器学习也许只是一个难题,而不是不可解问题。我有一个“胡思乱想”,认为前些时候出现的“迁移学习”也许会对这个问题的解决带来一线曙光,尽管现在的迁移学习还要求迁移双方具备的“独立同分布”条件,但是不同分布之间的迁移学习,同分布和异分布之间的迁移学习也许迟早会出现?
问题三:近年来出现了一些新的动向,例如“深度学习”、“无终止学习”等等,社会上给予了特别关注,尤其是深度学习。但它们真的代表了机器学习的新的方向吗?周志华教授在内的一些学者认为:深度学习掀起的热潮也许大过它本身真正的贡献,在理论和技术上并没有太多的创新,只不过是由于硬件技术的革命,计算机的速度大大提高了,使得人们有可能采用原来复杂度很高的算法,从而得到比过去更精细的结果。当然这对于推动机器学习应用于实践有很大意义,但我们不禁斗胆问一句:深度学习是否又要取代统计学习了?事实上,确有专家已经感受到了来自深度学习的压力,指出统计学习正在被深度学习打压,正如我们早就看到的符号学习被统计学习所打压,不过我觉得这种打压还远没有强大到像统计学习打压符号学习的程度,这一是因为深度学习的“理论创新”还不明显,二是因为目前的深度学习主要适合于神经网络,在各种深度学习方法百花齐放的今天,它的应用范围还有限,还不能直接说是连接主义方法的回归;三是因为统计学习仍然是机器学习中被有效地普遍采用,“得到多助”,想抛弃它还不容易。
(未完待续)

