”也没能通过图灵测试。
2010年,机器学习领域,开始出现一个新词,那就是人工神经网络。
饶大脑是靠超过100亿个神经元,通过网状链接来判断与传递信息,虽然每个神经元都很简单,但是组合起来就可以判断复杂的信息,所以科学家就用这种模拟人脑的方式来设计底层模型。
输入信息后,通过隐藏神经节点来判断与传递信息,其实这种模型早在1960年就有科学家提出,但是人工神经网络需要两个东西支撑,大量的数据和强大的算力,2010年前,条件并不具备。
2010年后,有了大量的数据,算力也成指数级提升,科学家就发现这种模式特别容易处理人类一看就知道或者凭直觉就能知道的事,比如人脸识别。
在这之前让电脑通过图片判断某人身份根本就不可能,用人工神经网络就能轻松解决这个问题。
这种类似的方案比如声音识别,自动驾驶,包括之前流行的ALphAGo都是基于人工神经网络开发的,并且落地应用效果非常好,遗憾的是在文字处理上,效果差上许多,甚至比不过匹配模式。
因为这种机器学习,通常使用的是循环神经网络,俗称RNN来处理文字,底层处理方式是一个词一个词的处理,没办法进行大量学习。
直到2017年谷歌发表一篇论文,提出了一种新的学习框架transformer,有效解决机器不能同时学习的问题。
有了transformer后,机器学习就像打通任督二脉,在文字学习上实现巨大飞跃。
“看来,我们都是站在别人肩膀上才能发展起来!”