论了半天AI的可行性，接下来就是怎么操作了。所谓名不正则言不顺，又所谓顺天者昌逆天者亡。我们做这个AI，必须师出有名，也就是有一个优化目标，而且这个优化目标必须符合宇宙运行的原理。在这个目标的指导下我们具体操作起来才能事倍功半。这里先给个摘要。
我多年思考的结论就是，最适合作为一个genericstrong AI的优化目标就是：max(I), I=信息。
这个目标基于下面三个原理：1. 宇宙的趋势是熵增，谁让熵增快谁就更高级。
例1. 狼vs羊。羊吃草，熵增慢，狼吃羊，熵增快，狼比羊更高级。
例2. 中国vs美国。随便查了个耗电量。
https://en.wikipedia.org/wiki/List_of_countries_by_electricity_consumption
从总体耗电量看，中国比美国更高级。
从per capita看，美国比中国更高级。
所以我们设计一个AI，熵增未必是直接目标，但是一个好的目标在优化过程中必然导致很快很大的熵增。
2. Passive AI 等价于信息压缩。
或者说是降低信息存储的成本。这个可以参考我之前的文章。
http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
以及这个
https://en.wikipedia.org/wiki/Hutter_Prize
可以说，压缩做到了极致，就是AI。
比如对一堆质点进行机械运动的数据进行压缩，压缩到极致就是牛顿定律+初始状态，intelligence就出来了。
这里说的是passive AI。至于active AI，也就是装备了AI的agent，那还要考虑信息获取的成本和策略等等。这方面目前还没有研究。前面有人讨论人的happiness。其实抛开生殖相关的那套东西，人的很多happiness也是来源于信息的获取。比如人脑乍看到一个新鲜东西会很干兴趣，因为信息增加了。同一个东西看多了会变得boring，是因为没有新增的信息了。有时候看到一个笑话，两个不相关的东西因为某种出乎意料的原因联系起来了，这种意外的神经连接很可能导致大脑存储成本的急剧降低，刺激是如此强烈以至于人会笑出声来。这一套reward系统我觉得对active AI同样适用。
3. 信息=负熵。
极大的信息获取必然导致AI系统外部极大的熵增。这一点目前小规模的passive AI系统体现不出来。但是这个保证了AI发展到一定程度后可以“顺天者昌”。
目前用GPU训练的神经网络，我觉得其实真的是非常小儿科。按照我的预测，下一步的AI很可能需要涉及大规模存储。在算法上，这个需要人们开发出一个可以拼接的神经网络。
目前的多层神经网络是没法拼接的，中间任意一层结构改了，整个网络，至少后续部分都得重新训练。这就决定了一个神经网络的capacity不可能太大。一旦拼接的问题解决了，再配以早就已经研究成熟的大规模信息索引技术，AI的能力将获得极大的扩展。
神经网络的fragment也就是知识点，将被以graph的形式存储在磁盘/内存里并且以social network的方式被索引。我预期创造性AI（写文章）很可能依赖这种拼接技术。
我在股版吹过，NVDA的硬件很可能会被取代也是基于这种思考。
干掉NVDA的，我觉得不太可能是Google的TPU。而是神经网络从稠密化向稀疏化，从紧耦合到松耦合的转化导致的软硬件架构的根本性改变。
再具体一些。
我统计过，目前的CNN的神经元状态其实是非常稀疏的，其中绝大部分都是0。换句话说，GPU进行的大量运算都是在做无用功。
实际有用的计算量，GPU其实比CPU高不了太多。未来几年内，GPU vs CPU+大内存 势必还有一战。最后很可能是Intel在CPU内引入某种GPU的计算能力后，以大内存优势胜出。而且一般来说，计算速度上的劣势可以通过大内存来弥补，只是算法要具体研究。
评论 (0)