大数据里的真命题和伪命题

转自：http://www.csdn.net/article/2015-02-15/2823966

不可否认，大数据将深刻改变世界，但从目前的许多讨论来看，人们似乎对大数据使用的边界产生了误解。本文旨在具体探讨大数据可以做什么和不能做什么的原则。

大数据与预测

人们总是想预测未来，因为经济效益会非常大。因此，他们经常看到大数据和票房预测的故事，有时准确，有时不准确。

大数据确实可以用于预测，但影响能力边界的关键因素是索罗斯经常提到的反身性。反身性理论是参与者的思维和参与的场景是相互联系和影响的，不能相互独立。认知和参与是一个永恒的变化过程（百度百科）。反身性之所以对预测产生影响，是因为它会导致不连续的变化。

这在逻辑上很容易理解。当一个事物不断变化时，更容易计算它的未来状态，比如汽车。只要我们知道它的速度，就更容易预测它的下一个位置。但如果是一个充满突然变化的混沌系统，这个预测就很难实现。如果汽车应该运行良好，突然一架飞机从天而降，它不会出现在最初预测的位置。所以在做预测的时候，第一个关键是系统是否是一个混沌系统。在一个充满事故的混乱系统中，基于数据的预测是无效的。而反身性是导致混沌蝴蝶出现的关键因素。

当我们观察一个系统并采取行动时，系统本身会因为我们的观察和行动而改变，这就是反身性。当每个人都这样做时，被观察和操作的系统就变成了一个混沌的系统。金融市场已经充分证明了这一点。如果大数据在预测上没有边界，只要掌握大数据并应用技能，金融市场上没有人不会赔钱。不过，这显然是不可能的，最多，输赢的概率因人而异。

容易预测，不容易预测

如果现实更多地依赖于某些不变的因素，例如文化传统或生物特征，那么这种现实是很容易预测的;如果一个现实更多地依赖于可以瞬间改变的因素，比如人的情绪，那么这个现实就不容易预测，甚至不可预测。

具体来说，人们生病后会寻找自己的相关症状，传染病就会传播。因此Google利用大数据监测传染病的爆发区域并预测其可能的传播路径是非常有效的。反身性在这里没有发挥重要作用。

但是股票不好是因为你在预测，别人也在预测，买家和卖家的行为不一致，这会使股市成为一个混乱的系统。如何利用大数据预测国内股市的上涨？

与传染病和股市相比，电影票房的可预测性介于两者之间。它得到了必然性的支持。比如，一部基本垃圾的电影很难有好的票房，但偶然性也有很大的影响。很难预测，戳人神经的点会突然变得愤怒。谁能预测泰国的命运10十亿元的票房呢？所以我的判断是，在票房预测中，无论大数据如何发展，都会始终处于灵活不灵活的状态，因为这根本不是技术问题。

总之，反身性较大的区域不太可能预测，而反射性较大的区域在预测方面更有帮助。

监控和预测

大数据在预测中必须面对自己的边界问题，但它在监测方面的力量是无限的。

我们世界的数字化程度肯定越来越高。当我们活跃在社交网络上时，它实际上是我们自己一个持续的数字化过程。我们的偏好、人际关系、日常活动等。不断被数字化。如果可穿戴设备和智能家居发展起来，将会有更多的数字化。

我一直坚持互联网时代方法论系列文章中的观点，即互联网正在产生一个与现实世界平行的意识空间，就像黑客帝国一样，它是数据驱动的。理论上，这个空间中不存在信息不透明这样的东西，空间和时间不再是信息流动的障碍。所以不管你喜不喜欢，面对数字化，每个人都在变得透明，这意味着100%可监测。

监控和预测间的桥梁是必然逻辑和直觉，直觉依赖于个人才情天分，这放在一边不提，主要谈下必然逻辑。有必然逻辑在事情就有了发生的可能性，但不一定发生。这点比较不好理解，我们来看个例子：

我们说到微信，更容易关注张小龙创造产品的能力，而往往容易忽略马化腾和张晓龙是创造微信的组合。从公开报道可以看出，当时腾讯内部有很多团队同时在开发移动设备。IM而这项投资很可能是基于“移动互联网是真正的互联网，腾讯必须在移动互联网上”这一事实。IM在占据优势的假设下，马化腾还出现了所谓的灰度理论，导致多支队伍同时晋级。如果没有这样的顶级设计，我认为更多的公司更有可能进入移动版本。QQ做微创新，进一步陷入创新者的困境。

如果用抽象的点来分解这个例子，我们可以说移动互联网的发展可以从大数据中感知，因为只要做好充分的监测，这种趋势就可以在早期阶段从数据中感知到。但判断移动互联网是否是真正的互联网，就要看当事人的角度，再进一步决定微信和手机同时做。QQ这是上述逻辑的结果。在决定创办微信的时候，马化腾甚至其他大佬都不知道一定会成功，否则大家肯定不会做别的，把注意力集中在微信上。但微信确实是移动互联网才是真正的互联网这一必然逻辑的衍生物，相当于预测了未来的后果。这就是大数据、监控、必然逻辑和预测之间的关系。

结束语

大数据方兴未艾，但在使用时最好也考虑其能力边界，否则可能会因为某一点的故障而怀疑大数据本身，损失得不偿失。随着数字化程度的提高，反身性的作用可能会变得越来越重要，因此，世界将变得越来越像一个混沌系统。在这个趋势下，我相信前面提到的监控和必然逻辑的结合应该对如何使用大数据有所帮助。

作者介绍： 李志勇，《互联网时代的方法论》、《完美软件开发：方法与逻辑》、《程序员生存法则》作者，微信订阅号：zuomoshi（琢磨问题）