空间数据挖掘与空间大数据的探索与思考（四）
讲完了空间统计学和数据中心，我来讲一讲业界很多政府官员以及我对大数据的认识和理解，因为我现在在ESRI中国主要做大数据，他们对大数据有一些什么样的认知呢？
第一种认识，数据量大就是大数据，这是我去交流的时候很多用户提到的，动辄说大数据，就是我们有XX亿条，XXTB数据，所以我们就是大数据。还有说我们要做大数据项目，先要弄够多少多少量的数据，才行。
第二种认识是不用传统数据库就是大数据，很多单位认为大数据不能用传统数据库存储，用了数据库就不能叫大数据。
第三种认识是培训届的一个认识，大家只要在互联网上搜大数据培训，那么马上会跳出来两个名词——Hadoop和Spark，他们认为只要用了Hadoop和Spark就是大数据。
第四种认识是人多力量大——多台机器并行就是大数据，这也是我们一些人的传统思维。
说到人多力量大，实际上我跟一些写小说的朋友们做过一个很有趣的评估，说一个人若有两个人的综合素质，是不是只可能打得过两个人？其实不是的，在格斗界有句话，叫做“高上一点，就高到无边”，如果一个人有普通人的两倍综合素质，实际上一两百个人，他都全部杀完也就是个时间问题。为什么？如果我有你的两倍综合素质，也就说明你所有动作在我这里都是放慢二分之一的慢动作，我所有的力量都是你的两倍，你打在我身上跟挠痒痒一样，我打你一拳你就飞了。依此类推，如果一个人有普通人十倍的力量，用小说上的一句话来说就是可以一人屠军、一人灭国。
所以说，很多台机器并用就是大数据吗？在某些运算的时候，一百台机器一起也不如一台有两倍或者三倍性能的机器。大家知道，中国战斗机的发动机马力不够，有没有任何一个军方设计师会想装一个发动机马力不够，装四个发动机就可以了？我估计没有哪个设计师敢这样做。在现实生活中我经常碰到有些领导提出，我们的数据算一下要两个小时，你能不能在两分钟之内给我算完？要多少台机器你说，给你100台，够不够？我回答是我从北京坐火车到武汉要四个小时，我给你买四张火车票你一个小时把我送到武汉去可以吗？
所以说并行不是万能的。以上是我经常遇到的四个对大数据的错误认知。
实际上对大数据的认知已经超出了科技的范畴，更多地进入一个哲学层面，这里我列出了大数据的11个V（见下图）。我们知道美国人写文章和中国人写八股文很像，中国人很喜欢写一二三四、甲乙丙丁，美国人喜欢写3W4C5H，这11个V也是美国人提出来的。
实际上很早以前，密西根大学有两位学者就提出了大数据与传统数据的不同，他们给出了十个不同的论断，分别是目标、位置、数据结构、数据准备、数据生命周期、衡量、可重复性、成本、内省、分析。我解释一下最简单的位置，这个位置指的是数据存放的位置。谈大数据大家都会谈到微博，大家知道发出的一条微博存放在哪台服务器的哪个硬盘里吗？不知道。按照传统方式，做数据分析必须要知道物理路径。现在要分析新浪微博的存放位置，我们用URL、一个统一资源定位符就可以获取到数据。不需要知道数据的物理存放位置在什么地方，你只需要利用资源定位符获取到它，包括未来的数据中心的概念也是这样，我们通过各种资源定位符获取数据，而不需要知道它存在哪张盘的文件夹下。
（待续未完）
转载自：https://blog.csdn.net/allenlu2008/article/details/79603476
