如何识别你看到的数据是否可信？

文/常宁

国内科技圈里从来不缺热点，今天张三李四掐架，明天就是王五马六开撕。而这些也总是给媒体或者自媒体提供源源不断的写作话题。节前，最热的当属今日头条和艾瑞针对数据真实性问题进行的各种舆论较量。

对于事实真相到底是什么，除了双方公司当事人，恐怕没有任何第三方了解真正内幕。所以，媒体甚至自媒体对此事的解读多少都有些臆断，谁对谁错也并非哪方声音高哪方就取胜。所以，我们如果针对此事本身一直聒噪不停的话，那是最没有意义的。

这篇文章并不会针对这件事本身而妄加解读，而希望聊聊跟数据调查有关的那些事儿。

一、“做数据”这份职业，其实是个良心活

先讲个故事。

某个研究机构接到了某家户外广告公司的委托，希望调查一下某城市的户外广告效果情况，主要包括人群接触、注目率等情况。这家公司之所以做这个调查，是因为他们希望通过“比较好的”数据说服更多的广告主投放他家的户外广告，所以他们希望先摸摸底，看看自家户外广告的效果到底如何。

调查到的结果不能说不尽人意，但情况也并未像这家公司预估的那么好。于是，这家公司提出了某些要求，希望把这些能说服客户的“关键数据”做的漂亮一些。但是，被委托的某家研究机构的负责人断然拒绝了，理由是：可以在报告中不展示对该公司不好的数据，但不能故意篡改数据，这是基本的职业道德底线。

我对这位负责人更加尊敬，Ta的话我铭记在心，并且在我日后的任何调查研究项目中，我也要求自己以这样的“无形道德”严格对待和分析数据，否则良心会着实不安。

有人说，真有这个道德存在吗？或许你不信，但真正热爱并敬重数据调查这份职业的人，即便没有人监督，内心时刻都有这样一根线牵引自己。

可能，并无这份道德感存在于心的人，才会怀疑“道德”的存在，才会嘲笑“科学、客观、严谨的态度”是说给别人听的。

当然，国际上或国内的某些数据调查公司可能会因为客户的要求或压力，或者因为金钱利益关系，而存在“定制化数据”的行为（为了某个目的而专门做出的某些调查数据，真实性值得怀疑）。

这样的例子不是没有，国外曾经因为婴儿的一次性纸尿裤冲击了尿布市场而历经了多年的数据大战，首先是管理尿布市场的协会发布纸尿裤的各种危害数据，影响纸尿裤的销量，之后，纸尿裤公司又委托第三方数据公司发布调查数据，表明环保和安全性。这样的大战经历了数年。可以说，此时数据已无客观和真实性可言，而是承载着太强的目的性。数据成了达到目的的工具，而非数据原本的样子。

所以，不能怪罪数据，而应斥责那些利用非事实数据或编造扭曲数据而达到某些目的的人，他们丢失了“做数据”应该操守的最基本最重要的道德！

也许会有人嗤之一笑，哪里高谈什么道德？

还是那句话，真正热爱并敬重数据调查和数据分析这份职业的人，内心有着强烈的道德感，并且对数据既敬畏又谨慎不盲从。

在给学生讲数据调查和数据分析这门课的时候，我会十分严肃的强调，数据调查应遵守方法上的“科学性”，数据分析上的“客观性”，既要尊重和接受数据本身所呈现的结果，又不能完全盲目的依赖数据。这是我的恩师秉承并教给我们的“良心”，我也希望这样告诫学生。

否则，如果整个数据市场都被这样的事毁掉，那才是最大的悲哀！

不过，我仍相信，大多数数据公司秉承着这样的理念，也有令人尊敬的职业操守。

二、如何识别你看到的数据是否可信？

对于这个问题，或许我们大多数人对于自己所看到数据是缺乏怀疑精神的。尤其看到那些漂亮的数据图表和折线图，我们更不会怀疑这些数据结果是如何得出的。

也许是职业习惯，我看到一份数据报告时，往往不想最先看结果是什么，而想知道这些数据是如何得来的？样本有多少？样本构成有没有代表性？用的什么样的调查方法？如何抽样的？

但遗憾的是，看到国内很多公司发布的所谓数据报告，在上述这些重要方面似乎很少有提及的。是这些发布报告的公司不希望说？还是不方便说？还是觉得这些无所谓？

首先要说的是，如果你的样本不具有代表性，样本量又没有达到一个标准，采用的方法又不科学。那么，你最终呈现的数据再完美，也是片面的，没有普及性的。就好比，你本来要去北方，结果你赶着车快马加鞭往南跑，马再快也是徒劳。

我们在开始做某个项目的调查研究之前，会先进行现有的二手数据查找和分析。此时，我们分辨和判断数据是否可信有几个标准：

首先，这些数据有明确的来源，也就是到底是哪个机构调查的？

其次，这个机构的调查目的是什么？一般，越正规和权威的机构或第三方公司的数据可信性越强一些。

第三，这些数据是如何得到的？我们会着重看，这些数据有没有提供出他们的调查方法？有没有提供他们的样本构成情况？有没有说明是如何抽样而保证样本的代表性的？

这些东西在正规专业的数据调查研究报告中，一般都是有明确说明的，也是很重要的，并非可有可无的东西。如果，看到的数据根本没有提及上面这些内容，或者模糊化处理，那么即便这些数据呈现的再好，我们还是不会引用或使用。因为，数据的准确性十分令人怀疑。

在浏览国外的许多研究报告时，他们会非常明确的交代清楚，自己是如何做的调查，用的什么方法，后期如何执行的。

不过，这两年国内网络上也出现各种各样的数据报告，有些数据连样本是多少都没说明，怎么做的更是不说，可能采访了周围几个人就得出一些猜测性的数据结论，以偏概全。这些数据，一是不专业，二是不可信，三是为了某个特定目的而做的数据。

遇到这种数据，不要盲目兴奋，要有理性的判断力，判断这是否是客观的数据，还是忽悠的数据。

三、调查方法和抽样问题：没有所谓好坏，只有“更适合”

对于调查来说，最理想的方法当然是调查全部的情况。比如，全国性的普查。比如，调查产品的全部消费者。但是，这是不现实的。

所以，统计学的发展促进了数据调查的发展。统计学中会讲究概率，会抽取有代表性的样本，然后通过调查这些代表性的样本，来推断总体的大概情况。样本越有代表性，推断总体就会越准确。

换句话说，只要样本选取得当有代表性，那么上千个样本就能在很大程度上推断出总体的情况。反之，如果选取的样本没有代表性，那么就算你选几万个调查样本，也无用，也代表不了总体情况。

所以，样本并不是在数量上取胜的，也不是一味地越多越好，而是能够有代表性。所以，在看一些公司发布的数据报告时，我会先看它的样本是如何选取的？样本都是由哪些人群构成的？否则，只说调查了多少的样本量（哪怕是上万个样本）也不能说明这些调查结果就能代表全部情况了。

就像你在一堆烂苹果中挑选样本，其实挑几个就能测出来这堆苹果的大致情况，那何必再把一堆烂苹果都测一下呢？既浪费时间，也没必要。

在数据调查中，选择多少样本量是有一些计算方法和标准的，这个可以提前确定好。达到一定量的标准，样本就会在一定的可信度范围内推断出总体。

那样本如何才能有代表性？这就涉及到抽样方法的问题。也就是，如何选取样本，这个很重要。抽样有随机的抽样，也有非随机抽样。选择哪种抽样方法，要看调查的现实情况。每种抽样方法都有自己的优势和缺点，无所谓好坏，只是根据实际的调查情况选择一个合适的方法。

比如，你要调查同性恋群体的情况，就不好采用随机抽样，大范围的问卷调查也不太适合。那么此时，采取深度访谈的方法更好，先采访到一个人，然后由这个人联系到其他人，再联系到更多人，这种滚雪球的抽样方法（非随机抽样）更合适。

因此，对于调查方法也是一样。并非问卷调查是最好的，问卷往往只能调查出用户的浅层次行为，但对于深层次的心理和态度，深度访谈的方法更好（深度访谈也能控制样本的代表性，虽不能反映所有的情况，但却是发现某种潜在规律的好方法）。而对于一些产品或广告的测试，或者心理学测试和研究，实验法可能更好。

所以，没有所谓好坏的方法，只有“更适合”的方式和方法。

然而，对于我们多数人来说，我们看到数据时，往往只在意数据结果的呈现，太过相信数据结果，而不去怀疑这些数据结果是如何得来的！

尊重数据，但不要盲从数据！

另外，仍想重申一句：“做数据”这份职业，其实真的是一个良心活儿！