怎样统计超常的“大数据”？

诺贝尔经济学奖获得者保罗·克鲁格曼将自从次贷危机以来一直笼罩整个世界的萧条状况称为“第二次全球金融危机”，而第一次“全球金融危机”则是从1929年纽约证券交易所的股价大跌开始的。

不只美国，除了当时的苏联之外，几乎世界上所有的发达国家都遭到了股价大跌的冲击，国内生产总值（GDP）急剧减少，甚至引发了第二次世界大战这样一个非常严重的结果。小津安二郎以这一时代为背景拍摄了一部影片，讲述一群年轻人在大学毕业以后找不到工作，为了求职而四处奔走的故事，同样的状况在美国也比比皆是。

与现在基本上1/2的学生都能够考入大学就读不同，那个时代的大学毕业生可以说全是精英中的精英，可是在经济不景气的大环境下，即便是精英分子也同样找不到工作。当时的失业率最高达到25%，如果说现在的日本被称为“就业的冰河期”的话，那么当时的情景简直就是一幅地狱画卷（2012年11月，日本的失业率是4.1%）。

但是，对当时的美国政府来说，这种状况在某种意义上也是一件好事。由于这些大学毕业生的高失业率，使得国家可以从当时大量学习过统计学的优秀数学家和经济学家中随意挑选最优秀的人才出任政府职员。

在失业率创纪录地达到24.9%的1939年，美国总统富兰克林·罗斯福领导的新政府为了扭转大萧条的局面，采取了一系列被称为“新政”的政策。也正是在这个时候，政府才能够大量雇用那些走投无路的优秀年轻人，并且将他们的能力充分地发挥出来。我在本书之前的章节中提到过的弗明汉流行病学研究，就是美国总统罗斯福组织实施的项目，而在该项目中负责核心任务的统计学家，就是在这一时期被雇用的优秀年轻人中的一员。

新政的目标是摆脱大萧条的不利局面，并且降低失业率，为此美国政府需要准确地掌握失业者的人数。不只政治家，就连包括普通民众在内的很多人都认为居高不下的失业率是一个非常严重的问题。但是，针对100万人失业与1 000万人失业所采取的政策应该有根本上的区别。当时对失业者人数的统计却是“300万~1 500万人”这样一个非常模糊的数字。