在“五四”一代学者中，潘光旦对书的痴迷世所公认。

潘光旦幼小时家境殷实，其父潘鸿鼎曾为清末进士，思想开明，对子女身教多于言传，因而儿时的潘光旦就耳濡目染了家族刻苦读书、报效家国的好学家风。

潘光旦的母亲在教育儿女时也非常严格，尤为注重读书好学的家风传承。有一年，潘家被迫举家逃往上海，潘光旦的母亲不带金银细软，只身带着三个儿子和四担子书前往上海，在潘光旦母亲的心中，潘家的子女什么都可以不要，但不能不要书。潘家对读书的崇尚之风在儿时的潘光旦的心灵中打上了深深的烙印，潘光旦后来无论是求学，还是做学术研究，始终保持着对书的挚爱，甚至到了痴迷的程度，显然是深受潘家好学家风的影响。

1913年，14岁的潘光旦遵父嘱托，走进了清华学校。在清华读书时，潘光旦极为刻苦，甚至在寒暑假期间都订好读书计划，比如假期有多长时间，该看什么书等等，安排得井井有条，毫不懈怠。那时清华学校有“留美预备学校”之称，英语教习是学校教学的核心，无形中对中文学习有所忽视。正因如此，潘光旦决定要在课余时间，特别是寒暑假时把中文学好。在清华学习的9年间，潘光旦除英语水平出类拔萃外，他还利用了两年的暑假专攻中文书，为自己打下了深厚的中文功底。

潘光旦眼睛高度近视，又因用眼过度，适值壮年的他不幸患上了视网膜萎缩症，眼睛经常充血，有时甚至一连好几天都无法看书。即便这样，嗜书的潘光旦依旧痴性不改，眼疾稍有缓和，便又开始沉浸于书的世界。那时的潘光旦有一套五局本“二十四史”，他埋头看书，因离书太近，以至于鼻子都被染黑，连他的小女儿都戏说：爸爸在舔书呢。在赴美留学期间，好学的潘光旦反复研读随身携带的一部《十三经注疏》，几近烂熟，无形中奠定了他贯通中西的学术基础。北京沦陷敌手时，他滞留北平月余，在这段时间里，潘光旦有把500余册古籍再度浏览一遍，并将有用的资料记存。晚年的潘光旦对书的嗜好依旧是痴心不改，一天之中，除去吃饭睡觉，其余的大部分时间都与书为伍。潘光旦嗜书好学如此，在与其同时代的学者中实属罕见。

潘光旦对书的嗜好不仅在于“读”，还在于“买”，在于“藏”上。潘光旦在美求学时曾看到一部《达尔文文集》，他爱不释手，在学成归国前，嗜书的潘光旦不顾囊中羞涩，几近倾其所有，买了这部书。解放后，中国政府在处理中印边界问题时，需要边境史料，周恩来总理亲自写信给潘光旦，提出借用他收藏的《不列颠百科全书》（第11版），这段家国书缘一时间传为佳话。潘光旦个人一生藏书达万余册，可谓坐拥书城，其中不乏像《达尔文文集》这样的稀世珍品，但潘家人从不据为己有，后来这些藏书除他的女儿们各留一套以资纪念外，其余藏书全都捐给了中央民族大学图书馆。

正由于嗜书成性，涉猎广博，才造就了潘光旦这样的“通才”学者。潘光旦本是学自然科学出身，但却能融汇中西，贯通自然、社会两大科学体系。在性心理学、社会思想史、家庭制度、优生学、人才学、民族历史和教育思想等领域都造诣不凡，著有《中国家庭之问题》《优生概论》《人文史观》等论著多种，被人评为“学贯中西，融汇古今，打通文理”的一代鸿儒。