抗战爆发后，南开大学被日军炸毁，鉴于南开大学在国人心目中的地位和分量，蒋介石承诺“有中国即有南开”。后经国民政府教育部筹划，南开大学得以和北京大学、清华大学三校联合，先南迁湖南长沙，组成长沙临时大学，由北大、清华、南开三校校长任常务委员，全权负责临时大学的筹建和开学等具体事宜。南开大学作为一所私立学校，竟然得到政府如此看重，能够和北大、清华这样的顶尖学府合并，也足以证明南开教育的巨大成就。

在长沙，因为战时条件所限，临时大学住宿条件相当艰苦，学生住在木质建筑中，晚上一律要睡在地板上，一旦下起雨来，木屋四处漏水，为免受雨淋，学生们只好在被子上蒙油布，在枕头旁支雨伞。北大校长蒋梦麟获知此事，甚为不满，认为这种环境对学生的身心健康非常不利，不宜居住。而张伯苓经历过私立办学的重重考验，养成了艰苦奋斗、愈挫愈勇的精神品格，在他看来，恶劣的生存环境更能磨炼学生不屈不挠的精神意志。况且国难当头之际，学、物力维艰，在政府的关照下，学生能维持学业，有栖身之处，已属不易，又怎能另作他想？显然，虽置身于战时组成的联合大学，但执著于教育的张伯苓仍想把南开愈挫愈勇、奋斗不息的精神带进临时大学。张伯苓兴学一生，最终是为了实现自己“痛矫时弊，育才救国”的兴学宗旨。在南开，张伯苓针对国民“愚、弱、贫、散、私”五病，提出只有培养学生爱国爱群的公德和服务社会的能力，方能振兴中华的教育思想，并以“允公允能，日新月异”作为南开大学的校训，受此教育理念的影响，南开师生都有一种顽强奋斗、克难奋进的不屈精神，而这点又恰为北大、清华所不及。

长沙临时大学开学不久，日军攻占南京，长沙战事吃紧，局势紧张，临时大学的师生们不得不再次转迁，前往昆明，随后三校组成西南联合大学，仍由张伯苓、蒋梦麟、梅贻琦担任最高常委，总揽联大校务。当时三校在联合中有独立，除涉及联大的共同校务外，其他如教师聘用、办事处和研究机构的设置上各校又相对独立。鉴于这种情况，张伯苓深知若三位校长都去负责学校管理工作，很可能相互掣肘，造成矛盾，导致管理混乱，因而大度的张伯苓决定将自己的管理职权全权委托给蒋梦麟、梅贻琦二位校长，自己则专心于重庆南开中学的建设和管理，让南开精神在祖国的西南腹地生根发芽。

南开并入西南联大，并不因自身的私立性质而相形见绌，相反，南开的优良学风、师生团结合作的精神、高水平的教学质量以及才识过人的教师队伍让北大、清华的师生们刮目相看。这归功于当年在创办南开大学期间，张伯苓知人善任，以诚感人，虽付给教师的薪水无法和清华、北大这样的国立顶尖大学相比，但凭着自己的一腔热诚和个人魅力，也聚集了一大批学识渊博的著名学者。西南联大成立后，南开教授杨石先、黄钰生、丁佶、陈克忠、姜立夫等人都成为西南联大各院系独当一面的中坚力量。

在西南联大的三所大学中，南开大学虽然在办学规模上远不及清华和北大，但在国内外声誉卓著，与北京大学和清华大学各有千秋。在西南联大中，南开大学走的是“实业兴学”路线，当年张伯苓毅然决定南开学校走私立办学之路，其目的就在于尽可能免受时政的束缚和干涉，在文化精神上保持大学的“特立”与“自立”，而北大崇尚“学术”与“自由”的风气，清华的“通才教育”理念也给了张伯苓诸多启示，三校联办虽是战争所致的无奈之举，但也无意中给三校提供了取长补短的绝佳机会。可以说，八年的联大岁月，让张伯苓有了更为开阔的教育视野，也让他逐渐认识到人文精神涵养的重要性，南开复校后，张伯苓的首要事项就是在南开增设中国文学系。