作为新式教育的倡导者，张伯苓十分注重体育，被南开师生称为“体育校长”。作为我国著名的奥林匹克教育家，张伯苓对中国体育事业的普及和发展做出了不可磨灭的贡献。

早在就读于天津北洋水师学堂时，张伯苓就酷爱体育，且在校内颇具名声。在严氏家馆任教期间，张伯苓大胆革新，特意开设体育课程，让学生练习跳高、跳远、跳木马等。针对当时大多数学校不重视体育的陋习，张伯苓决心身体力行，扭转这种偏见。南开学校创办之初，张伯苓明确提出德、智、体三育并进的育人理念，并把奥林匹克教育列入了体育科学教学大纲中。在他看来，“教育里没有了体育，教育就不完全”，在他的创导下，南开中学规定体育为必修课，不及格者不得毕业，同时还创立了多支足球、篮球队，积极参加校内外的各项体育赛事。为促进南开体育教学的发展，张伯苓四处聘请体育教师，制作体育器材，还在课余时和学生一起踢球、骑自行车......在张伯苓的重视下，南开的体育活动十分活跃，体育活动也多姿多彩。特别值得一提的是，南开学生还屡屡在区域性国际赛事远东运动会上摘金夺银，为祖国争得荣誉，南开的篮球队更是因挫败远东运动会冠军菲律宾队而一时名震中外。

在南开，张伯苓被师生亲切誉为“体育校长”，这位“体育校长”不仅在南开推行体育，还运用自己的社会影响在天津、华北乃至全国推动体育活动的开展。1907年，在天津第五届校际运动会颁奖仪式上演讲时，张伯苓首次代表国人表达了对奥林匹克运动的热情期望，他甚至还建议政府成立奥林匹克运动会代表队，正是从这一年开始，“奥林匹克”一词开始在中国流传，张伯苓也因而成为中国最早的奥林匹克运动倡导者和奥林匹克精神传播人。

在张伯苓看来，体育的强盛就代表着国家的强盛，“奥运举办之日，就是我中华腾飞之时！”为有效推进全国体育运动的发展，推进中国的奥林匹克运动，张伯苓发起创建了中华全国体育协进会，积极推进与国际奥委会的联系。1931年，中华全国体育协进会被国际奥委会正式吸纳为团体会成员，标志中国从此成为国际奥委会大家庭的一员。在第7届奥运会举办前夕，通过张伯苓等人的大力争取，我国田径运动员刘长春如愿参会，开启了中国运动员正式参加奥运会比赛的历史。抗战结束后，张伯苓主持召开了中华体育协进会常务理事会议，讨论并通过了申办第15届奥运会的决议，开始了中国历史上的第一次申奥活动。2008年，奥运之花终于在中国绽放，国际奥委会主席罗格感慨万千：“这个首次在北京举办的盛会，将圆一个中国人——张伯苓先生一个世纪以前表达的梦想。”这应该可被看做是对张伯苓奥运梦想的最好慰藉。