1916年6月，袁世凯谋帝制失败而死，国事渐平。此时北大校长胡仁源请求辞职。北大教授马叙伦和陈介石便向教育部推荐蔡元培任北大校长。1916年9月，教育部长范源濂经黎元洪批准后向蔡元培发出专电邀请。大约同时，国会内的浙江省籍议员也电请蔡元培回国任浙江省长。

1916年11月8日，蔡元培和吴玉章回到上海。在做官与担任北大校长之间，他选择了后者。

由于北大当时声名狼藉，蔡元培到上海后，不少友人劝他莫进北大这个是非窝。马君武就坚决反对他去北大，说北大太腐败，进去了若不能整顿，弄不好反坏了自己的名声。吴稚晖也含糊地表示了反对蔡任北大校长之意，说：“中国事，云不可办，则几无一事可办；云可办，则其亦几无可办。”后来蔡元培拟请吴稚晖就北大学监主任一职，以整饬学风，并兼授《语言学概论》，拟请汪精卫主持国文类教科，“以真正之国粹，唤起青年之精神。”但吴、汪二人均不就。有少数老同盟会员支持蔡元培，说既然知道北大腐败，更应该去整顿，即使失败也算尽了心意。这时孙中山极力支持蔡元培，认为像蔡元培这样的老同志，应当去那帝王思想和官僚习气笼罩下的北京，主持北大这个具有全国性的教育机关，以利传播革命思想。经过权衡，蔡元培认为可以一试，他当时说：“觉北京大学虽声名狼藉，然改良之策未尝不可一试，故允为担任。”

蔡元培之所以就任北大校长，其更深层的用意是实现其教育救国的理想。他就任后在给友人的信中说：“吾人苟切实从教育着手，未尝不可使吾国转危为安，而在国外所经营之教育，又似不及在国内之切实。弟之所以迟迟不进京，欲不任大学校长，而卒于任之者，亦以此。”他还以法国拿破仑入侵普鲁士时，大学教授费希特多次发表爱国主义的演说，号召国人进行大学教育改革，终于挽救了普鲁士并促进了德国的统一一事，来说明高等教育改革对国家民族的意义。蔡元培正是在对北洋军阀政府失望的情况下，知难而进，抱定整顿和改革北大的宗旨和决心，就任北大校长的。后来他还用“我不入地狱，谁入地狱”这句话，来表示当时的决心。这一念之间的决定，对北大，对中国高等教育，对中国近现代历史，意义之大不是一两句话能够简单说明的。