继绍兴中西学堂之后，蔡元培执教的第二所新式学校是南洋公学。南洋公学系后来交通大学的前身，于1897年由盛宣怀奏请设立，分师范院、上院（大学堂）、中院（中学堂）、外院（小学堂）四部。1901年又增设特班，先后两次共录取42名有较高旧学修养而又有志西学的读书人就读，预定教他们外国语言及理化、数学、史地、理财及各专门之学。成绩优异者，保送经济特科，为清政府培养一批了解世界大势并有专门知识的人才。对于这所新式学堂，蔡元培在主持中西学堂时即予以关注。1899年11月，他曾写信给在南洋公学任职的张元济，请其代购公学所编教科书。1900 年11月间，还专门到上海徐家汇游览了南洋公学。1901 年5月，蔡元培应上海澄衷学堂总理刘葆良之邀，前往襄助校务。在此期间，他开始与南洋公学督办盛宣怀有所往来。6月间，曾出席盛宣怀在南洋公学的宴请。  9月，南洋公学特班开课，蔡元培正式受聘担任特班生总教习。

蔡元培在特班采用的教学方法，他自称是“稍含书院式”, 即由学生自由读书，每天写札记，送他阅批；每月终，由他命题考试一次，评定成绩，然后送学校总理鉴定。1901年9月21日，蔡元培亲拟《南洋公学特班学习办法》，规定每日以3小时课编纂，3小时课讲义，l小时为修辞之学；7小时之外，学生可随意看书，如有心得和疑义，可作笔记，与札记一同呈缴；札记须每七天一篇，或节精要，或著心得，或记疑义。 为指导学生们如何读书，蔡元培亲自写下所修各学门类及每一门类应读之书，以及读书的次序，然后由学生们就性之所近，自认一门或几门，按他所开书目顺序阅读。此外，他还每夜轮流召两三名学生到寝室个别谈话，或发问，或让学生自述学习心得，或座谈对时事的感想。鉴于“今后学人，领导社会，开发群众，须长于言语”，蔡元培又在同学中设立演讲会，提倡同学们学习用国语（普通话）演说，以锻炼自己的口才，他这样对同学们说：“中国国民在极度痛苦中，还没有知道痛苦的由来，没有能站立起来，结合起来，用自力解除痛苦，这是中国根本弱点，你们将来出校，办学校以外，还要唤醒民众，开发他们的知识。这些固然可以靠文字，但民众识字的少，如能用语言，效用更广，你们大家练习演说罢。”  在开展演说的过程中，蔡元培亲自为学生们出演说题目，并介绍几种有关演说的日文书籍供同学们参阅。蔡元培在特班中实行的这种活泼的教学方法，深受同学们欢迎。当时在特班中就读的黄炎培后来回忆说：“这种教育方法，切合学生们的要求，蔡师语言态度的亲切、谦和，使每一学生都心悦诚服。这些还影响到上院其他各班和中院。”

特班的教学内容首重西学，其功课分前后两期，各学三年。前期功课有英文之写、诵、文法章句，算学之数学、代数、几何、三角，格致、化学之手演；后期功课有格致、化学之阐理，地志、史学、政治学、理财学、名学。蔡元培在讲学过程中，不但大力提倡西学，而且引导同学们进行中西比较，宣传西方资产阶级政治学说。他为特班生所出的课题，多关政治、法律、道德、哲学、教育、时事等问题。据蔡元培日记中所记，他所出的课题题目有《论史事为人类进化之资藉》、《读道学家书分德行与性理两类说》、《原法》、《论土耳其受保护于英之利弊》、《论罚锾》、《论英国保护土耳其之得失》、《日本维新名士多出于阳明学派说》、《论信陵、平原、孟尝、春申四君与其国之关系》、《律有自首免罪以公理证明之》、《拟外务部大臣移葡萄牙外部长书》、《宋明道学家同出孔子，而有宗教质性与哲学质性之不同试概论之》、《论秦汉重农抑商》、《论刑逼招供之非理》、《论法人占土耳其弥低偏海岛》、《宋儒论性有文理气质两种然否》、《游侠平议》、《殷法刑弃灰于道辨》、《评英特之争》、《俄皇大彼得遗训于五条为彼国二百年来外交政策之方针其中有已实行者试条举以证之》、《论监禁与放流两刑用意之异同》、《程正叔论寡妇再醮之非谓饿死事不小失节事大然再醮即失节乎以公理断之》、《论者谓民智末开不能设议院然否？》、《外人目我为君权无限辨》、《揭唐律今律之大不同而有关系者评其得失》、《论国家彩票富签票之弊并陈筹还外债之策》 、《论强国对弱国不守公法之关系》、《希腊苏格拉第有知即德之说试申引之》、《论教育之关系》、《宪法精理著人民权利十三条以我国现行法制比较其违合之度》、《新民丛报公民自治篇举广东人自治之成绩各任其例以所居本省之事证之》、《论立法、司法两权分立之理》、《论国际公法之性质可以国家学中之民约论证明之》、《论改定盐法及抵制洋盐进口之策》、《斯宾塞尔言谬误事中自有真理，试以所知之事证明之》、《普之胜法毛奇将军归功于小学校教育试论其理》等等，完全脱离四书五经的范围。蔡元培在特班所持的教学宗旨，诚若黄炎培所说：“盖在启发青年求知欲，使广其吸收，由小己观念进之于国家，而拓之为世界。又以邦本在民，而民犹蒙昧，使青年善自培其开发群众之才，一人自觉，而觉及人人，其所诏示，千言万法，一归之爱国。”