为使同学们更好更快地了解各种西学知识，实现教育救国的理想，蔡元培十分重视外语的学习。他曾对特班的同学们说：“现在中国被各国欺侮到这地步，知彼知己，百战百胜，我们要知道自己弱点，还要了解国际情况。了解国际情况，就要通晓外国文，读外国书。”  他认为英文自然要学，但鉴于英文难学，而大多数西方著作，都有日文译本，同学们不妨先学习与汉语较为接近的日文，以了解世界大势。他本人亲自教授日文，传授译文翻译法。在他的指导下，那些学日文的同学果然获益匪浅，“不数日，人人能读日文，且有译书者。”  出于对外语的重视，蔡元培本人还在教书、编书之余，跟马相伯学习拉丁文。他认为，欧洲各国语言多源于拉丁文；不通拉丁文，便无从了解西洋的古代文化。因此，虽然马相伯告诉他，拉丁文在西洋已成古董，除大学外其他学校均不注重，中国学者更没有必要去学它，但蔡元培还是执意学习。每天一清早，他从南洋公学步行两三公里路，赶到徐家汇土山湾马先生的住处。有时，5点钟就在外面叫门，马先生还未起床，而且起床后还要做祷告，便开门对他说：“太早了，太早了，八九点钟再来吧。” 后来，根据马相伯的建议，蔡元培选派24名学生一道师从马先生学习拉丁文。1903年，马相伯即在此基础上创办震旦学院。

在创造活泼的教学氛围的同时，蔡元培对同学们平常在校内的言行又要求甚严。他曾手订特班生游息规则，规定学生抛球、竞走等体育活动只能在操场进行；进入饭厅、体育场，当整齐有序，不可争先乱走；走路“当有步骤，不得冲突他人”；在游息场所，不得有“咒谑忿詈之事” ，引导同学们养成讲秩序、守纪律、尊重他人的良好习惯。在蔡元培的教育和影响下，特班的42名学生不少后来在社会上都有所成，较著名的如邵力子、洪允祥（樵舲，后为诗人）、王世瀓（莪荪，治法学）、胡仁源（次珊，后治工程，曾任北大工科学长、代理校长）、谢沈（无量，后为著名文学家）、李广平（叔同，后出家，为著名的弘一法师）、黄炎培（任之，后为著名教育家）、项骧（渭臣，后治财政）、贝寿同（季眉，后留学德国，治建筑）。

执教南洋公学是蔡元培早期从事教育救国实践活动的一个重要时期。南洋公学所在的上海，不像保守、偏居一隅的古城绍兴，是当时国内最开放的一座城市，是维新运动以后国内各类新学人士会集的地方，它为蔡元培从事更为广泛的社会和政治活动提供了条件。

在南洋公学任教期间，蔡元培在上海从事的其中一个社会活动是开始涉足报界和出版界。1901年10月，他与乡试同年好友张元济合议创办《开先报》，取英文“前队，冲锋之义”，后改名《外交报》。蔡元培手订《创办〈外交报〉叙例》，指出本报宗旨“荟我国自治之节度，外交之政策，与外国所以对我之现状，之隐情，胪举而博译之，将以定言论之界，而树思想之的，为理论家邮传，而为实际家前驱。” 同时，他支持蒋智由创办国内第一张文摘报——《选报》，为《选报》 撰写叙论，宣传该报“荟域中域外之国文报而抉择之，其有关天下之故、通古今之变者，咸具本末，间附评议，托体于温故，而取径于开新。盖不居撰述之名，而有其义者，非与寻常缉比之报为重台也。”  此外，为纠正社会上为应付科举考试出版的文本存在的迂谬窒塞、束缚新思想的弊端，蔡元培选录梁启超、严复等“当世名士著译之文”，共42 篇，编订《文变》 一书，于1902年5月由商务印书馆出版，以期帮助读者“知世界风云之所趋”, “无为三家村夫子之头巾气所范围” ，积极宣传新学，以带动国人思想言论的进步。同年，他又应张元济之聘，兼任商务印书馆编译所所长，负责制定国文、历史、地理三科教科书的编纂体例。这是蔡元培与商务印书馆的首次合作。自此之后，直至逝世，他与商务印书馆始终保持密切联系。

蔡元培在沪上参与的另一重要活动，是组织成立中国教育会和爱国女校。中国教育会成立于1902年4月20日，由蔡元培和叶瀚（浩吾）、蒋观云、黄宗仰、林白水、王小徐（季同）、汪德渊等人共同发起，会址设在上海泥城桥外福源里21号。4月27日，蔡元培被推选为中国教育会会长。从教育会章程来看，它成立的本意是要推动国内教育事业的发展，“以教育中国男女青年，开发其智识，而增进其国家观念，以为他日恢复国权之基础为目的”。 教育会起初设想的规模十分宏大，会内设教育部、出版部和实业部。教育部分男子部和女子部，主要工作是设立学堂，教授普通学和各种专门技艺。出版部负责教科书、报刊和有关学术著作编印和出版。实业部则负责开设若干工厂或公司，以便为教育会提供财源。但教育会实际上并没有能按这一计划进行，它在当时主要是为学界进步人士聚会和开展活动创造条件，是一个进步的教育文化团体，后来则成为国内最早的一个革命团体。