考中秀才，根据当时清朝的制度，也就获得了进入官立学校深造的机会。但蔡元培在考中秀才后并没有进学校深造，却拿起教鞭，当起塾师。在1884-1885的两年里，先后在姚家和单家执教。

蔡元培当时没有去学校深造而充任塾师，这很可能是出于经济方面的原因。如前所述，自从光普先生病故后，蔡元培的家境即趋衰败。到他考中秀才时，他母亲的胃病又愈益严重，延医吃药，少不了花钱。1936年蔡元培在回忆自己青年时代读书生活时，就提到那时因经济困难，无钱购书。在当塾师的两年里，蔡元培一面靠教书挣来的微薄束脩添补家用，一面借阅六叔家的藏书，继续自学。所读的书有《说文通训定声》、《章氏遗书》、《日知录》、《困学纪闻》、《湖海诗传》、《国朝骈体正宗》、《绝妙好词笺》等，并学作散文和骈文。

1886年，经戊子科举人田宝琪（字春农）夫子的介绍，蔡元培结束两年的教师生涯，到同乡徐友兰家当陪读，并帮助校勘所刻藏书。徐友兰及其兄徐树兰是当时浙东有名的藏书家，家中收藏的图书及碑版异常丰富，藏书多达四万余卷，集中在一幢三层朝东的侧楼里，取名曰“徐氏铸学斋”。铸学斋坐落在绍兴城内的水澄巷，离蔡元培住的笔飞弄只有一里之遥。蔡元培能到徐家陪读并帮助校书，这无疑是他一生中十分难得的机遇，为他求学创造了良好的条件。因此，蔡元培十分感谢田春农夫子的介绍，在己丑年乡试《齿录》的“问业师”项下，列在第一位的便是“田春农夫子”。晚年，他又在《自写年谱》中称田春农“真是我生平第一个知己” 。

在徐家，由于没有学校老师的监督，蔡元培可以自由地读书，不受任何学术门户之见所囿，形成泛览百家、兼收并蓄的治学风格。他所涉猎的古籍，范围很广，除补读《仪礼》、《周礼》、《春秋公羊传》、《穀梁传》、《大戴礼记》等儒家经典外，还广泛阅读训诂、考据、词章、史学等方面的书籍，时而也浏览医书、算学。就读书兴趣而言，他在治经史中更偏向于训诂；在读史中更偏重于儒林文苑的志传和有关文化风俗的记载，对战争史、政治史及典章名物无太大兴趣；在词章之学中，兴趣偏于散文，对骈文及诗词不太热心。也正是从这一时期开始，蔡元培所做的八股文打破传统旧规，受龚自珍文章的影响，为文奇古博雅，常以古书中通假之字易常字，以古书中奇特之句法易常调，表现出深厚的文字功底，并因此在士人中闻名。当时山阴龙山书院院长钱竾仙（振常）和会稽稽山书院院长王止轩（继香），对蔡元培用经、子中古字义古句法凑成八股文就极为欣赏。后来与蔡元培关系密切的吴稚晖最初也是因他的怪八股得知蔡元培其人。吴在《四十年前之小故事》一文中回忆道：“当余尚未知有汪洋大盗孙汶，前五六年时，却知有蔡元培者。浙江闱星中有三篇怪八股，能得风气之先，意其人或一怪诞诉弛之士，不知当时彼乃二十三四岁之恂恂儒者。”并认为蔡元培所作的怪八股，多用周秦子书典故，为读书人吐气，打倒高头讲章，“是亦所谓新文化运动，抛一香烟罐粗制之炸弹也。”

据蔡元培本人所说，在他自由读书期间，得益最大、所受影响最深的是训诂学家朱骏声的《说文通训定声》、史学家章学诚的《文史通义》和名学者俞正燮的《癸巳类稿》及《癸巳存稿》。蔡元培认为，在治《说文》的清代学者中，只有朱氏从解经方面尽力，其采用的方法，不但可以纠正唐代李阳冰、宋代王安石等只知会意而不知谐声的错误，而且对汉代学者许慎采用阴阳家说法对天干地支及数目所作的解释，也予以合理的更正。另外，《说文通训定声》检阅也最方便。后来，蔡元培回忆自己青年时代这段读书生活时，即自谓：“我所得于此书的益处，已不少了。”

章学诚的《文史通义》是继唐代刘知几之后一部重要史学著作。在该书中，章学诚不但对搭空架子、抄旧话头的不清真文风予以抨击，而且提出六经皆史的主张；在史学方法上，认为先有极繁博的长编，而后可以有圆神的正史，主张史籍中的人名、地名等均应有详细的检目，以备参考。对章学诚的这些观点，蔡元培深为赞赏，并积极加以仿行。在徐家，他曾约朋友数人，试编二十四史检目。1890年，他受聘上虞县志局总纂，又极力主张采用章学诚的史学方法，反对因循旧例，要求将全志分地篇、吏篇、户篇、礼篇、兵篇、形篇、工篇、学篇、书篇、碑篇、列传、士女篇、杂篇及文征等篇，并坚决主张把明万历、清嘉庆时所刊上虞县志项目与现拟修订者进行比较，列出全目，指出“上虞与会稽比连，文儒学子，习闻章先生文史之教，诚不宜因陋就简，违心徇俗。今因章氏成例而略变通之，以适事体。师古者得其意不必袭其貌，例因事而立，不强事以就例，皆章先生家法也。”  晚年，蔡元培兼长国史馆，曾再次指定编辑员数人编辑二十四史检目（亦未成）。这些都是受了章学诚的影响。