在对两兄弟品德的教育上，徐夫人也毫不懈怠。她不仅经常对兄弟二人讲述家庭由盛而衰的历史，树立他们重振家业的理想，教育他们尊师重道，还在细节上对两人严格要求。徐世昌后来回忆到，小时候因为家里穷，经常饿肚子，看到桌上放着三份食物，就想把其中两份全吃掉。徐母认为他不够忍让，为了改掉他的毛病，宁可把三份食物都扔掉，母子三人饿肚子，也不会对徐世昌有丝毫的纵容。

待到徐世昌年龄渐大，交往的朋友也越来越多了。对于交友，徐母也非常慎重。徐世昌每交一个朋友，徐母都会让他把朋友带到家里来吃饭，顺便观察此人的品性是否端正，谈吐是否得体。如果是品行端良的人，徐母就会热情款待，如果不是，徐母则严厉地要求儿子断绝与其来往。徐世昌成人后，身边的朋友多为当地名人雅士，后来又能与袁世凯结为兄弟，其实在很大程度上是受益于他的母亲。

经过几年的私塾学习，徐世昌也逐渐成长为一个聪敏好学、品学兼优的优秀少年。但是，随着徐家两兄弟的逐渐长大，徐家的家境也一日不如一日。这一天，鄢陵县的知县、徐世昌的叔曾祖徐士醇派人找到徐夫人，再次提出要把他们母子三人接到鄢陵的事。徐士醇见他们孤儿寡母生活艰难，一直想向他们伸出援手，但徐夫人却再次拒绝了。她推辞道：万万不可，我们家经历了极盛而衰，如果现在接受别人的接济，孩子们没有经历过艰苦的日子，将会碌碌无为，那我们徐家就再也没有复兴的一天了。听了这话，徐士醇再也不多说，只是感叹“汝苦心持家教子，异日必有成就，真我家功臣也”。

为了继续供徐世昌兄弟读书，徐夫人开始变卖自己的珠宝首饰，直到家中已再无可变卖的器物。1868年，徐家的生活已经贫困不堪。这一年，河南卫辉府下了一场大雨，这场雨持续了一个月左右，徐家的房子因为年久失修，房顶不断漏雨，书房的墙壁出现了坍塌，无奈之下，徐世昌只好停止读书，文献记载他“辍读累月”。几年之后，徐世昌已经长到十七岁，已经有能力分担母亲的负担了。1871年，为了继续自己的学业，他到表叔陈仲英家设馆，一边给低年级的学生当家教赚钱，一边自学。以后的几年，徐世昌先后到沁阳、太康、淮宁等地游历，一边广交文人雅士、贤师益友，一边教书授课，补贴家用。慢慢地，徐家的生活也就稍稍宽裕了。

儿时困苦的家境，母亲的严格教育，不仅让徐世昌兄弟两人继承了徐母坚忍、进取的品质，更成就了他们出众的才华。能够赚到一些银两之后，徐世昌便带着弟弟到处游学，尽自己所能照顾弟弟。后来，两人一起参加科举考试，双双中举，一时间传为佳话。