武训开始变得有钱了，而武训的哥哥不务正业，常向他借钱，一些亲戚朋友也来要求他资助，武训都拒绝了：“不顾亲，不顾故，义学我修好几处。”

光绪十二年（1886年），武训四十九岁，已置田二百三十亩，积资三千八百余吊，决定创建义学。光绪十三年（1887年），两名开明地主仰慕武训的为人，联合捐出土地供武训办义学之用。武训开始到各地购买砖瓦木料，并亲自押运。开工后，武训每天早起晚睡，在工地上搬砖打水，和工人们在一起共同劳动。

光绪十四年（1888年），武训花钱四千余吊所建的第一所义学在堂邑县柳林镇东门外落成了，取名“崇贤义塾”。武训用了整整三十年的时间来实现他的理想，在这三十年里，他受尽苦难，但始终坚定地一步步迈向目标。“崇贤义塾”建成后，武训亲自跪请有学问的进士、举人任教，跪求杨树芳做学董，主持义塾，跪求贫寒人家送子上学。当年招生五十余名，分蒙班和经班，不收学费。开学当天，准备了丰盛的筵席招待学董、老师和乡绅，武训自己却在外面向来宾磕头致谢，坚决不肯入席。他跟学生们一样分得一斤馍馍、一碗大锅菜，仍舍不得吃，跑到庄外的砖窖上换了几块新砖回来，自己仍吃些残菜剩饭。义塾成立后，虽然已经实现了他的心愿，但他依旧过着漂泊无定的流浪生活，到处去要饭，仍旧住破庙。学生们曾集体跪求他来住义塾，他也不肯，说：“我过的生活自己不觉得苦，只要你们努力学习，我比什么都快乐。”一天大风，庙屋上的瓦刮下来，落到武训头上，砸得他头破血流，他却悠然自得地唱着：“打破头，出出火，修个义学全在我。”

武训还十分关心义学里学生的读书情况，时不时来探视一下，对勤于教事的塾师，武训常常跪叩感谢；对贪玩、不认真学习的学生，他则是下跪泣劝：“读书不用功，回家无脸见父兄。”一天清晨，学生都已到齐，塾师却尚未起床。武训悄悄地走进塾师的卧房，不声不响地跪在床前不住地流泪。塾师醒来后，武训说：“先生睡觉，学生胡闹，我来跪求，一了百了。”还有一位塾师请假回家，逾期不归。武训步行六十华里赶到塾师家，孤身等候在门外一个通宵。塾师羞愧万分，再不敢超过期限。师生们感动于武训的真挚诚恳，没有一人再有一刻的疏忽怠慢，学风甚好，教学随之而相长。

时任山东巡抚的张曜听说武训的义行，特地召见之。武训衣衫褴褛地步行到济南府。会面时，武训一面和张巡抚侃侃而谈，一面不断地捻着线头。他的率真纯朴令巡抚大为感动，下令免征义学田钱粮和徭役，另捐银二百两，同时奏请光绪帝颁以“乐善好施”匾额。清廷授以“义学正”名号，赏穿黄马褂。这本是至高无上的荣耀，但是在钦差面前，武训却不愿意下跪谢恩，也不愿意穿黄马褂，说：“义学正，不用封，黄马褂，没有用。修个义学万年不能动。”

当“乐善好施”的牌坊为他建成之时，武训若发狂一般不肯向皇上下跪谢恩！他冲进校舍，对着孩子大声喊：“你们记牢了，将来长大，千万别忘了咱庄稼人！”

光绪十六年（1890年），武训资助了证和尚二百三十吊钱，又在今属临清市的杨二庄兴办了第二所义学。

光绪十九年（1893年），武训搜集与购买了大量的有益图书，建起了读书会，专供没有钱买书的人自由借阅。有时他还携带图书到村镇的集市庙会上巡回展览，供乡亲们阅读。还大量翻印浅显的学习文章和书籍，免费散发给农民。同一年，朝廷官员、学部侍郎裕德到山东视察，武训在大街上拦轿募款。裕德捐给他两百两银子。

光绪二十二年（1896年），武训花了三千吊钱于临清御史巷办起第三所义学，取名“御史巷义塾”。