据《足本中山全书》中记载：

有一天，孙中山和几个同伴走进乡庙，有的同伴提议向神像跪拜。孙中山却一直走进去握住了北帝神像的木手，大声地说道：“我们为什么敬礼这个木偶？他们自己还不能帮助自己。谁说他能帮助我们？现在看我拉掉他的手指，他能不能阻挡我？”于是，孙中山把北帝的手指一拉，拉断了。孙中山握住北帝的手指向同伴说道：“现在你们看见这样的保护乡村的神道了！我折了他的手指他还照旧笑。这样的神道来保护我乡村？”

经过这件事情，孙中山再也无法在村中待下去了，只好再次离开家乡去了香港。

1883年11月，孙中山进入香港拔萃书室（Diocesan Home，Hong Kong）读书，但不到两个月的时间，他就退了学。翌年4月，他转学至香港中央书院（The Central School），但不久，他就又退出了该校，回乡与同县外堂村卢耀显的女儿卢慕贞结婚。之后，他又再赴檀香山。

孙中山此次在香港的短暂求学时光，所学到的知识远远没有香港给他的直观印象对他的影响更大。当他抵达香港后，香港的市镇建设、社会秩序、官员作风等方面都给他留下了深刻的印象，也进一步强化了他的实现“改良祖国”，建设一个“良好之政府”的强烈愿望。

1884年11月，孙中山接孙眉函召，在香港辍学，第二次去檀香山。不过，这次他在檀香山停留的时间非常短。据说孙中山不愿留在檀香山，主要是因为他对做生意毫无兴趣，而且无法忍受孙眉对他的责打，因此决意再次回国求学。

1885年 4月，孙中山自檀香山归国，8月，往香港中央书院复学，一年后，他从中央书院毕业。此时，孙中山面临着一个选择职业的问题。他原本希望中学毕业后学习陆军、海军或法律，但愿望均未能实现。最后，他决定习医，以“借医术为入世之媒”。这样，1885年秋，经人介绍，孙中山进了广州博济医院（Canton Hospital）学医。课余期间，他还专门请了一位国文老师，给他补习传统的经史之学。一年后，他转学香港西医书院（The College of Medicine for Chinese，Hong Kong）。当时，李鸿章是该校的名誉赞助人，康德黎（Dr．J．Cantlie）任该校教务长。著名改良主义思想家何启任该校名誉秘书。这三个人对孙中山的早年人生道路都产生过不同程度的影响。在这里，孙中山结识了一批志同道合的朋友。其中著名的有陈少白、尤列、杨鹤龄，他们与孙中山一起通常被人称为“清廷之四大寇”，因为，他们在一起经常高谈阔论，主张反满革命。

这个时期，可以说是孙中山“革命言论之时代”。