谢尔曼在1853年时就已经厌倦了军旅生涯，当兵不过是他离开那个可恨家庭的权宜之计。他从陆军退役后来到加利福尼亚州，成为旧金山卢卡斯银行的经理，虽然这家银行规模不大，但谢尔曼却把它打理得井井有条，业绩增长迅速。也可能是命运的特别安排，违犯军纪的美国陆军上尉尤利西斯·格兰特上尉被发配到了这里，他住的酒店离谢尔曼的银行竟然不到6个街区。

不过，谢尔曼的富豪梦并没有持续多久就破灭了，当加利福尼亚州开始组建民兵师的时候，谢尔曼由于拥有从军的经历，再加上州长也亲自发出了邀请，谢尔曼也就成了这支3000人的民兵师师长。他一般都是上午急急地处理完银行事务，下午又匆匆地赶到了操练场。可惜好景不长，谢尔曼的银行遭遇了资金危机，他辞去了经理职务，卖掉了其名下的股份离开加利福尼亚，来到美国东南部的路易斯安那州，担任了该州州立学院的校务管理主任并兼其军事学院的主任。但是，林肯当选总统后，南北双方的战争味儿越来越浓，整个南方要求独立的愿望越来越迫切，路易斯安那自然也不例外。大学生和民众们纷纷扯下合众国国旗换上邦联十字旗，上街游行。对一个土生土长的北方人来说，谢尔曼当然被视为了异类，他也已意识到自己待在这里不会再有任何前途，而且战争有一触即发的苗头。谢尔曼于1861年2月离开了路易斯安那返回了家乡，一个月后又迁移到了密苏里的圣路易斯。谢尔曼凭着优秀的管理经历，被聘为第5铁路公司的业务经理。

很快，南北战争的战火如星星之火在美国的各地蔓延。有过从军经历的谢尔曼理所当然地成为征兵对象，至少得为北方当3个月兵。让人想不到的是，谢尔曼竟然对征兵办公室的人说：“我要求把我的服役期延长到3年。”在他看来，要么不回到军队，要么就要战斗到底。同年6月20日，谢尔曼正式回到了军营，成为了密苏里第13步兵团的指挥官，很快又被提拔为麦克莱伦军第1师代理旅长。