二十八岁那年，他跟一伙朋友联手洗劫江都县东乡仙女庙。案发后潜回镇江，躲到宝盖山下，被丹徒县主簿张焕文发现擒获。后被县衙惩办，发配甘肃充军。在押解途经山东时，他瞅准机会，趁夜盗得驿站中骏马逃脱。回来后，他藏匿在私盐贩子陶龙雨家中。那时的他远不像现在的徐宝山这样神气，整日东躲西藏，惶惶不可终日，从没有按时吃过三餐饭，更是没有睡过一夜安身觉，有时睡在土庙里，有时睡在麦田里，不管睡在哪，手上总要缠一支线香，到了香燃到手指时，就要赶快起来换个地方，以防被捕。有时甚至睡到死人棺材里，这样可以多睡一会，但是很麻烦，要先把棺盖撬开，进去后还要弄一块大砖头把棺盖垫起来，才不至于闷气。如此折腾，总算没被抓住。熬了几年之后，他投奔了盐枭头目孙七。

自从投了孙七，徐宝山才慢慢恢复了元气。他是个不甘平庸的人，活着就要做点大事情，至少也能为孙七的山头立个大功，一来是个进山之礼，二来也显示一下“徐老虎”的本领。当时与孙七为敌的还有另一伙枭匪，以柏琼为首领，势力很大，孙七自觉不敌，只能处处避让。但是徐宝山觉得就从柏琼这里下手最为合适，因此开始等待时机。恰巧，这一日，他在路上与柏琼的两个儿子相遇，这两个恶棍正在掳掠妇女，徐宝山上去教训柏琼二子，打斗中，柏匪三百余人闻讯赶来将徐宝山围住。正在危难之时，孙七率众赶到。已感不支准备败走的徐宝山，陡然胆力倍增，再抖精神返身杀入敌阵，持利剑近身力毙柏氏二子。经此一战，“徐老虎”重新成为江湖中声名远播的人物。各地闻其声名者纷纷来投，他第一次有了培植自己势力的资本。

后来他干脆脱离孙七，另树一帜，冒死抢了匪首朱福胜的地盘，占据十二圩和七濠口一带，初步有了自己的队伍和势力范围，并由此起家。在队伍逐渐壮大后，他并没有忘乎所以。他看出要与官军和众匪抗衡并要得到不断发展，不能简单地招兵买马，兵要招好兵，马要找骏马。他深知自己部下全是一勇之夫，只见眼前小利，并无大志。且自己的手下，组织松散，更非大队官军敌手。他们农忙时回家种田，农闲时结伙贩盐。一旦官兵大队来袭，便四散回家，官兵去后，则又啸聚如故，对官府而言，此是匪患难除。但对徐宝山的“大志向”来说，实在是个不利因素。因此，他与丁宾狐等人反复商讨，权衡利弊，觉得只有联络势力强大的洪门，才能利用洪门组织搞起一支层次更高的武装。

徐宝山本来应算是正宗的青帮首领，属于比“大”字辈高一辈的“礼”字辈。听说泰州城内有个洪门首领任春山，便立即带领丁宾狐一起，秘密赶到泰州去同任结交，要跟他共图大业。时逢任春山正在泰州相机发展组织，以算命先生为表面身份，暗地里则联络会众。或许是世道荒乱，英雄相惜，在丁宾狐的劝说下，两个敌对帮派的首领一拍即合，结为异姓兄弟。结果是任春山介绍徐宝山加入洪门，徐宝山介绍任春山加入青帮。两人合开洪门山头，名字中各取一字作为山名曰之“春宝堂”，徐任为并列堂主。