窦建德将他藏匿起来，随后又帮孙安祖召集了二百多个壮士，让他们到高鸡泊一带落草为寇。窦建德当时的心态颇为矛盾——尽管他也知道隋王朝已经失了人心，天下必将大乱，可他对自己在隋朝军队中的前程似乎还抱有幻想；尽管他可以不遗余力地帮助孙安祖去反叛隋王朝，可他自己仍然舍不得扔掉“二百人长”这块鸡肋。

最后，还是当地官府帮他下了这个决心。

本来窦建德窝藏孙安祖一事，当地官府已经有所察觉，加之附近的张金称、高士达等盗匪凡有洗劫，皆自动避开窦建德家所在的那条街，当地官府据此认定，窦建德必然与盗匪暗中勾结，于是发兵前去逮捕。碰巧那天窦建德不在家中，官兵为了泄愤，就把他的一家老小全都杀了。

至此，万念俱灰的窦建德终于脱下隋朝军装，带着手下的二百名士兵投奔了高士达。他之所以没有去找孙安祖，是因为他知道，一旦去了高鸡泊，孙安祖必定会让出首领的位置，而一向仗义的窦建德当然不愿这么做，正所谓君子不夺人之美，所以他宁可去给高士达当副手。

窦建德有意成全孙安祖，可惜孙安祖能力平平，不久就在与张金称的火并中被杀，高鸡泊的数千部众群龙无首，旋即归附窦建德。由于窦建德能够礼贤下士，与普通士卒同甘共苦，所以人们都愿意为他效命，越来越多的人投到了他的麾下，部众很快增至一万多人，声势日渐壮大。

大业十二年（公元616年），隋军前来讨伐，高士达自知谋略不及窦建德，遂任命他为司马，把部队交由他全权指挥。窦建德不负众望，用诈降的办法大破隋军，由此威望日盛。不久，隋将杨义臣讨平张金称，乘胜进攻高士达。窦建德知杨义臣善用兵，劝高士达坚壁清野、避敌锋芒，等敌疲累之时再发动进攻。无奈高士达担心窦建德威望太高会威胁他的地位，于是断然拒绝他的建议，亲自率部迎战，结果兵败被杀。窦建德率余众突围而去，随后占据饶阳，招集逃散的部众，于是声势复振，自立为将军。

窦建德虽然是农民出身，没什么文化，但他却很懂得尊重读书人，所以每当抓到隋朝的官吏士人，窦建德总是以礼相待，对于有才之人，更是将其奉为上宾。正所谓士为知己者死，这些隋朝的官吏士人在走投无路的时候得到窦建德的礼遇，无不感恩戴德，乐得为其所用。因此，窦建德麾下的将帅和智囊越来越多，其仁义之名也逐渐传开，远近的隋朝将吏纷纷举城归附，部众迅速发展到十万余人。

大业十三年（公元617年），窦建德眼见时机成熟，遂建都乐寿（今河北献县），称长乐王，同时四处出兵，扩张地盘。武德元年（公元618年），窦建德改国号为夏，自称夏王，同年大破幽州（今北京）魏刀儿的十万之众，尽得其地，从而雄踞河北。

唐武德二年（公元619年），宇文化及在东都被李密所败，退保聊城。窦建德遂以讨伐逆臣为名攻克聊城，擒杀了宇文化及。随后，窦建德将宇文化及从江都掳掠而来的嫔妃宫女悉数遣散，而对于那些有才干的隋朝旧臣，如裴矩、何稠、虞世南、欧阳询等人，窦建德一律予以重用。至于那些不愿为他效力，一心想投奔洛阳和长安的人，窦建德也概不强留，一律尊重个人意愿，不但送给他们盘缠，还派兵护送他们出境。

窦建德的所作所为使他广泛赢得了人心。