叛逆后的窦建德一向在自称“东海公”的高士达部下混，没有独立领军的机遇。厥后在大业十二年(616)十仲春的时候，涿郡通守郭绚率兵万余人攻打高士达。高士达以为本身智略不及窦建德，便以窦建德为军司马，让其批示作战。窦建德掌管兵权后，想建立本身的威望，便发起由高士达留下看管辎重，自率精兵七千人前去抵当郭绚。窦建德遁辞和高士达反面前来投奔，郭绚却心机疑虑。正值高士达也四周宣称窦建德背信弃义投降隋军，并将俘获来的一名妇女，当作窦建德的老婆，在军中杀掉。窦建德派人给郭绚递上降书，并说本身情愿作为前锋，带郭绚去攻打高士达。郭绚信赖了窦建德，率兵至长河界地与他相会，共图高士达。郭绚部遂放松了对窦建德的防备，窦建德抓住战机，建议俄然攻击，大破郭绚军，杀略数千人，获马千余匹，并将逃窜的郭绚斩首。

自此，窦建德所率义兵兵威大振。郭绚兵败后，杨广又派太仆卿杨义臣率兵万余前来围歼叛逆兵。杨义臣于清河先毁灭了张金称的军队，因为杨义臣将所俘义兵全数杀死，乃至无人愿降，一些崩溃在草泽中的残部接踵投奔窦建德。杨义臣乘胜至平原，筹办进入高鸡泊讨伐高士达部。窦建德见隋军士气正盛，便对高士达说：“历观隋将，善用兵者，唯义臣耳。新破金称，远来袭我。其锋不成当。请引兵避之，令其欲战不得，空延光阴，将士倦怠，乘便攻击，可有大功。今与争锋，恐公不能敌也”。但高士达却不采取窦建德的避敌锋芒、以逸待劳、乘机破敌这个精确定见，留窦建德守营，亲身率精兵主动反击，初获小胜。便纵酒高宴，有轻杨义臣之心。窦建德闻讯后，说：“东海公未能破贼而自矜大，此祸至不久矣。隋兵乘胜。必长驱至此，民气惶恐，吾恐不全”。自率精锐百余人扼守险要，以防高士达之败。成果，不过5天，高士达便被杨义臣所杀。杨义臣乘势追击窦建德。欲将窦建德所部全歼。追至北薄垒，守兵闻高士达败，皆溃败。窦建德寡不敌众，不能再战。只得率百余人突围而去。窦建德撤至饶阳，见饶阳守军没有防备，遂攻占饶阳。杨义臣见高士达已死，并没有将当时不着名的窦建德放在心上，领兵而回。窦建德遂得以回到平原，在此收编余部，抚循士众，多数人表示情愿跟从窦建德。同时窦建德在此又得3000余兵。气力有所加强。接着又调集亡卒，得数千人，军威得以重振。窦建德开端自称将军。开初，义兵见到隋官及士人一概杀掉，唯有窦建德重视争夺这些普通官吏，以是隋郡县的很多官员都主动归附。窦建德军很快生长到10余万人。

另一人杜伏威，齐州章丘人。少时落拓不羁，不事出产，家道极其贫苦。他与临济人辅公祏为刎颈之交。辅公祏姑家以牧羊为业，辅公祏多次公开送羊给伏威。辅公祏姑家是以告发他们盗窃的事，官府访拿很急，伏威与公祏便流亡在外，聚众叛逆。这时伏威才十六岁。杜伏威是一个很英勇的青年，每次战役，“出则居前，入则殿后”。以是部众都很佩服他，推他做首级。