八月，大雨停止了，回军的李渊率马队沿巷子奔霍邑，宋须生守城不出。李渊无法就派李建成、李世民带领几十骑到城下唾骂宋须生，同时本身带领马队在城东埋伏。宋须生乃率众三万自东门、南门分道而出。李渊这时即同李建成左军结阵于东门，令李世民右军结阵于南门，以断宋须生的逃路。成阵以后，又怕宋军背城不肯远战，乃号令军队向后收缩，伪作退避宋军模样。宋须生公然以为李渊畏缩，在间隔城一里余处所布阵。不久李渊的后续军队来到，李渊想命军队就食后再战，李世民以为，“时不成失”，遂策动了的打击。一比武，李渊、李建成在城东的步地倒霉，便向后引退，李世民发明宋须生雄师侧背透露，即引兵自城南直冲宋须生军阵后，并扬言已俘虏宋须生，隋军大溃败，李渊得以敏捷占据了霍邑。

这时，正在攻打洛阳的李密兵锋正盛，有囊括天下的气势，以是李渊就写信给李密但愿缔盟共同对于隋军。李密见信后，答复李渊说缔盟能够但是要他亲身到河内(今河南沁阳)和他筹议缔盟的事。李渊见信后说：“密妄自矜大，非折简可致。吾方有事关中，若遽绝之，乃是重生一敌；不如卑辞推奖，以骄其志，使为我塞成皋(虎牢关)之道，缀东都(洛阳)之兵，我得专意西征。俟关中安定，据险养威，徐观鹬蚌之势。以收渔人之功，未为晚也。”因而李渊给李密的信中很卑恭地说：“天生烝民，必有司牧，当今为牧。非子而谁，老夫年逾知命，愿不及此”。李密在接到李渊信后，见李渊如此推许本身，就放松了对李渊的警戒并和他简朴缔盟。李渊的粗心不但忽视了对李渊图天下野心的防备，并且还实际为李渊造反牵掣了隋军主力。使隋军不能西救关中长安。

随后，颠末筹办多时的李渊传檄各州、县，宣布正式起兵。李渊统领内的西河郡隋将得知李渊起兵的动静，依城把守。李渊只好派儿子李建成、李世民率兵攻打西河，并派太原令温大有参谋军事。西河郡兵微将寡，郡丞高德儒闭门守城。但是李建成仅仅用了9天时候便攻陷西河君，杀死了不肯兵变的高德儒。至此，李渊作为太原留守统领的五个郡的地盘除了三个郡被刘武周占据外，剩下的太原与西河两军皆归李渊统统。

李渊率雄师循汾水进军，到了贾胡堡，距霍邑五十余里。这时，连日阴雨，军队受阻不能进步，并且军队缺粮。特别是有传言说刘武周结合突厥将进犯太原。这时。裴寂等以为：宋须生、屈突通连兵据险，不易处理；李密大要上承诺结合了，但靠不住。突厥贪而无信，唯利是图，结合刘武周进犯是能够的，将士家眷都在太原，太原职位很首要，“不如还救底子，更图后举”。李渊同意后命令退兵回太原。