李密已如惊弓之鸟般了，疑心就更重了，选择了去找王伯当。当时王伯当见战事不利，便弃守了金墉城而保河阳。李密自虎牢关逃回来，就召集诸将共议该何去何从。

李密准备南阻河南，北守太行，东连黎阳，以图以后再进取洛阳。诸将则都说：“现在我军新失利，众心危惧，若更停留，恐怕叛逃的人不日就都跑完了。大家都不情愿那般死战，您这计划是难以成功的。”

李密闻言，知大家不愿死战到底了，就凄然地说道：“孤所恃者众也，众既不愿，孤道穷矣。”说完，就欲自刎以谢众。

王伯当见状，立即抱住李密哭号得声嘶力竭的。众将皆悲泣。李密见状又说道：“诸君幸不相弃我，我们当共同回关中去投降；我李密身虽无功，但诸君必能保富贵。“府掾柳燮说道：“明公与唐公同族，兼有畴昔之好；虽不陪起兵，然阻东都，断隋归路，使唐公不战而据长安，此亦公之功也。”众人都劝说道：“是啊！如此可行！”

李密又对王伯当说道：“将军家室为重，哪里会又与孤俱行哉！”王伯当道：“昔萧何尽帅子弟以从汉王，伯当恨不兄弟都跟从着您。哪里会因公今日失利就轻去了呢！纵然随您会把身体分裂成几大块抛弃在原野上，我亦甘心！”左右也无不感激于王伯当之言，跟从着李密入关的有二万人，降于唐王李渊。

于是，李密的将帅、州县多降于隋。裴仁基、祖君彦、程知节等许多重要将领及家眷，也在此战中被俘了。

而此时李密原来所占领的地方，都是在徐茂公手里掌握着的。徐茂公听说李密投降了李渊，也准备投降唐王。

武德二年（619年），徐茂公对长史郭孝恪说：“魏公（李密封魏国公）已经归附大唐，如今这里的人民土地，是属魏公所有，我如果上表献出它们，就是借主人的失败得利，自己为自己邀功，用来求取富贵，这是我认为耻辱的事！现在应当一五一十地记录州县的名称数量和军民的户口，全部报告魏公，让魏公自己献给朝廷，这样就是魏公的功劳了。”

于是他派使者致信李密。

使者初到长安，李渊听说徐茂公没有奏表，只写了封信给李密，颇感奇怪。待到使者把徐茂公的本意告知李渊，李渊才大悦，点头称赞道：“徐世勣感怀主人的恩德、推辞功劳，确实是个十分纯良的臣子啊。”

于是，李渊下诏封他为黎阳总管、上柱国，封莱国公。又加授右武候大将军，改封曹国公，并被赐姓李氏以“附宗正属籍”，来表示恩宠。再赐良田五十顷、上等宅第一所。徐茂公自此改名李世勣。

不久后，李渊命他统领河南、山东的军队抵抗王世充。

九月，河北军阀窦建德进攻相州，山东道安抚大使、淮阳王李神通率军逃至黎阳。十一月，窦建德攻陷黎阳，李盖（即徐盖，徐茂公之父，此时已随徐茂公一同被赐姓李氏）与李神通、魏徵、同安公主等人在黎阳一同被俘。李世勣率领数百骑兵渡河撤离，但因李盖被俘，窦建德以此为要胁要他投降。他只得返回去投降了窦建德。

窦建德将李盖作为人质，仍让李世勣镇守黎阳。

李世勣想要归顺唐王，但又担心此举将祸及其父。他私下与郭孝恪商议后，决定先为窦建德立功，取得其信任，再行图谋。不久后，李世勣在获嘉袭败王世充所部，多有斩获，窦建德因此对他颇为亲近。

李世勣在取得窦建德的信任后，成功劝说他亲征河南，企图借机将其杀死。但窦建德的妻子产子，他因此迟迟未起程。李世勣既不能袭取窦建德，谋杀窦建德部将曹旦的计划又泄漏。只得与郭孝恪率领几十名骑兵归降唐朝。

李勣趁机又归唐后，有人劝窦建德杀掉李盖，可建德也是位磊落大夫，表示说“李勣忠臣，各为其主”，派人送李盖归唐。