隋炀帝死后，李渊称帝，建立唐朝。随即王世充有样学样，逼迫杨侗退位，自己称帝建立郑国。窦建德趁宇文化及被李密打败之机，攻打宇文化及并斩杀之，随后也称帝在河北建立夏国。李密失魏后，中原地区就剩下唐、郑、夏三支力量最强大了。

武德二年，徐茂公率领所部瓦岗军投唐，并受封改名为李世勣。同年，在黎阳受到窦建德攻击，其父李盖被俘而不得已降夏。后不久从窦建德处逃回唐朝。

武德三年（620年）七月，李渊下诏秦王李世民征讨王世充。李世勣、秦叔宝、程咬金一起随秦王出征。

王世充闻唐军来袭，命魏王王弘烈守襄阳（今湖北襄樊县）、荆王王行本守虎牢、宋王王泰镇守怀州（今河南沁阳）、齐王王世恽负责洛阳南城、楚王王世伟守洛阳宝城、太子王玄应守洛阳东城、汉王王玄恕守含嘉（洛阳城北）、鲁王王道徇守曜仪（洛阳宫城北），王世充亲自率军作战。

李世民率军打到慈涧（今河南新安县东三十里），王世充退守洛阳。李世勣知道洛阳城池坚固，不易攻克，就向李世民献策准备长期围困洛阳，李世民称善。于是，唐军就开始蚕食洛阳附近的城镇，切断郑军的粮线，驻军于洛阳北邙，进逼洛阳。

唐军势大，河南五十余州相继归降。王世充不得已遣人向夏王窦建德求救。

窦建德的中书侍郎刘彬劝他说：“天下大乱，唐得关西，郑得河南，夏得河北，形成三足鼎立之势。如今唐起兵攻郑，从秋到冬，唐军日见增多。郑国地域日益缩小，唐强郑弱，势必不能支撑。郑灭亡，夏也不能单独存立了。不如放弃仇怨，发兵救郑，夏从外袭击，郑自内反攻，一定能打败唐军。唐军退兵后，再慢慢观察形势变化，如果郑可取就取郑，合并两国的兵力，趁唐军疲劳，可以夺取天下！”

窦建德听从了此论，派人回复王世充，答应出师援救。

窦建德又派遣礼部侍郎李大师等人赴唐军处，请求唐停止进攻洛阳。李世勣授意李世民来个缓兵之计，留下了夏的使者，但不予答复。并加紧了对洛阳的封锁。

武德四年（公元621年），李世民挑选一千多精锐骑兵，全部着黑衣黑甲，分为左右队，分别由秦叔宝、程知节、尉迟敬德、翟长孙统领。

每次作战，李世民都亲自披上黑甲率领他们作为先锋，乘机进击，所向披靡，令敌人畏惧。

行台仆射屈突通、赞皇公窦轨带兵巡行营屯，突然与王世充遭遇，交战失利。秦王李世民带领黑甲队救援，王世充大败。唐军俘获王世充的骑将葛彦璋，俘虏歼灭了六千多敌人。王世充逃跑回城。

王世充的太子王玄应率领几千人，从虎牢运粮到洛阳，李世民派遣将军李君羡截击，大败王玄应的运粮军，王玄应只身逃脱。

李世民派宇文士及回朝上奏请求进军包围东都洛阳。李渊对宇文士及说：“回去跟你们秦王殿下说：这次攻打洛阳，不获全胜，决不收兵！攻陷东都之际，隋朝皇室的车驾仪仗、图书簿籍以及器械，除去各人所必须的，就都委托你收集起来，其他的男男女女玉器布帛，都用来分赐给将士们。”

辛丑（十三日），李世民将军营转移到青城宫，尚未修好壁垒，王世充就率二万兵马从方诸门而出，凭借旧马坊的墙垣沟堑，靠近水抵御唐军。对于突然出现的郑军，唐军诸将全都有些惊慌起来。