李世民让精骑在北邙山列阵，自己带着李世勣登上北魏宣武帝陵观察郑军。看了一会儿后，他对李世勣说道：“王世充贼子的处境已窘迫了！他倾巢而出，想像当年打李密那样侥幸打一胜仗。今日我们若打败他们，以后他就再也不敢出战了！”李世绩也深以为然地点头说是。

对于这位英武不凡、射术精湛而又勇猛果决的秦王，李世勣也很是欣赏，颇有惺惺相惜之情。

李世民命令屈突通率领五千步兵过谷水进击王世充，并告诫屈突通道：“军队一交锋立即放烟火。”

待到起烟，李世民带领骑兵向南冲击，身先士卒，与屈突通汇合兵力奋力战斗。李世民想了解王世充军阵兵力分布情况，率几十精锐骑兵冲入敌阵，一直冲到敌阵背后，不可阻挡，杀伤很多敌人。

不久因长堤所限，李世民和众骑兵走散唯有将军丘行恭跟随着李世民。几名王世充的骑兵追上来，李世民的坐骑中箭倒毙。丘行恭调转马头向回骑，射击追赶的郑兵，箭无虚发，追兵不敢向前。于是丘行恭下马将自己的坐骑让给李世民，自己在马前步行，手执长刀跳跃大喊斩杀几人，冲出王世充军阵，得以回归唐军大部队。

王世充也率领部下殊死战斗，军队几次三番打散后重又集合起来，从上午七八点钟直到中午，王世充的军队才退军。李世民挥军追击，直到城下，俘虏歼灭了七千人，于是包围了洛阳。

唐骠骑将军段志玄奋力与王世充的士卒交战，深入敌阵，坐骑倒下，段志玄被王世充的士兵俘获。两名骑兵夹着他并抓住他的发髻，准备过河，段志玄奋勇跳起，那两名骑兵都掉下马来。段志玄骑上马奔回唐军，后面有几百名骑兵追赶，但都不敢靠近。

李世民包围了洛阳宫城。城中王世充的防御还是十分严密。大炮可以射五十斤重的石头，投出二百步远，有八个弓的弩，箭杆像车辐，箭镞如同臣斧，可以射五百步远。

李世民四面攻城，昼夜不停，十几天未能攻克。城中先后有十三个人想献城倒戈策应归唐，均没有来得及发动就被王世充发现并处死了。

久攻不下，唐军将士都疲惫不堪想回关中。总管刘弘基等人请求班师回朝。李世民说道：“如今大举而来，应当一劳永逸。洛阳以东的各州已望风归服，唯有洛阳一座孤城，其势已不能持久，成功在即，怎么能放弃而回朝呢？”于是下令全军：“洛阳不破，决不回军，再有胆敢提起班师的一律斩首。”众人才不敢再提班师一事。

李世勣又向李世民提议围而不攻，困死王世充。李世民想想也是，就令大家驻扎下来修整，严防郑军偷袭与突围即是。

李渊听说久攻洛阳不下后，也下密敕让李世民还军。李世民上表说明洛阳必定可以攻克，又派参谋军事封德彝回朝面陈军前形势。

封德彝对李渊说：“王世充得到的地方虽然多，但都不过是略有联系的部属，实际号令所能管辖的只不过洛阳一城而已，他已经智尽力穷，克城之日就在近期之内。现在如果回师，他的势力就会重新振作起来，再加上各地互相联合，以后想要消灭他就难了！”于是李渊听从李世民的建议。

李世民写信给王世充，晓以祸福利害，准备劝降他。王世充没有回复，他当然是在等窦建德的援兵的到来。