今此蔚山之役，天兵初日乘贼不备，以兵马蹂之。贼仓惶不能支吾，奔败不暇——

二十三日这天的战斗，倭寇被打了个措手不及，放弃了兵营城，转而集体逃向蔚山倭城工事群落。希望借助岛山和东部洞，及西部洞、东营、太和江寨这些防御工事，继续负隅顽抗。

倭寇退守蔚山倭城之后，重新进行了防御部署：岛山有加藤安政驻守，东面的城隍堂有浅野幸长驻守，外城北面有宍户和加藤左卫门驻守，西面则是太田一吉把守着。

倭城后方是太和江，渡过太和江南下就是西生浦。而加藤清正一开始听说蔚山被围，还不敢相信，以为是明军放出的假消息，目的是引诱他出西生浦。

当确信消息为真，加藤清正当晚就带着吉村左、吉村右等五十名士兵，乘坐小船从西生浦渡海，向蔚山倭城进发。途中遭到明军堵截，损失二十人之后，剩余三十人和加藤清正继续进发，又趁着潮涨顺利进入倭城，卸下军资弹药。而加藤的到来，仿佛也给倭城里的人吃了定心丸。

二十四日卯时，麻贵、杨鎬发出进攻号令，督率官兵向蔚山倭城的外围发起猛攻，‘书生大官’杨鎬亲自披甲上阵督战。

卯时天还大黑，但明军的各样火炮已俱发，趁着火炮的光亮，守城的倭军尚能辨认出穿着红、黑、白三色战甲的明朝联军。而此时又刮起北风，城中的房屋一时火起，贼众披靡，顿时乱成一团。

左协负责攻打倭城以东的筑垒，李如梅主攻城隍堂，茅国器率部进攻伴鸥亭及东营，右协李芳春则带人扫荡倭城西面的太和江寨。

茅国器一部攻势最猛，率先攻破东营，之后又克伴鸥亭，再逼近西部洞。城西右协李芳春部逼近太和江寨，一开始还并不顺利，好在其家丁先登，之后才顺利夺下太和江寨。

攻打城隍堂的李如梅反倒进攻受阻，浅野幸长坚守城隍堂，一时间也无法攻陷，以至将外城的战斗拖到了午时才结束。不过这时左协的陈寅部向蔚山倭城的西北方发起了进攻，并连续攻破外栅和三层内栅，外城先登之后，又直逼岛山内城。

加藤清正见外围工事已破，坚守已毫无意义，便派人让浅野幸长撤回岛山城。而此时浅野也快抵挡不住李如梅的进攻，他当即就弃守了城隍堂，向岛山逃去，李如梅随即攻陷城隍堂。

攻陷城隍堂后，李如梅并未停下，而是继续追击，向岛山方向杀去。他一路扫荡，诸如土窟、铺幕一时尽焚，斩落的首级也不知其数。

外围防御工事纷纷告破，只剩下一座孤零零的岛山内城。

但内城也是岌岌可危，火箭一支支射向城内，引燃一切可以燃烧的东西，火势之猛又很快蔓延到城中。

四处都在燃烧，弥漫的烟雾遮掩了视线，即便从最高处的本丸向四周看去，同样分不清哪是哪。但他们能看清近处明军攻城的模样：巨大的铁钩钩住城墙，而后集百八十人之力，用力拽住铁绳一拉，城墙顷刻倒塌，随后明军便从倒塌处试图攀上城墙。虽说倭军拼死阻止，无奈明军后援是源源不断，光应付攀墙的明军已是非常吃力。

眼看李如梅就要直捣内城，在鹤城山督战的杨鎬也是意气风发，接伴使李德馨向他称谢，杨经理笑笑道：“只是小捷，看我剿灭西生、釜山之贼，方可言喜！”此时他只觉胜券在握。

不过明军还是小觑了岛山内城的坚固，而且因前日奔袭而来，弃了很多重型火炮，身边只有霹雳炮、虎蹲炮、大口碗这类火器，另外明军攻城的器械诸如云梯、冲车等，乃至御丸之物几乎没有，仅凭肉身攻城，肯定伤亡不小。

但李如梅手下的二百士兵还是攻上了本丸，正与倭军厮杀开来。

可偏偏这紧要关头，后方却突然鸣金收兵。原来是麻贵下令停止攻城，这让已先登的士兵一下没了后续接应。本来还在抵抗的倭军趁机反杀，可惜这二百人，才杀开血路就又被围住，进也不能，退也不能，转瞬就丧命于此。

麻贵勒令李如梅收兵后，明军暂停攻城，机会稍纵即逝。倭军有了一丝喘息之机，也趁此加强了防御。待明军再度攻来时，依靠防御优势，居高临下对城下左右协的明军还以炮击。本丸可以覆盖二丸三丸在内的大部分范围，一时竟打得明军无法靠近。

受命堵截釜山援军的中协也被调了回来协助攻打岛山，为了尽快赢得胜利，麻贵下令改用大炮轰击，但普通的火器对于坚固的城垣没有丝毫破坏力，即便换上虎蹲炮和霹雳炮也一样。

快一整天的时间都毫无进展，麻贵只得宣布后撤。

城内倭军见明军后撤，浅野、太田、加藤等部也趁此反击，相继杀出，滞后的明军不敌，多人战死。加藤安政则继续杀至岛山大门，确认明军已退后方才回到城内。

杨鎬见状要气得吐血，但也只得重新调整兵力部署，将中协高策调回，屯兵岛山城东，吴惟忠屯兵于城南，改派中协副总兵祖承训、游击颇贵去堵截釜山援军。

同样右协李芳春调回屯兵于城西，而左协李如梅、摆塞、与三千南兵屯于太和江边，堵截自西生浦来的水军。

由于久攻不下，高策派人请求杨鎬合兵攻城，吴惟忠也埋怨他未及早攻城，还派人来问：“当几今日未备之时，为何不攻？”