杨镐则对此议极力反对：“绝不可如此，即便我们发起总攻，岛山也非立时可下，如若我们未能在敌援军到来之前攻下岛山便会腹背受敌，四面楚歌，鲁莽行事只会前功尽弃！如今倭寇已受到前所未有之重创，先避免被敌夹击，待重整旗鼓之后再攻岛山则轻而易举。立刻传令全军立即向庆州撤退！”柳成龙与权栗再三请求继续攻击，杨镐不许，严令立即撤军。二人深感无奈
加藤清正及浅野长政得知援军赶至大为振奋，日军士气高涨，火力还击相较往日更为猛烈。麻贵于督战中察觉日军异常，忽见明军后队十分慌乱，纷纷北撤，明将解生来报：“传报倭寇大军来援，经略杨镐严令撤军，杨经略现已撤往庆州，军令仓促，士气大溃，乱不可制。”
茅国器请令：“大军已乱，还请提督速撤，我等殿后。”麻贵大怒：“尚未探明虚实岂能仓促撤军，军械辎重尚在，你等传我将令整肃军纪有序撤离，我自断后拖延。”吴惟忠劝道：“主帅已撤，提督身为副帅不可立于危军之中，倘若有失，军心难复，必将慌不择路，溃不成军，惨遭倭寇屠戮。提督整军撤离，我与茅国器率部断后，抵挡倭寇侵攻，一旦大军安然撤走，我二人便随后赶来会合。”
麻贵连连叮嘱二人务必保全性命，便令吴惟忠及茅国器领兵五千殿后阻击，自己整军撤离，护送辎重。小早川秀秋大军赶至随即便向明军阵地杀来，加藤清正见状也领军出击，吴惟忠及茅国器苦战方退，拼死才得以杀出重围。明军争相夺路，通往庆州路上多悬崖关隘，常有践踏坠崖而死者，此战日军战死、负伤、饥渴而死者共计万余，朝鲜战死千名，负伤三千，明军亡七千有余，战后伤者三千，朝明联军伤亡则在一万四千有余。
杨镐逃奔庆州之后又担忧庆州相距过近而不保，再度传令全军撤回汉阳。邢玠见杨镐大败孤身逃回怒从心起：“皇上对你委以重任，阁臣对你信赖有加，为何蔚山一役中处事如此轻率！杨经略，丢城弃地可罪当问斩呐。”杨镐则急忙辩解：“督师也知这严寒之下雨雪不断，攻城受限，给养供给艰难，水军又不能切断海面，此皆外因。将士疲惫，士气萎靡不振，皆贪生怕死之徒，此为内因所在，不然早已将岛山倭城攻下。我与麻贵日夜督战连战十三日，敌受重创，突闻敌大军来援，竟有五万之众！故先避其锋芒，以免腹背受敌，若反遭合围，那我才百死莫赎，如今休整再战而已。”
赞画主事丁应泰出言责问：“经略此言恐有避实就虚之嫌，此战之外因，当日议事之时便人所共知，经略也是力主出战，何必以此搪塞。战场谋划，临机决断，军心士气皆为主帅之责。依我看是经略您不纳谏言才使岛山久攻不下，一意孤行才使敌有可趁之机，此为刚愎自用之罪”
杨镐正欲再辩，麻贵一路追回汉阳，急见邢玠及丁应泰怒斥杨镐：“请督师及主事恕罪，末将本不该多言犯上，但实在愤恨难平。杨经略既然力排众议，坚持全力攻城便应当贯彻始终。即便敌来增援也应先探明虚实再作决断。眼见岛山倭城即将攻下却仓促撤军，官兵死伤无数，军心尽溃，苦战无功又成大败，军中对此颇有怨言。此乃各营队估报伤亡明细，请督师、经略察看。”
丁应泰随即感叹杨镐确实难辞其咎，杨镐却说道：“提督所言大败从何而来？我军此战何曾大败？分明是大胜倭寇！此战我军日夜奋战一十三日，夺得大片阵地，缴获无数敌资，敌寇被迫只能龟缩岛山一隅顽抗。岛山倭敌几乎死伤殆尽，我军战死不过千余，倭寇大为震慑，畏惧无比。正巧敌寇来援，未免有失故先撤军再行备战。如今东南之势已在我掌控之中，西南之敌惶惶不可终日。提督在此却言大败是何用意？”
麻贵惊问：“但各营队上报伤亡已达两万，战场尸横遍野，也不在少数，如何得来不过千余？”杨镐辩称：“大战方毕，各营队一时间怎会有详细来报，这份明细仅为粗略估计，但从中也可猜得一二，应重拟明细据实上奏并报大捷以慰圣心。”
丁应泰怒道：“杨经略，你莫非想讳败为胜！我定会弹劾你欺君之罪！”杨镐轻笑数声，取出内阁书信说道：“此为内阁张、沈二位阁老的亲笔信，各位请看。皇上日理万机之余时刻期盼大胜，日难安食，夜不能寐，内阁也是殚精竭虑，望我务以大局为重。东征战事许我全权也望我等能通力协作。信中已经言明，二位阁老对我杨镐可谓信任有加，言听计从。我军分明大胜，不知诸位为何执意言败？难道只要未攻下倭城就为战败么？我新丧父本应回乡守孝，但皇上念战事正急，故夺情留用，内阁奉旨已拟诏嘉奖，本欲凯旋之后再作公布，这旨意内容沈阁老已向我告知，今日也不妨给诸位一看。还望诸位与我勠力同心，不可偏颇不可欺瞒圣上，请各位与我联名上奏蔚山大捷。督师以为如何？”
接过内阁书信，邢玠、丁应泰、麻贵皆面面相觑。邢玠面有难色，久难开口，言即有上意为臣者自当遵从答应杨镐联名上奏。后