高欢因为长时间都无法攻陷玉壁城，反而为此损兵折将，付上了沉重的代价。他心情郁闷，忧思过度以至罹患疾病。
高欢看到士兵病死了超过一大半，所余兵力再也无法坚持下去，而且天气已经转变，进入了冬季，更加不利大军在野外作战，因此也犹豫着要不要马上撤军返国，他自觉身体精力越来越不济，就和一众幕僚商量对策。
高欢问:“诸位，如今天时地利均不利于我军，与其在此消磨兵力，倒不如撤军回去，来日再从长计议，诸位对此有何良谋善计？”
其中大将斛律金就说:“大王，末将同意撤军，况且大王的精神没有以往康健，凡事应以大王的身体健康为重，待来年可挑选精兵良将再临玉壁，不怕破不了它。”
另一名大将彭乐就说:“大王，末将请求给我两万兵马，保证能攻克玉壁，为大王洗雪前耻！”
高欢听了就说:“彭将军勇气可嘉，只是如今兵士的斗志消沉，再拖下去，后果难以估计，等大雪停了后，就传令大军拔营撤军吧。”
“可是大王，我等就此撤军，岂不是让那韦孝宽指着鼻子耻笑我们？我们如何能吞下这口气？”
高欢听了面露犹豫之色，他无奈地说:“再等两天，如果大雪还是不停的话，就马上撤军吧。”
谁知当天夜里，天上突然掉下了一块大陨石，而这块大陨石正好坠落于高欢的大营中。古人认为陨石坠落即是将星坠落，意味着将会有大将去世的先兆，高欢对此天文现象大为惊惧，不得不解除围城拔营返回晋阳。
高欢大军归途中，韦孝宽又指使人在东魏军中散播谣言，讹传韦孝宽大弩要射杀高丞相。又让自己的军兵等消息传开之后，再派大军四处高喊：“高欢鼠子，亲犯玉壁，劲弩一发，凶身自殒。”
不得不说这个韦孝宽真是个将诡诈之道用到极致的人，高欢大军中被他这样一搞，弄得士兵们人心惶惶，个个人人自危。
为使军心不致动荡，高欢不顾病重之身，在露天大营召集诸将宴饮，以安定军心。他命手下名将斛律金即席作曲，让全军士兵一起歌唱，让大家可以一抒胸臆。斛律金于是即场创作了《敕勒歌》：“敕勒川，阴山下。天似穹庐，笼盖四野。天苍苍，野茫茫。风吹草低见牛羊。”
当歌声响起之时，高欢亲自和唱，因哀伤感叹而流下了男儿泪。这就是《敕勒歌》产生的历史背景，它愉快的歌词背后，沾染着英雄末路和暮途思归的悲壮色彩。
这首歌词一直流传至今。关于《敕勒歌》这首北方民歌到底是谁作的，一直都有颇多的争议。有些人认为《敕勒歌》本就是北方牧民传唱的民歌，斛律金只不过是一名翻唱者。
但《资治通鉴》和《北齐书》都认为，斛律金就是原创作者，宋朝诗人黄庭坚也认为作者是斛律金，并以“仓卒之间，语奇如此，盖率意道事实耳”，来称赞斛律金是词曲创作方面的天才。
斛律金，字阿六敦，朔州敕勒部人。敕勒族是中国北方的一支游牧民族，最初在贝加尔湖一带驻牧。秦汉时期，他们被称为丁零。后来，敕勒族南下到漠南。
北魏时期，鲜卑领袖拓跋焘将敕勒族彻底击败，并将他们强行迁徙于漠南千里之地，其中就包括现在的土默川，即南北朝时朔州治下的敕勒川。
斛律金就出生在敕勒川，并在这片草原长大。斛律金的祖父、父亲曾在北魏政府中任很高的官职，屡立战功。
斛律金擅长骑射，精通兵法，“行兵用匈奴法，望尘知马步多少，嗅地知军度远近”。这意思是说，斛律金擅长匈奴战术，远望灰尘的浓厚便能知对方的兵马有多少，嗅地面的气息、听地面的震动，便能知大军的距离远近。
更难得的是，他还精通音律，擅长填词作曲，堪称是文艺范儿的将领。因为能征善战，他曾被北魏政府任命为”第二领民酋长”，秋天到京城朝见，春天又回到部落，就像大雁避冬一样，所以他又被号称为“雁臣”。
北魏分裂后，斛律金成为高欢的亲信部将，继续在东魏效力。他跟着高欢从戎沙场，远征千里之外。
但是他始终难忘家乡的一草一木，总是梦回故土——苍茫辽阔的敕勒川平原上，水草丰美、碧草连天、香气袭人，片片白云在无尽的蓝天中飘游，牧人策马、牛羊游动，再加上蒙古包缕缕的炊烟与缓缓行驶的勒勒车，简直就是与世无争的世外桃源。
当高欢兵败，想让斛律金写下《敕勒川》时，高欢或许没想到，这首歌也成了他这个一代枭雄最后的挽歌。
高欢因为亲率大军攻打玉壁这个小城，却是久攻不下，还因为瘟疫爆发以至死伤无数士兵，重创了东魏大军，无奈之下只好被逼撤军返国。
玉壁战役成了高欢的心病，因这这个地方是进军西魏的必经之处，如果不能将其拿下，就永远成为阻挡东魏大军前进的心脏据点，如梗在喉。
高欢来时想着自己的十万雄师，去攻打一个只有不足一万人据守的城池一定攻无不克，战无不胜的，谁料到会出现这样的反转，不但没有攻克城池，还折损近七、八万山东士兵。
玉壁之战对高欢来说真是一个致命的打击，损兵折将都算了，还把自己的自信和建康都赔个精光，他被恼怒悲愤的情绪所笼罩，也因为担心日后自己不在的时候，东魏会否就此垮台。
所以才渴望在自己的有生之年消灭西魏，为自己的子孙将来一统天下打下坚实的基础。只是事与愿违，在攻打玉壁城时，天气转变，寒冷交加的时候，还偏偏屋漏又逢连夜雨，军兵又碰上瘟疫，让他的军队病死无数，以致无法坚持下去继续围城。
这次撤军把之前的两次战斗都变成功亏一篑，高欢也不得不接受现实，返回晋阳。