重阳节的时候，赵光义在宫里大宴群臣。赵光义考虑大儿子病刚好，不便现在赴宴就没有让赵元佐过来。

大家一起赏月吃饭，听着歌舞，吟诗作赋，好不快哉。

赵元佑怕父皇看见他纳妾，影响不好，就没有把张氏带入宫里赴宴。为此，张氏生了几天的气，赵元佑为了哄她也是许诺出了不少好处，张氏才善罢甘休。

晚上赵元佑回府路上想起了大哥没去，他就走到赵元佑府外和人大声谈论宴会的事情。

赵元佐在府里听见别人的议论才知道父皇没有请他赴宴。他以为自己被抛弃了，越想越气“你们都去赴宴，就我没去，这是抛弃我啊，拿酒来。”

随从本来不想拿酒的，可是看赵元佐这样生气，他没有办法只好给赵元佐拿酒。

赵元佐是一坛又一坛的喝酒，喝完之后居然起身拿起一坛酒走进宫外，把酒倒在宫墙上，拿起火把就点了起来。

随从吓得连忙大喊“起火了，救火啊。”

现在皇宫植被很多，而且房屋都是木架结构，很容易燃烧，幸好及时救火，才没有酿成太大的损失。

赵光义知道儿子纵火烧宫后气坏了“来人，把那个逆子给我抓回来。他以为跑了，朕就拿他没有办法吗？”

赵元佐被人发现在池塘边，浑身都有臭味了，邋里邋遢，赵光义都不想看见他，直接让人把赵元佐送到中书省审问，把他贬为平民。

就这样赵元佐稀里糊涂的变为了平民，赵光义要安置他去均州。

宰相宋琪率领百官三次上表“陛下，人非圣贤孰能无过，就饶了他一次吧。”、“是呀，皇上，父子之间哪有隔夜仇”

赵光义这个时候气已经消了大半，大臣们又给他梯子下，赵光义就让人去把赵元佐追回来。

咨议赵齐、王遹，翊善戴元叩头请罪，赵光义赦免了他们。赵光义说“这个儿子我教他还不改，你们怎么能辅导呢？”

赵元佐这个时候已经到了黄山，听见有快马过来，连忙想让，谁让他自己已经是庶民了呢。

没想到是皇帝派来的人“大人，陛下让小人过来带您回去。”

赵元佐连忙问“那我还是楚王吗？”

使者低着头说“皇上没说这个，只让您废居南宫，让小人守着您。”

如今人为刀俎我为鱼肉，还能怎样呢？赵元佐凄然一笑，跟着使者回去了。