唯有宣成王由霍氏长子霍真袭爵，且世袭罔替，其他人家三代以后须以科举或军功才能得爵。

据闻太祖皇帝落难之时为霍家所救，且先皇后为霍家女儿，曾与太祖皇帝并肩作战，在东都城下，为太祖皇帝挡下暗箭，太祖皇帝在先皇后的弥留之际，立先皇后之子郑王为太子，且霍家永不降爵。先皇后过世以后，太祖皇帝再也未册立皇后，即是最为宠爱的阴氏，也仅封为贵妃。

太祖皇帝临终之时，将次子秦王和康王叫到跟前，嘱咐三事：

非我族类其心必异，异姓王侯国公可联姻、可封赏，不可给予实权

太子已油尽灯枯，秦王登基后须得仔细赡养，三年之内不可薨逝，其子女好生抚养

霍家家财无数，且鸿鸣刀在手，实为心腹大患，须小心对待，找到合适的机会削爵抄家

太祖皇帝驾崩后，秦王唐绍继位，定年号建兴。

建兴四年，前太子薨逝，正妃侧妃殉葬。四子病亡三子，只有唐筱跛脚残疾，封为续恩公，出宫建府。但只有爵位，没有官职，好在太宗皇帝对侄子还算关照，尚能应付府中开支。先太子只有一女，和亲远嫁。

唐绍在位三十五年，庙号太宗，传位中宗，年号崇宁。

崇宁五年霍家街突发大火，整个宣成王府和霍家花园烧成一片白地，霍家诸人因火势太大，没能逃出火海。

中宗闻讯，亲自到宣成王府遗址祭奠，很是流了些眼泪。

中宗之后，便是显宗、纯宗，到如今传至建义帝，因其出生时候，天降大雨，又被民间称为天雨皇帝。

建义二年，太皇太后病重，御医束手无策，建义帝下诏寻找民间神医，有位孙姓神医揭榜，治好太皇太后旧疾，建义帝赐其二品出身，留在太医院，任职太医院提点。