仁宗因军败犹疑，加上朝臣蜂拥弹劾，竟真定了宁北侯谋反的罪名，于军中赐了自尽，又在军中大肆搜罗宁北侯党羽。
其时朝中勋贵奢侈日甚，官民皆有怨言，加上本朝承平已久，文官势力大增，对勋贵也开始打压起来。再加上有人蓄意煽风点火，南征军中牵连将校无数，牵连越来越广，以至从军中蔓延到朝中文臣。
宁北侯一案最后渐成池鱼之事，人人自危，震动朝纲，仁宗面上亦是后悔，严旨黜落了一些蓄意生事之大臣，宁北侯谋反一事方才不再牵连。又召蜀王从封地入京，其后几年外封的宗室陆续全被召入京中，不再放这些宗室出京，只是虚领了封地，仁宗借着宁北侯一事，连打带消，既削弱军中勋贵的势力，又消除了外封宗室的隐患。
其时齐琰祖父，勇毅伯世子齐沣正在宁北侯南征军中为左军主将，齐琰父亲齐昭年虽年方十六，也随军出征。齐沣齐昭父子正是勋贵，又在军中，军败之责逃也逃不了，又被罗织一番罪名，虽未丢了性命，却夺了齐沣勇毅伯世子之位，齐沣齐昭被夺去军职，流放西北。
这一流放便是十几年，齐昭京中本已定了的亲事自然也是不成了。其时西北困苦，犯官多有流放至此的，数年后，知道返京无望，齐沣给齐昭在犯官家属中定了一门亲事，一个犯错流放的主薄之女。
这便是齐琰的外祖父林希城与母亲林氏了，林希城年近四旬方才中的进士，不过三榜同进士，吏部考资后，放了一个大县的主簿，林希城多年读书，不懂官场变通以及暗地中的勾当，性格又耿直，被知县和本地大户所恶。
被知县与下边一班小吏和县中大户耍手段玩弄于鼓掌之间，短短两年，名下竟被弄了一千多两银子的亏空，又被告了一个贪酷的罪名，赔尽了家财也没补上亏空，幸而审理他案卷的按察司使知道事有蹊跷，定了他一个流放西北，没有丢了性命。
林希城族中已是无人，妻子早逝，只得一个女儿，女儿也就跟着一起到了西北。西北虽是苦寒，但人总得有点希望，日子总要过下去，于是请了中人，齐昭与林氏便结为了夫妻，有了齐琰。
齐沣与林希城皆是不得意之人，又在苦寒之地干熬，不见出头之日，心中郁气集结，竟成了痨症，不几年先后故去，林氏心伤父亲与公公之死，又体弱多病不几年也故去了，只剩齐昭与齐琰父子二人。
四年前，新皇登基，大赦天下，齐昭自然也在赦免之列，本想多年苦难熬出了头，能带着儿子返京，此生与军务仕途上也不再多做他想，只想回京与儿子度日。
此时京中勇毅伯府已经由齐沣的弟弟齐治袭爵，齐治袭爵时因无功被降了一等，勇毅伯府变成了勇毅子府，齐治自小便是一派纨绔做派，却又性格暗弱，遇大事只是躲闪，只做好这勇毅子爵，过逍遥日子便罢，妻子严氏虽也是将门出身，家中早已败落，目光短浅，躲事逐利，蝇营狗苟。
夫妻二人得知新皇登基大赦天下，一是怕齐昭回京析分家产，二是宁北侯谋逆案多年来还是朝廷禁忌，怕齐昭归来为勇毅子爵府带来祸患，竟然派了管家，带了些银两，于回京路上迎着了齐昭。
见了齐昭只说，新皇虽然大赦天下，但是宁北侯一案仍是朝廷禁忌，怕齐昭回京招祸，请齐昭回齐氏原籍安置，以避祸患，又说子爵府自被降爵以来亦是艰难，待日后好转自会寻机接齐昭父子二人返京，
齐昭哪里不知京中叔父婶婶想的是什么，但是多年磨难，加之儿子尚幼，能回中原已经是叨天之幸，也不再多求什么，只求儿子长大再说。
由京中管家伴着一路回到了原籍永阳县齐家村，齐家村中齐家与京中伯爵府早就分宗，但是毕竟是一个齐姓，又是京中子爵府来人。自是帮忙安置了齐修齐琰父子，村中置办了一所宅院，买了二十亩上等田地，也够父子二人度日的了。
齐家本来是有些敬畏这齐家父子的，虽然遇祸，但毕竟是京中伯爵府嫡支，然听得子爵府管家之言，齐昭卷入宁北侯谋逆案，流放多年遇了大赦才得回归中原，那管家又请齐家对齐昭父子身份不要声张，只说是投靠的外来户便是，免得麻烦。
齐家宗房便也对齐昭父子不再敬畏，但也不敢做些什么，不过是些场面上过的去的事儿，各过各的日子。
齐昭父子在齐家村安顿下来后，齐昭积劳成疾，又怨恨叔父婶婶薄情寡义，心痛父亲岳父妻子早逝，缠绵病榻一年多，竟也是故去了。
由此在齐家村中，只剩得齐琰一人，其时齐琰方才十岁，待得齐家大宅的人和村人帮忙处理完齐修后事，早前置办下的二十亩上等田地和宅院，经过这一年多的花销，变成了三间土坯房和十亩下等地。
由此齐琰家里供奉的牌位多了一个，他也成了村中人口中的小西北，一个外来户，一个庇佑于齐家村的外来户，咱们齐家村仁义啊！
我是外来户吗？齐琰在心里问，不是！我父子不是外来户啊！当年齐琰祖父的祖父，从这村中走出从军，跟着大卫军队进大漠入草原，赤手空拳打出一个勇毅伯的爵位来，这个村才被称为齐家村。虽然京中伯爵府与齐家大宅早已分了宗，在齐琰曾祖那辈儿就已经出了五服，可是他与他父亲齐昭不是外来户。
父亲过世后，齐琰也变得沉默寡言，住在村尾，除了与佃户齐老四和隔壁邻居家，村中孙猎户有所往来交谈外，与其他村人也不过是见面点个头，打个招呼的情面。
齐琰记得父亲对他说过的话，你现在在这个村中说出你的来历来，半点帮助都没有，这些村民只会嘲笑你，排斥你，若是日后你的子孙还在这个村子，再对他人说起当年我家也曾富贵过，我家是京城中御封的伯爵，那时候只是一个撑脸的谈资，若真到了那样儿，也是我们这支该落败。
会败落吗？过去也许会，也许不会，过去齐琰虽然沉默寡言，可也有着自己的打算，想着到了十六岁从军，当年祖上赤手空拳打出一个伯爵爵位来，祖宗能，我齐琰也能，现在换成我这个齐琰，嗯！他能！我自然也能！