九月，裴寂兵至介休，因宋金刚据城抵御，驻军度索原。唐军营地缺水，山涧水路又被宋金刚掘断，裴寂只好移营，以寻求水源。宋金刚趁机出兵，唐军大败，死伤惨重。

裴寂疾驰一昼夜，方才逃回晋州，这时，晋州以东城镇全部丢失，宋金刚又进逼绛州，裴寂只得上表请罪。唐高祖下诏慰谕，又让他镇抚河东。

十月，宋金刚攻陷浍州，军威大振。裴寂生性怯懦，没有将帅之才。他命虞泰二州百姓进入城堡，又将他们的积蓄焚毁，使得百姓不安，人心思乱。夏县百姓吕崇茂趁机叛乱，响应刘武周，将前来讨伐的裴寂击败。

不久，唐高祖召裴寂回朝，指责道：“起兵初期，你有辅佐之功，官爵已到极点。此番抵御刘武周，兵力足以破敌，却败亡至此，难道你就不感到有愧吗？”将他下狱，但不久又将他释放，对他更加优宠。

唐高祖每逢出巡，必命裴寂留守长安。621年武德四年，麟州刺史韦云起告发裴寂谋反，但查无实据。唐高祖抚慰裴寂，命三位贵妃携带美食宝器到裴寂家中饮宴，至次日方回。后来，唐高祖改铸钱币，又赐裴寂自行铸钱的特权。

623年武德六年，裴寂升任尚书左仆射。唐高祖在含章殿赐宴，裴寂趁机请求道：“当初起兵太原，臣曾与陛下约好，天下平定之后准臣辞职归田。如今四海太平，请准臣退休。”唐高祖极力挽留，泪下沾襟，表示要与裴寂相偕终老。

626年武德九年，唐高祖册封裴寂为司空，赐实封五百户，并命尚书员外郎每日到他府中值守。玄武门之变后，李世民继位，是为唐太宗。裴寂的食邑被加至一千五百户。

628年贞观二年，唐太宗到南郊祭祀，命裴寂、长孙无忌同乘御辇。裴寂推辞，唐太宗道：“你有佐命之勋，无忌也效力于我，能够和我同乘一车的，除了你们二人还有谁呢？”于是同车而回。

629年贞观三年，僧人法雅因妖言获罪，裴寂也受到牵连。唐太宗免去裴寂的官职，削去他一半的食邑，让他返回故里。

裴寂请求留居长安，唐太宗斥责道：“你的功劳、才学，都不足以由如今的地位，只是由于太上皇对你的恩宠，才位居第一。

武德年间，政法方面纰漏谬误极多，地方官吏施政紊乱，对此你也应担负责任！我念及旧情，不对你施以极刑，让你回归故里，你还有什么不满意的？”裴寂只得返回蒲州。

当时，狂人信行客居汾阴，常对裴寂的家僮道：“裴公有天分。”信行死后，家奴恭命将此事告诉裴寂。裴寂大惊，不敢奏明皇帝，暗中命恭命将知情的家僮杀死。恭命却背着裴寂，将家僮放走。

后来，恭命得罪，向朝廷告发裴寂。唐太宗大怒，对侍臣道：“裴寂犯了四条死罪。第一，官居三公却与妖人交游；第二，事发之后，愤称国家之兴是其所谋；第三，隐匿妖人之言而不奏；第四，杀人灭口。”最终将他流放静州。