苏威随从天子祭祀泰山，因为不敬又一次被免官，但是很快官复原职，隋文帝对群臣说：“人们说苏威伪装清廉，其实家中金银无数，这是毫无根据的瞎话。但他生性乖僻，不明白世事关键，追求名声太急切，顺从他的就喜欢，违背他的就发怒，这是他的大缺点。”苏威奉命持节巡抚江南，可以随机处置事务，过会稽时，翻越了五岭才回到京城。突厥都蓝可汗经常制造边患，朝廷于是派苏威前往可汗驻地，与他们缔结和亲盟约，可汗派遣使臣来京贡献地方特产。苏威因为劳苦功高，晋位大将军。开皇末期，应召与杨素、牛弘、薛道衡、许善心、虞世基、崔子发等人召集儒生，辩论新的礼仪并制定杀伐的量刑轻重。
隋文帝去仁寿宫，命苏威总理京城事务，等到隋文帝回到京城，御史弹劾苏威多数职务内的工作没有做好，请求审问，隋文帝发怒斥责苏威，苏威拜求告罪，隋文帝也不再追究。蜀王杨秀获罪，隋文帝下令杨素、苏威、牛弘、柳述、赵绰共同审理此案。
天子兴修长城，苏威劝告隋炀帝停止大兴劳役，高熲、贺若弼等被杀，苏威因受株连，被免去官职，过了一年多，又任鲁郡太守，不久召他还京，参预朝政。这年随隋炀帝征讨吐谷浑，升任左光禄大夫，因为苏威是前朝旧臣，逐渐委以重用，一年多后，恢复纳言官职。与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，当时称他们为“五贵”。
到辽东之役时，苏威以本职兼任左武卫大将军，升任光禄大夫，赐宁陵侯爵位，这一年，晋封房公。苏威因自己年老，上表请求退休，隋炀帝不允许，又让他以本官兼掌选举之事，第二年，随隋炀帝征讨辽东，任右御卫大将军。
杨玄感造反，隋炀帝把苏威请到军帐中，面有惧怕之色，对苏威说：“这个小孩很聪明，怎能不成为国家的忧患呢？”苏威说：“那些明辨是非、审视成功的人，才是聪明人。杨玄感粗鄙简单，不是聪明人，不必为他忧虑。但是这恐怕会成为出现祸乱的开头。”苏威见天下劳役不息，百姓思乱，略微用这些话讽喻隋炀帝，隋炀帝却并不因此领悟。
隋炀帝回到涿郡，下诏苏威安抚关中，任命苏威的孙子尚辇直长苏儇为副使，他的儿子鸿胪少卿苏夔，之前担任关中主管人事任命的重要官职，一家三人，都奉命出使关中，关中三辅的人都引以为荣。隋炀帝亲下手诏说：“玉石因为光洁玉润，涂描不能改变它的性质，松挺拔于寒冬，霜雪不能减弱它的光彩，这就是所谓的温仁与劲直，这是本性如此吧。房国公苏威，气质襟怀温良宽宏，见识博雅气度宏大，早年在朝廷中担任重要职位，熟悉国家的典章制度，是先皇帝的旧臣，朝廷的老前辈。他是国家的栋梁，辅佐我十分辛勤，遵守法律法规，自谦以遵守礼仪。过去汉朝有三杰，辅佐惠帝的是萧何。周朝有治理能臣十人，辅佐成王的是邵公奭。国家的宝贝，在于得到贤人，参预治理国家，他们是星光和台阶，可供人们作为依据。虽有涉及争论的事情，最终总会澄清，衡量时事事物，仍为朝廷为要，可让他任开府仪同三司，其余官爵不变。”苏威当时被尊重的程度，大臣中无人可与他相比。
隋炀帝巡幸雁门，被突厥包围，情况十分危急，想以轻骑突破重围出去，苏威劝告说：“守住城池我们有余力，轻骑突进是敌方所擅长，陛下是万乘之主，怎能轻易冒进？”炀帝于是作罢，所幸突厥不久也解围离去。隋炀帝车驾到太原，苏威对他说：“盗贼不止，士兵马匹极度疲惫，希望陛下回到京城，巩固朝廷加强国力，谋划朝廷社稷大事。”隋炀帝本来认可他的意见，最后却又听从宇文述等人的提议，去了东都洛阳。
天下大乱，苏威知道隋炀帝不可改变，心中很担忧，刚好隋炀帝问侍臣有关盗贼的事，宇文述说：“盗贼的确很少，不足为虑。”苏威不会说假话，于是便藏到宫殿柱子后面，隋炀帝问苏威的意见，苏威说：“我不管这事，不知盗贼多少，只担心他们越来越近。”隋炀帝说：“怎么讲？”苏威说：“盗贼以前占据长白山，近在荥阳、汜水一带。”隋炀帝不高兴，便不再问了。不久，适逢五月初五，百官献礼，多献珍宝奇玩，苏威献上一部《尚书》，旨在劝诫隋炀帝，炀帝更加不满，后来又问他讨伐辽东之事，苏威说，希望能赦免群聚的盗贼，让他们讨伐高丽，隋炀帝因此更加恼怒。
御史大夫裴蕴明白隋炀帝心意，让白衣张行本告苏威往日在高阳郡主持选拔官员时，滥授别人官职，又说他害怕突厥，请求回到京师，隋炀帝下令调查这些事。案件议定之后，隋炀帝下诏说：“苏威生性热衷于朋党，好为异端，心中怀揣旁门左道，贪图名利，污蔑国家法令，诽谤朝廷官员。多年征伐外国，是为了尊奉先皇的遗志。凡有询问等事，朝臣们都能毫无保留的陈述意见，只有苏威不表示态度，作为人臣发挥正义的天职，怎么能这样呢？恭对咨询的心意，是何等的凉薄！”于是解除了他的官职，将他贬为庶民。
过了一个多月，有人告苏威与突厥勾结阴谋举事，大理寺因此审问苏威，苏威自己申辩说，他侍奉二朝三十多年，精诚所至不能让皇帝知道，各种错误接连不断，罪该万死，隋炀帝怜悯而开释他。皇帝巡幸江都行宫时，苏威随行，炀帝想要重新起用苏威，裴蕴、虞世基上奏称，苏威昏聩衰老而且多病，隋炀帝这才作罢。
宇文化及叛逆弑君后，任命苏威为光禄大夫、开府仪同三司。宇文化及失败，苏威归附了李密，不久李密也失败，苏威又回到了东都。越王杨侗任用他为上柱国、邳公，王世充僭越称帝，任命他为太师，苏威认为自己是隋朝老臣，遭遇战乱，所进过之地，都是随机而处，以希望获得收容豁免。
秦王李世民平定王世充，在东都皇宫阊阖门内理政，苏威请求拜见，自称年老有病不能下拜，秦王派人责备他说：“你是隋朝宰辅，国家政治昏聩你不能匡救，遂使生灵涂炭，国君被弑杀，国家灭亡。你见到李密、王世充，都要拜伏舞蹈行君臣大礼，如今你既然老病，那就不劳烦相见了。”不久，潜回到长安，到朝廷请求拜见，还是未被允许，后来苏威在家中去世，享年82岁。