大业十一年三月，冰雪消融，大河刚封冻，整个春意尚未盎然。天子杨广便如逃一般的离开洛阳，赶往江都。
就是逃。
隋军在雁门的大胜不是混乱的结束，而是新的动乱的开始。雁门之围之后，虽然突厥几乎覆灭，但因为各处援兵北上勤王，原本各地被压制的乱事越发动荡。
先是从河北南逃的卢明月肆虐颍川、襄城等郡，逼近洛阳。
之后城父人朱粲，亡命聚众为盗，谓之“可达寒贼”，自称迦楼罗王，众至十余万，引兵转掠荆、沔及山南郡县，所过噍类无遗。
又有冯翊人孙华自号总管，举兵为盗。
之前那些盗匪乱事，虽然规模宏大，但尽是在边角之地。但这一次乱事已经逼到长安、洛阳的腹心之地，严重威胁京畿腹地的安全。
贼势如此，杨广再是麻木，也没法置之不理。
于是杨广便召集重臣，询问关于贼乱之事。
对于这种事，众人吃得亏多了，一般不敢说话，唯有这宇文述粉饰太平惯了，便说道：“圣人，贼势减少，不足为虑。”
不过杨广也不是傻子，只听宇文述两句场面话，便有些不悦，又问道：“那比从前少了多少？”
若是换了旁人，说谎被天子直接拆穿，不得心惊胆战。宇文述这时候仍能脸不红、心不跳地说道：“不及过去的十分之一。”
杨广其实也不清楚真实情况，眼见宇文述言之凿凿，倒也信了他的话，因此比较满意。
也不知道苏威是不是故意拆宇文述的台，在宇文述说话的时候，他便故意躲到了大殿柱子的后面。
苏威算是次相，正常情况下黄明远不在，他要站第一位的。他躲到柱子后，自然引得杨广瞩目。
于是杨广也问苏威关于剿匪的事情。
苏威便说道：“臣非所司，不委多少，但患匪事渐近，恐逼近洛阳。”
杨广不明白苏威的意思。
苏威便说道：“过去盗贼只占据长白山，如今已近在荥阳之地。况且往日的租贼丁役现在又在什么地方呢？这难道不是人们都变成盗贼了吗？臣恐天子近来看到上奏的贼情都不是实情，于是措施失当，对盗贼不能及时地加以剿灭。还有，以前在雁门时，已经许诺减轻赋税徭役，现在仍又大规模征发百姓，盗贼怎么能够平息？”
苏威的话，几乎是打了杨广与宇文述的脸。杨广其实对苏威说得话有些相信，但苏威的态度，让他着实不太高兴，却无话可说。
于是众人不欢而散。
之后到了新年，百官中很多人都上贡珍玩之物，唯独苏威献上《尚书》。
这时便有人弹劾苏威，《尚书》中有《五子之歌》，苏威的含意很不恭敬。
传说夏启的儿子太康贪图享乐，在外打猎长期不归，国都被后羿侵占。太康的五个弟弟和母亲被赶到洛河边，追述大禹的告诫而作《五子之歌》，表达了五个人的悔意。苏威献上书，便有人认为苏威是用《五子之歌》影射天子长期出巡之事。
杨广更生气了。
不过苏威也是一国之相，总不能用这么“莫须有”的事情处置了。
不过新仇旧恨的，杨广已经不愿意再忍受苏威了。
但似乎苏威还不清楚自己的处境，越发活跃了起来。
面对越发激烈的群盗之事，苏威便建议：“天下之盗，本为良善，盖因无路乞活，而不得已为盗。天子但赦群盗，自可得数十万众，以为爪牙。彼辈喜于免罪，争务立功，当为一大助力。”
苏威此言，就差没明着指着杨广的鼻子说天底下这么多的盗匪，都是你逼的了。
杨广听得心中恼怒，待苏威离开之后，便掀了桌子。
在所有人看来，苏威已经是老的坏了脑子，明知道天子的性子，如何非得去惹恼天子。
苏威的孙子苏勖便劝大父不要与天子作对，反而为苏威斥责。
裴矩看得出奇，苏威这个老狐狸，狡猾了这么多年，什么时候突然转了性子，变成忠臣了。
这时御史大夫裴蕴看出杨广已经受不了苏威了，他作为杨广的白手套，便当为君分忧，因此故意向杨广抱怨道：“纳言之言乃大不逊也，天下何处有许多贼？”
杨广也有些愤怒，便说道：“苏威这老革极为奸佞，竟然拿盗贼来恐吓朕，若非顾念他是老臣，朕恨不得打他两个嘴巴。”
裴蕴知道了杨广的心意。
很快裴蕴便指使白衣张行本参奏苏威：“威昔在高阳典选，滥授人官；畏怯突厥，请还京师。”
用一个白衣弹劾一个宰相，真是滑天下之大稽。
而且弹劾苏威滥用职权和畏惧突厥，更是无稽之谈。尤其是后一条，天子解围南下，突厥都要覆亡了，苏威请求天子返回长安，如何成畏怯突厥。
其实裴蕴不在乎过程，他要的就是一个罪名。而且有时候罪名和过程越是荒诞反而越好，天子让他放手施为。他用荒诞的手法拿下重臣，更能使人畏惧。
杨广也不爽苏威好久了，便让人审查验证，构成罪状。
杨广遂诏“威立性朋党，好为异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！资敬之义，何其甚薄！”
于是将苏威除名为民。
之后不久，有人又告发苏威与突厥勾结，阴谋举事，这更是捕风捉影的事情。苏威就是疯了，也不可能联合突厥造反。
但这只是一个理由，裴蕴不打算放过苏威，要弄死他。
苏威无法为自己申辩，只得说道“自己侍奉二朝三十多年，精诚所至不能让天子知道，各种错误接连不断，罪该万死。”
苏威自大隋建立就担任宰辅，四次为相，辅佐天子数十年，年过七十，最后其凄惨之状，令人怜悯。满朝文武，莫不唏嘘。
杨广也不忍心处死他，便以昏聩衰老而且多病，放过了苏威一马，只是将苏威子孙三世皆除名。
苏威时年已经七十多了，被免官之后，便搬出了洛阳，带着孙子搬到邙山居住。