众臣来到上官太后的寝宫，见到上官太后之后，在霍光的示意下，杜延年将昌邑王刘贺不可以再继承宗庙的原因一条一条钱都列举了出来。
其实，霍光早就暗中派人与上官太后通过气，听完之后，上官太后立刻上了车驾，亲临未央宫承明殿，下诏命令，宫中所有禁门，不得再放刘贺的群臣进宫。
这个时候，刘贺得到消息，按照规矩朝觐完太后，乘座车辇准备返回自己的温室殿的时候，霍光和上官太后安排的中黄门宦者们各持门扇，等到刘贺进入宫中之后，便把宫门彻底关闭了。
这个时候，刘贺手下的亲信大臣都不能再跟着他一起进入宫中。
刘贺大惊失色地问道：“大司马，这是为何，你们要干什么？”
霍光这个时候倒是把礼数做得很足，他居然跪在刘贺的面前，非常坦然地回答道：“皇太后有令，不得再纳大王你的臣属再次入宫。”
“大司马，既然你手里面有皇太后的懿旨，朕就追究了，可是，你就不会慢慢来吗，为何摆出这种架势，可把朕给吓坏了。”刘贺拍了拍自己的小胸脯，有些后怕地质问道，不过，他猛然醒悟道一件事，霍光刚才对他的称呼似乎是有了改变，便立刻惊疑不定地问道：“大司马，你刚称呼朕什么来着？”
可是，这个时候，霍光却突然站起身来，连看都不再看刘贺一眼，转身便迅速离开了。
紧接着，霍光便命令手下，把刘贺的臣属们全都驱逐了出去，将他们全都安置在了金马门外。
车骑将军杜延年亲自率领一部期门兵将刘贺的臣属二百余人全都绑缚了起来，立刻将他们全都送进了廷尉府的诏狱辎重。
而霍光命令故汉昭帝身边的侍中、中常侍们在宫中守着刘贺。
同时，霍光下达命令，告诫这些人：“宿卫昌邑王的时候，一定要加倍小心，不能疏忽大意。若是昌邑王在这个时候，昌邑王如果突然病故，或者自杀，便会让我负天下，背负有杀主之名。”
即便在这个时候，刘贺尚不自知，他已经被废了的这件事，对左右说：“朕原来的那些群臣从官又有什么罪过，大司马是不是已经他们全部抓捕起来了呢？”
这个时候，负责看守刘贺的人自然是知道他的处境的，故此，这些人就把自己当成是聋子，不管刘贺跟他们说什么，
很快，上官太后便下诏召见刘贺王，这个时候，刘贺听到皇天后又要立即召见他，心中才害怕起来，自言自语道：“朕又有什么罪过，皇太后又要召见我。”
刘贺进入承明殿之前，上官太后就已经被珠襦，身着盛服坐在兵帐中，周边侍立着数百名期门精兵，全都手持历任，就连大殿的门口都有武士陛戟而立，陈列于殿下。
首先，是霍光和杨敞率领朝中群臣，按照次序依次上殿，
紧接着，皇太后传令，命人将昌邑王刘贺带到御前伏地听候皇太后的懿旨。
最后，霍光连同各位大臣一起联名奏劾昌邑王，尚书令当庭宣读了所有弹劾奏章，细数刘贺即位以来种种不孝违法之行。
并举例说，昔日，周襄王不能侍奉好自己的母亲，《春秋》上就说‘天王出居到郑国’，也就是说，周襄王因为自己不孝而被赶出了京城，使他与天下人隔绝。
与君王想比，宗庙自然更重要，而刘贺即位之后，却没有去祭拜高庙，就不可以继承上天的意旨而奉祀列祖列祖的宗庙、统御天下万民，故此，恳请皇太后下懿旨，应当立即予以废黜。
同时，群臣还奏请，请求相关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，将此事告祭于高庙。
皇太后听完所有大臣的奏请之后，下诏曰：“可。”
于是，霍光当命令刘贺起来向皇太后叩拜接诏。
这个时候，刘贺想用自己的嘴皮子做最后的挣扎，他问道：“皇太后，大司马，朕闻，天子身边有争臣七人，即便君主无道却可以不失天下。”
霍光回答得也很绝，道：“皇太后已经下明诏废掉你了，这里哪里还有什么天子呢？”
于是，霍光亲自上前抓住刘贺的手，解下他身上的玺印绶带，双手捧着交还给了上官太后。
接着，霍光便扶着刘贺出了承明殿，出金马门，群臣跟在其后相送。
这个时候，刘贺只好，也只能对霍光服软，他向西而拜，曰：“孤愚昧不明事理，不能担负大汉朝的重任。”
说完，刘贺起生上了乘舆的副车。
霍光亲自护送刘贺到了昌邑王在长安城中的府邸。
临走之前，霍光向刘贺谢罪道：“大王您行自绝于天地，微臣等人怯懦无能，不能杀身报德。微臣宁愿负王，也不敢有负于大汉社稷。愿大王您自爱，臣以后很长时间不能随侍在您的左右了。”
说完，霍光痛哭流涕地走了。
霍光再次回到承明殿之后，就有大臣立刻站出来，出主意上奏道：“皇太后，大司马，自古以来，凡是被废放之人，不仅全都将之放逐于远方，而且，也不能再让其处理封国内的政务。故此，臣等恳请皇太后，将王贺迁徙到汉中郡房陵县去。”
霍光看了一眼这个大臣，心中就是一阵腻味，出这个馊主意的官员，居然还是他一党的大臣。显然，这位今天是没有带脑子与会。
汉中郡那是什么地方，号称小四塞之地。当初，汉高祖刘邦就是凭借着这里，先夺取三秦，进而定鼎天下。刘贺被放逐到了那里，若是遇到一个野心家，举兵占据汉中郡，那不是给自己找麻烦吗？
当然，对于刘贺的处理，也不能像历史上那样，上官太后直接把刘贺放逐会昌邑国。那不就是在给金知蝉主动送刀子吗？
于是，霍光思虑再三，最后决定，将刘贺贬逐到金城郡榆中县。