此时杨广觉得四处都是要害他的人，唯有到了江都，他才能有些安全感。于是杨广便匆匆下令，三月便下江都。
此令一下，满朝哗然。这个时候，正是留在洛阳，平定叛乱的时候，如何能去江都这一隅之地偏安。
但杨广根本不管，他就是要去江都。在他看来，东都已经被那些野心勃勃的人充斥了，这些人勾结在一起，意图谋害于他，他若是再留在江都，必为这些贼人所害。
满朝文武，除了宇文述以外，都不赞同。
宇文述极力劝杨广南下，留在洛阳，樊子盖等人见他如仇人一般，他也不愿意。而且有人出重金请他说动天子南下，宇文述虽然不知道这些人想干什么，但也猜测没什么好事。
但这跟他有什么关系，他又不是天子。宇文述爱财如命，为了钱财，没啥不能干的。
杨广要南下，领左侯卫大将军赵才立刻出来劝谏道：“今百姓疲劳，府藏空竭，盗贼蜂起，禁令不行，愿陛下还京师，以安兆庶。”
赵才是酒泉人，属于关陇一脉的偏支。他们忠于天子，但又希望天子能够返回长安，使政治生态回复到开皇时代，因此在朝中属于身份尴尬的一批人。
赵才性格比较直，肃遏奸非，无所回避。
杨广听了赵才的话，是勃然大怒。他现在最不想听的就是“贼啊，贼啊，回京啊，回京啊”这些词，赵才这是戳他肺管。换了旁人，他直接就下令处死了。
不过杨广也把赵才下狱，关押了十多天才放出来，他要杀一杀这个老匹夫的驴脾气。
建节尉任宗以盗贼充斥全国为由，在建国门上表劝阻江都之行，杨广勃然大怒，先摘掉任宗的下巴，然后将他处死。
至于其他人，若是官职低微的进行劝谏，直接为杨广杖毙。于是众人见杨广态度如此坚决，更没人敢劝谏的了。
三月五日，杨广下令越王杨侗留守洛阳。
往常都是燕王杨倓留守，但随着杨倓年岁愈长，影响力越来越高，在身边人的怂恿下，便生出了一些其它的想法。
有一次杨广听到有人怂恿杨倓讨好天子，与皇太孙杨佶争权，便勃然大怒，处置了杨俨身边的师傅。虽然有杨佶帮着求情，没有废黜杨倓的王位，但他待杨倓较之前疏远了许多。
说来也怪，越是通过夺位上来的君主，越不喜欢下面的子孙去夺位，也是奇了怪了。但上行下效，这不是天子可以阻止的。
杨佶随行，杨侑留守关中，杨侗在杨昭四子中身份最透明，于是反而被祖父委以重任。
同杨侗一起留守的，是民部尚书樊子盖。
这次杨广也知道离开洛阳的时间短不了，于是便令尚书右丞张方翼、太府卿元文都、吏部侍郎韦津、右武卫将军皇甫无逸四人佐之。
三月八日，杨广乃从洛阳出发，南下江都。文武百官于上东门送天子。
这一次南下，众人都是神情郁郁，情绪也没有那么高。若是可能，没人愿意跟着去。
杨广看出众人眉间的愁绪，但也没多说。
本来无事，他更不会找事。
不过这般场面，着实压抑的很。杨广便故意与身侧的黄维烈说道：“猊奴，当初汝父护卫朕南下，便如这般盛景。”
此次天子南下，大半个朝堂百官都要跟着，包括眷属。
虽然黄明远不在洛阳，但身份特殊，按道理裴淑宁也要跟着。不过裴淑宁自年后便对外称“病重”，不再会客，等到南巡之时，便难以成行。
黄维扬兄弟替母亲告病，因为兄弟二人在，杨广自是允了此事。而黄维扬又趁机以照顾母亲为由，将妻子长孙观音婢留下。
至于清河公主，身份特殊，黄维烈有心不让她去，但这却是不可能的。
斛律敏儿和七七都带着孩子去了幽州，而陈婤这种有诰命的妾室，黄明远不去，裴淑宁也不去，她自不用去。
此时黄维烈骑在马上，一身戎装。身为折冲郎将，便护卫在天子身边。父亲之前来信让他入职军中，尽量掌控一支兵马，黄维烈遂申请入军。
他虽然才十三岁，年纪尚幼，但因为去年雁门之围中突出的表现，身在军中，也没人敢轻视。
听到杨广的话，黄维烈便回道：“臣此次护卫天子，必不辱吾父英明。”
杨广大笑道：“勇气可嘉啊。”
折腾了一上午，一众人终于成行，文武百官，内侍、宫女，僧侣护卫，还有眷属，总计十多万人。
杨广此次离京，很多不能跟着一起去的嫔妃、宫女便在送行地队伍高喊。
杨广倒是听得心有戚戚，于是作诗道：
“我梦江南好，征辽亦偶然。
但存颜色在，离别只今年。”
一众宫女听了，也齐齐吟诵，倒是让人潸然泪下。
黄维扬听到杨广的诗，心中念道：“天子之诗，透露出弄弄悲意，倒像是一首自述，着实不祥。‘离别只今年’，不知道还能不能回来。”
杨广这次南下，要带的人太多了，甚至被贬为庶民的苏威，也要带着。幸好裴蕴、虞世基等人言苏威“老悖且多昏聩之言，恐不能用”，杨广遂罢。
苏威的确已经病重到时日无多了，至少旁人看到的是这样。
不过等杨广的銮驾离开之后，苏威的病竟然好了。
原来苏威之前故意触怒杨广，便是不想跟着杨广南下江都。他早就看出了杨广怕是要大厦将倾，他自不愿随杨广殉葬。
于是苏威便带着孙儿、家人，匆匆离开北邙，投黄明远而去。
此时杨广向东，盗贼已经出现在洛口仓一带。虞世基请求杨广增加援兵，杨广却嗤笑道：“卿是书生，定犹怯也。”
不过杨广还是听从了虞世基的建议。他到达巩县后，命令有关部门将箕山、公路二府移到洛口仓内，并命令修筑城池以备不测。
杨广南下，多有官员阻拦。
杨广到达汜水县（今河南省荥阳市西北汜水镇）后，奉信郎王爱仁又上表请求杨广返回西京长安，杨广杀死王爱仁又继续南行。
杨广到了梁郡，这时梁郡又有人劝阻，并上书杨广道：“天子若遂幸江都，天下非天子之有！”
杨广又把人杀了。
至此，文人士子，再无人心向杨广。