独孤皇后的葬礼前后共折腾了三个多月，墓葬的规模制度，大多出自杨素之手。整个过程中，杨素始终坚持在第一线，凡事亲力亲为、辛苦不已，连杨坚都被他感动了。
之后杨坚为了表彰杨素，诏以“杨素经营葬事，勤求吉地，论素此心，事极诚孝，岂与夫平戎定寇比其功业！可别封一子义康公。”并赐田三十顷，绢万段，米万石，金珠绫锦称是。
同时杨坚又晋杨玄纵为淮南郡开国公，以杨素三子杨玄挺承继义康郡开国公。
这诏命下的，黄明远都无语了。感情杨坚认为，杨素为皇后寻访山陵办后事的功劳，比他南征北战平戎定寇的功绩还重要。
黄明远也是看的直眼红，自己在战场上拼死拼活，多立大功，到现在也就是个郡公，还引得不少人咋舌。杨素俩儿子啥也没干，就因为老爹给杨坚老婆办个葬礼，就跟黄明远平级了，黄明远跟谁说去。当然要是按照杨坚的说法，这份赏赐倒也不多，要知道当年整个南陈主要是杨素灭国和平定的，再加上杨素几次反击突厥，功勋卓着，若是按照杨坚的理论，怎么封赏都不为过。
古往今来，多少帝王将个人意愿完全凌驾于法理之上，虽然情有可原，但却是肆意破坏国家本来的制度，若不亡国，反而不正常了。
黄明远还在感慨杨坚的不公，这时陈远反而欣喜地说道：“为主公贺，杨太仆已非主公之忧也。”
黄明远一愣，陈远这话让自己很不解。
自己跟杨素是两个时代的人，若真说起来，其实杨素更畏惧自己一些，因为自己年轻，又是杨广的心腹，将来未必不能到他的地位。至于杨素的儿子杨玄感，虽有杨素遗泽，但较之黄明远差之远矣。
而唯一能令黄明远有所担忧的，也就是明年的出征。黄明远实在是担心杨素会跳出来跟自己抢主帅。虽然北出阴山的主力大部会是黄明远所部，但这种绝世大功，谁又不会觊觎呢？
黄明远虽然自认能力不在杨素之下，但无论威望、资历，较之杨素差的太远。
“仲长所为何意？”
陈远说道：“素贵宠日隆，其弟约、从父文思、文纪，及族父异，并尚书、列卿；诸子无汗马之劳，位至柱国、刺史。广营资产，自京师及诸方都会处，邸店、碾、便利田宅，不可胜数；家僮数千，后庭妓妾曳绮罗者以千；第宅华侈，制拟宫禁。亲故吏布列清显。既废一太子及一王，威权愈盛。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢；朝廷靡然，莫不畏附。
此乃近古未闻，敢问主公，凡有人臣者而至于此乎，杨素者，霍光也，桓温也？
主公，天子可没有与人共天下的想法。”
黄明远点点头，陈远说的不错，现在的杨素权势已经达到了顶峰，虽然在杨广朝看着更显赫，其实杨坚才是更信任杨素。
现在杨素的确有些封无可封，赏无可赏，连儿子都封了两个郡公，难道要把杨素一家都封成公爵不成。
黄明远点点头，陈远说的倒是不错，看来这杨素不会再领兵了。事实上到了仁寿末年，杨素便不再处理事务。
黄明远二人在这里能看得清的，那些浸润于权利之道的朝臣更是看得清。有些东西比黄明远想象的来的更快。
先是皇帝的马仔兵部尚书柳述，以帝婿之重，多次在隋文帝面前攻击杨素的不是。杨坚虽然狠狠地驳斥了柳述的言论，过后又以柳述敢于任事，迁吏部尚书，兼领兵部尚书事。
当然柳述不过是投机取巧，真正撼动杨素地位的是大理卿梁毗的弹劾，梁毗直接弹劾杨素作威作福，图谋不轨。
梁毗，字景和，安定乌氏人，曾当过十一年的西宁州刺史。
梁毗见杨素专权，直接上奏弹劾：“左仆射越国公素，幸遇愈重，权势日隆，绅之徒，属其视听······天下无事，容息异图；四海有虞，必为祸始······王莽资之于积年，桓玄基之于易世。”
梁毗虽然不是明朝的言官，但这给人定罪的水平已经不下于明朝的言官。
他直接弹劾杨素作威作福，祸害天下，就要成为下一个王莽、桓玄了，若是皇帝不处置他，你的位置就要完了。
当然杨素具体干了什么坏事，不知道；或者说这种弹劾，换个名字，一样能用，倒是一篇规范化、普遍化的格式文。
奏表送上去，杨坚看后勃然大怒，把梁毗投入监狱，亲自审问他，当然也有可能是为了保护他。
杨坚跟梁毗辩论了半天，梁毗极言“素擅宠弄权，将领之处，杀戮无道。又慜太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”意思就是杨勇、杨秀被废的时候，只有杨素一个人很高兴，所以他是一个坏人。
最后杨坚果然说不过梁毗，然后就这么把他放了。
律法定罪的标准什么时候改成辩论了？
事实上到这里，不管梁毗到底出于什么目的的弹劾，其实都像是和杨坚演了一出绝妙的双簧。
梁毗没有错，身为臣子，直言不畏，忠臣也。
杨坚也没有错，身为君主，亲自与朝臣辩论，既表明自己没有对杨素过河拆桥，也表明自己纳谏之心。
相比之下，唯一一个有错的，只是杨素的。在众人眼中，是杨素不知检点，才引得朝臣攻讦，是杨坚保护了他。
不过此事并没有完，很快也有不少人跟风上书，弹劾杨素，当然这些弹劾都被压下，但弹劾之人也没有受到实质性的处置。但三人成虎，杨坚开始逐渐疏远和猜忌杨素，或者说很多人知道天子似乎有些不是那么完全信任杨素了。
不久杨坚下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”
意思杨素是国家的宰辅，不用事必躬亲，隔上几天去尚书省评论审视一下大事即可。
此敕表面上表示优待推崇杨素，实际上是夺下杨素的权力。很快，尚书省内便没有什么大事送到杨素的面前。
接着杨坚外任太子左庶子杨约为伊州（今河南临汝县）刺史；宗正卿兼给事黄门侍郎判礼部尚书事杨纪迁荆州总管。
杨素是个智者，很多东西看的也很清楚。既然天子要剥夺他的权力，他是熬不过的。杨家的人，都是刻薄寡恩之人，他不是不争，而是在为以后而准备。