杨素全力支持杨广继位，可以说有恩于杨广。
可是在杨广继位之后，不只没有收到杨广的任何感激，反而在接受第一个、也是唯一的一个任务后，举步维艰，比杨坚在位时差了不知凡几。
而且杨广数次表达对杨素过于奢侈，不体恤百姓的不满。
杨素出身高门大阀，从小就奢侈习惯了。
至于不体恤百姓，杨素治军靠的就是不把人当人。
为何能百战百胜？那是因为赏罚分明。
他连手下的士兵都不当人，能把一般的老百姓当回事吗？
别人指责杨素，杨素理都不会理，但指责他的是杨广，他就不能不往心里去了。
可以说自从他扶杨广继位以后，他人生最倒霉的日子就开始了。
杨素开始担忧自己的财产更甚于关心修建洛阳的进程。
在洛阳才修一半的时候，杨素找来了他的好友鲁妙子帮忙设计开合桥、星津浮桥，紧接着就让鲁妙子为他设计杨公宝库。
杨素以为，自己修建宝库不用走杨广的账，自己掏钱，抽调部分工匠为自己建宝库能神不知鬼不觉。却不知天下的能工巧匠鱼赞手里就握了十之七八，杨素即便不从建洛阳的工匠中抽调，也逃不出鱼赞的监视。
他那里一动工，鱼赞就知道了，赶快报告给了杨广。
杨广不动声色，甚至不让鱼赞把精力放在这里，只是叮嘱鱼赞工程结束时告诉自己一声。
洛阳刚建完，杨素就死了，而这个宝库也是在杨素死后不久完成的。
杨广之所以不管杨素私修宝库，那是因为杨广已经认为这个宝库是自己的了。
杨广并没有想过要抄杨素的家，毕竟对于杨广个人而言，杨素是个有功之人。
至于说他贪腐，如果杨广想治理贪腐，恐怕把整个朝廷杀光了才行。这是制度性问题，谁放到那个位置，都会贪腐，杨广需要用制度慢慢去改变。
虽说杨素富可敌国，但杨广还真不把他的那点儿财产放在眼里。
但杨素把财富都放到宝库里可就不同了。要知道，宝库里不只有财宝，还有兵甲。冷兵器时代，挎个刀、别把剑都不叫事儿，但私藏甲胄，却是以谋反论处。
杨素敢在宝库里放铠甲，杨广就可以杀他。
杨广让杨素体面的死去，就是对他最大的恩典，算是还他从龙的人情。
杨广突然问道：“飞马牧场还是不肯交出账本？”
鱼赞也是一愣，不明白杨广怎么突然又想起了飞马牧场的事。
不过鱼赞马上道：“陛下，飞马牧场油盐不进，任何时候都不会改变自己的中立立场。”
早在杨广镇守江南之时，杨广就关注了飞马牧场。