由诸卫府掌握，东宫骁勇的士兵，一律撤换。
这时，杨广使出了杀手锏，他贿赂东宫幸臣姬威，向姬威陈明利害关系，说：“东宫罪过，主上都知道，已奉密诏，定当废立，你能报告东宫消息，将来必将大富大贵。”杨广的意思是让他罗织杨勇罪名。姬威见杨勇大势已去，同意了。
姬威将东宫的消息传给杨素，杨素就拣一些事改头换面之后向隋文帝汇报，这样杨勇的过失一天比一天多，隋文帝废除杨勇的决心也一天比一天坚定。
被杨广收买的太史令袁充对文帝说：“我观天文，皇太子当废。”
文帝说：“天意如此，朝臣不敢说什么了。”遂决定废勇。
公元600年，隋文帝到仁寿宫考虑废立一事。过了一段时间后，他回到长安，在大兴殿召集群臣，令杨素宣布东宫罪状。杨素伪称道：“开皇十七年，我奉敕皇太子严办刘居士余党。太子不理，反而说：‘居士余党已伏法，你是右相，自己去办理吧，与我何干。’”然后，他又说了太子的许多坏话。
隋文帝仰天长叹，说；“这个孽子实在是不能担当大任，皇后常劝我废去，我念他是我布衣所生，又是长子，指望他慢慢改正，没有想到他这么怙恶不悛、骄横傲慢，我的德行虽不如尧舜，但也知道不能以江山社稷传给不肖子孙！我怕他加害于我很久了，每次都如防大敌，今欲废之以安天下。”
左卫大将军元昊苦谏：“废立大事，天子无二言，千万别听谗言，将来悔之莫及，望圣上详察。”
隋文帝不理。
这时，在杨素授意下，姬威制造谎言，诬陷杨勇曾说“父皇在开皇十八年当死”云云。隋文帝指着他说：“你把进程详细地说与大臣们听。”