论。隋文帝接报后，立马免去高颖上柱国、左仆射的职务，但是仍保留齐国爵位，回到府中赋闲。杨坚不知道，这是杨广的阴谋，他知道高颖是杨勇的后台，所以暗中买通狱卒，制造伪证，陷害高颖。
杨广见没有整死高颖，还不罢休，继续伺机陷害。
不久，杨广又唆使高颖府内的国令上书，诬蔑高颖的儿子高表仁劝慰其父说：“司马懿当初称病不朝，终于获得天下，父亲今和当年司马懿遭遇一样，焉知非福。”
隋文帝看了上书之后，怒从心头起，马上命令抓捕高颖，交内史省审问。杨广早已买通内史省官员，几天后，内史省官员向隋文帝报告审查结果，称有人对高颖说：“明年国有大丧。”“十七、十八年，皇帝在大厄，十九年不可过。”
当年正好是开皇十九年，隋文帝听到这个消息后，气得差点昏了头。对群臣说：“帝王岂可力求，孔子以大圣之才，还不能得天下。高颖与儿子谈话把自己比作晋帝，居心不良呀。”
有人请求杀高颖以谢天下，隋文帝说：“我这一二年杀了好几个大臣，今年又杀，天下人会怎么看我？”于是将高颖削职为民。
除此，杨广还很倾心结交其他掌权的大臣，厚待他们，以致大臣都说杨广人品很好。
一次，隋文帝密令善观相的来和，暗中观察诸子的面相，来和看完后，眯着眼对隋文帝说：“晋王（杨广）眉上双骨隆起，贵不可言。”
隋文帝又问上仪同三司韦鼎：“我的儿子中哪个可以登大位？”
韦鼎也暗示是杨广。隋文帝听罢，若有所思地点点头。
来和、韦鼎都是杨坚年轻时的至交，杨坚当皇帝之后，仍很相信两人。杨坚不知道，两人都曾是杨广家中的座上宾。