杨坚越说越气，随即下诏：“礼有等差，君臣不杂，爰自近代，圣教渐亏，俯仰逐情，因循成俗。皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫，事非典则，宜悉停断。”
从此，皇帝对太子有了心结。杨坚有心提防杨勇，就找了一个藉口，把杨勇的亲家翁齐国公高颎免了官。原来，高颎的第三子高表仁娶了杨勇的长女。杨坚为免高颎协助太子篡位，宁可赶走这名开国功臣。
此外，自古任何皇帝对太子都会有所忌惮，而会培植太子以外的势力予以抗衡，来预防太子急于上位。对杨坚而言，山东士族与次子杨广经营江南所得人脉，就是可以压抑太子、制衡关陇贵族的力量，有利于确保皇位稳固。因此，杨坚提拔杨广一直不遗余力，只是料想不到，杨广越做越大，不但稳住了江南，也结交了山东士族。
杨坚需要新兴的山东士族来帮他压制关陇贵族，以提高皇权。于是，起初只是用来牵制杨勇的杨广，逐渐变成了杨坚最倚重的儿子。当杨广在朝野所获的支持超越了杨勇，杨坚即使并不想换太子，也必须加以考虑，更何况，他对杨勇已有不满。除了冬至越礼事件令杨坚耿耿于怀以外，崇尚节俭的杨坚也经常为了杨勇喜爱奢华物品而不悦。
有一天，杨勇穿上了一件新铠甲，不但是来自蜀地的上好质料所缝制，而且刻缕着精美的花纹。杨坚看了，唯恐杨勇越来越奢侈浪费，就把杨勇教训了一顿，甚至夸大其辞说道：“你身为储君，若不上称天心，下不合人意，何以承宗庙之重，居兆民之上？”
相对而言，杨广了解父皇主张节约，在父皇面前，绝对穿着最朴素的衣服。每当父皇、母后驾临杨广的晋王府，杨广也必定在事前做好准备，给父皇、母后看到的都是廉价布料制成的屏风、帐幕，还有断了弦也不修的乐器。
此外，杨广也懂得拉拢父皇信任的朝臣，尤其是越国公杨素。杨广透过亲家翁宇文述与杨素之弟杨约的交情，赢得了杨素的支持。
杨坚不知杨素与杨广有私交，指派杨素考察太子的行为。杨素不断毁谤杨勇，使得杨坚越来越猜忌杨勇，而把东宫侍卫都换成了老弱兵卒，凡是健壮的侍卫都调到了皇宫这边来服务。
杨勇发觉不妙，听说有个名叫王辅贤的术士能占卜吉凶，就召来请教。结果，王辅贤论断道：“有白虹贯穿东宫前门，又有太白星偷袭月亮，都是显示皇太子将会退废的天象。”他建议用铜铁制造傀儡兵卒，又在后院之内加盖一个简陋的庶人村，让太子常常睡在其中，使用布衣草褥，藉以消灾挡祸。
心思单纯的杨勇意料不到，这一切努力都是徒劳，因为杨广已经买通了他身边的侍臣姬威。任何外人的谗言，都比不上家仆的告发那样令人不得不信。
姬威贪图富贵，不惜出卖主子。他在皇帝问话时，依照事先拟好的谎言说道：“太子爷平常闲聊，说过以前汉武帝要兴筑上林苑，被东方朔谏阻，还赐东方朔黄金百斤，未免有些可笑，并说他才没有黄金赐给这种人。倘若有人进谏，正好斩杀，只要杀一百多人，谏言自然永远停止了。太子爷还说，仆射以下的，他会杀戮一两人，使大臣都知道轻慢他会招致杀身之祸。”
既然杨坚一向嫌杨勇奢侈，对这番话难免容易信以为真，就认为杨勇会是个杀谏臣的昏君。
姬威取得了杨坚的信任，又挑拨离间说道：“太子爷常常抱怨皇上怪他庶子多。他说高纬、陈叔宝那些亡国之君又不是庶子！庶子多又有何妨？”
杨坚一听，心想原来这个逆子竟敢对父皇心怀怨怼！他未免更加不痛快了。
不过，最令杨坚无法原谅的，是姬威小声密报：“太子曾经延请术士、女巫等人预卜皇上的大限！”
震惊的杨坚含泪叫道：“谁不是父母生的？有谁会至于这样诅咒生父？”
盛怒之下，杨坚下令逮捕杨勇父子以及东宫一些官员，一概关入监狱。然后，杨坚指定手下搜罗杨勇的罪状，结果给杨勇冠上了私藏军用物资、私养军马、生活奢靡等罪名。
杨勇甚为不服，因为所谓的军用物资只是卫士随身携带的火燧而已，而东宫不过养了一千匹马，还比不上杨素养的数万匹。然而他也知道，欲加之罪，何患无辞？他只有等着被废……
宣布废储当天，皇帝身穿戎装，站在东面。武德殿排满卫士，百官亦到齐了。其中各位亲王站在西面。杨勇和他的几个儿子则被带到大殿前庭之中。各就各位之后，由内史侍郎薛道衡宣读废除太子的诏书。杨勇以及他的子女皆被废为庶人。
东宫之位当然不宜久悬。不到一个月以后，皇帝杨坚就在阴历十一月三日（阳历十二月十三日）册封杨广为太子。
杨广内心狂喜，却不敢喜形于色。在父皇、母后，以及百官面前，他表现出了一付诚惶诚恐的谦卑态度。直到夜深人静时，他才偷偷与萧珻两人在套房外间小厅内饮酒庆祝。
萧珻忍不住取笑道：“殿下会不会小心过度了？有些官员设宴款待新立的太子，可以算是人之常情，去一下也无妨吧？殿下何必都推辞了？”
“这你就不明白了！”杨广并未跟着萧珻发笑，反而一本正经解释道：“今天当上太子，并不保证未来一定当得上皇帝。大哥当了将近二十年太子，可不就是一场空？父皇生性多疑，我绝对不能让他看到任何可疑之处！今天受封太子，我不但要婉拒所有的庆贺，而且此后为人处事，还要更加如临深渊、如履薄冰才行！”
“殿下这番话，确实很有道理。”萧珻表示赞同，又感叹道：“这样说来，妾身还是照样要每天进宫向母后请安，不可有一日懈怠了！”
“辛苦你了，美娘！”杨广连忙认可萧珻的努力，又低声问道：“母后，还不算太难伺候吧？今天关于立储之事，她老人家有没有说些什么？”
“就知道你要问这个！”萧珻轻啐道：“其实没什么太关紧要的，改天再禀报殿下吧！”
“即使没什么要紧的话，今晚告诉我也无妨嘛！”杨广敦促道。
“好吧！”萧珻点了点头，就略带感慨回道：“今天，母后为大哥惋叹了一番，说手心手背都是肉，但是谁叫他自作孽、不成材啊！母后埋怨大哥那些话，倒在我意料之中。真正令我意想不到的是，母后居然对我说，她很羡慕我！”
“羡慕你？”杨广也颇为意外，讶然问道：“怎么说呢？”
“母后说，将来你当了皇帝，我会是最幸福的皇后，比她老人家幸福得多。”萧珻据实答道。
“哦？”杨广听得怔住了。
“母后认为，你绝对不会做出像父皇对尉迟贞那样的事情。”萧珻淡然补充道：“她老人家并不晓得，琼妹曾为你生过一个孩子，也不晓得你收了娟娟。”
“美娘---” 杨广一时之间不知如何以对。
萧珻则继续轻描淡写说道：“母后说，父皇阳奉阴违，很伤她的心；唯一安慰的是，她老人家养出了你这样一个好儿子，是男人之中难得一见的真君子，用不着妻子管束，就做得到自我约束。”
“我---” 杨广听了不禁有些惭愧，但随即自我辩护道：“美娘！你知道琼妹怀孕是个意外，而娟娟是你要求我收的。在我心目中，从来就没有另一个女人啊！”
“是呀，我知道。”萧珻温柔微笑道：“你不用担心，我并没有母后要求那么高。将来你当了皇帝，若是需要多添皇嗣，除了玔妹、娟娟她们以外再纳几个妃嫔，我也不会介意。只要你的心不变就好了。”
“我的心当然不会变！”杨广信誓旦旦说道：“我敢对天发誓，我心目中不会有第二个女人！倘若有一天我变了心，必定会遭到上天的惩罚！我敢以我未来的皇位作担保，万一我有负美娘，就让苍天罚我失去江山！”
“哎，殿下何必发这么重的誓呢？”萧珻吓了一跳，忙不迭开解道：“这么多年的夫妻了，又不是新婚燕尔，不需要这样发誓啦！我相信你就是了。”
“你相信我就好！”杨广郑重说道：“美娘！不管我们已经在一起多久了，你在我心目中，一直都像新婚时期一样美丽。无论我今天当上太子也好，未来登基做了皇帝也好，我永不负你！”