早在杨广取得伐陈大捷的最初，杨坚为了方便对江南进行统辖，命苏威夏作《五教》，分发与江南各地让百姓学习研读，而这与杨广对江南的筹建计划是有所冲突的。但因此乃天子之意，且现如今看来情况还算稳定，因此杨广并未将详细的筹建计划告知杨坚，并且决定暂缓亲自去江南的计划，转由他留在江南的线人进行检查，但有异动，他再向杨坚提出改革方针。
同时，独孤也在为杨广争取重新回到朝中的机会。因杨广一向广结善缘，朝中臣工对这位印象都颇为不错，加之杨广本身勤勉，因此一旦有人提出请杨广参与议事，便有不少附和之声，而这也给了杨坚顺势而下的机会，便令杨广官复原职。
杨勇眼见自己好不容易赢得的局面因为独孤一句话而再一次偏向杨广，难免心有不甘，便又在府中撒了通气，这一回连云昭训都没能躲过他的责骂。她又不如元氏那般，受了委屈能进宫向独孤诉苦，只能抱着长子杨俨痛哭。
杨勇为此恼怒得不愿意再待在太子府，竟趁夜去了高颎府上，将心中苦闷都说了出来，得到的却是高颎一声叹息。
“高大人，孤不想再听这种垂头丧气的论调，你究竟可有办法替孤除掉晋王？”杨勇越说越气恼，道，“孤这个太子当得如履薄冰，如今被晋王当众抢婚还不得不做出一副恭贤谦让的姿态。好不容易等晋王被免职，他却跟萧夜心双宿双栖去了。如今母后一句话，他就安然无恙地重新站在了文思殿上。你说，孤如何能咽的下这口气！”
“小不忍则乱大谋，殿下也知道自己的太子之位受人觊觎，更应该平心静气，诸事忍耐。不论晋王蜀王他们有任何动作，只要殿下镇得住他们，将来陛下龙御归天，天子的宝座必定是殿下的。那时大局已定，殿下以君王之尊惩治他们，他们若反，便天下的而诛之，若不反，殿下要对他们做什么都是顺理成章之事。”高颎劝道。
“孤的这几个兄弟或许真会反。”杨勇心中筹划道，“孤不能就这样便宜了晋王。他不是为了萧夜心敢当众让孤成为全天下的笑柄么？孤也可以试着让他得了美人却过不安生。”
“殿下三思。”
高颎的规劝并没能阻止杨勇向杨广的报复，他眼见在独孤面前诋毁杨勇未有成效，便决定彻底将杨广在江南的风流艳史变得人尽皆知，甚至不惜找人杜撰其中细节，广为传播。
宫中人多口杂，不论是在帝王后妃身边服侍的贴身侍婢，还是在掖庭办差的低等宫人，闲暇时间多会寻找谈资以度时光，而近来大家谈论最多的便是杨广当初在江南临幸美人，沉迷酒色的艳文。
风言风语传到掖庭，自然引来不少宫女的兴趣，她们一旦有时间便开始讨论那些香艳的故事，幻想着传言中俊逸英武的晋王如何留恋在江南的温柔乡中，如何与人春风一度。
宁远见那些宫女总是围在一起交头接耳，好奇之下便去询问，反倒被她们问道：“你是从江南来的，你能不能给我们说说晋王在江南究竟结交了多少女子？听说上至陈叔宝的后宫嫔妃，下至教坊青楼的花魁名妓，都曾是晋王的入幕之宾。”
宁远对此大吃一惊，道：“你们听谁胡说八道？”
“大家都这么说。”想起那些香艳的传闻，宫女不禁浮想联翩，“若是能被晋王那样的人宠幸一晚，让我死也愿意。”
“根本就没有这些事，你们不要听信谣言，平白污了晋王的名声。”宁远道。
“若是谣言，那些事情怎么可能说得那么仔细呢？”宫女拉着宁远，津津乐道，“你知道么，南陈那个倾国妖妃张丽华，她就跟晋王在陈叔宝修建的临春阁里跟晋王殿下独处了很久呢。你说，若不是有什么，他们需要禀退所有人么？而且当时高颎高大人要带走张丽华，晋王还不乐意呢，你说他们没什么，我才不行呢。”
“就是就是，我听说那个张丽华长得貌比天仙，还很有手段，否则怎么能让陈叔宝将整个南陈都交到她的手里。听说，她跟不少南朝的官员有私情，陈叔宝一个南陈皇帝居然只是她裙下之臣中的一个。这么厉害的女子，晋王在他面前把持不住，也能理解。”又有宫女补充道。
宁远恨透了张丽华，更不愿意听见有人将杨广和那个妖妃联系在一起，一怒之下扬声道：“假的假的都是假的！晋王不可能更那个女人有关系，你们不要污蔑晋王！不许你们污蔑晋王！”
宫女们只道宁远失心疯，便不与她计较，各自散了。
宁远余怒未消却见萧夜心不知何时站在了人群之外。她唯恐自己的表现影响萧夜心和杨广的关系，便急于上前解释道：“你不要听那些人胡说，晋王在江南根本就没有做那些事。我亲眼看见的，他在建康的时候天天只知道处理军务，安抚百姓，他不会做那些事的。”
萧夜心却对此置若罔闻，神情失落地问宁远道：“你认识张丽华么？”
宁远以为萧夜心还是信了那些流言蜚语，仍努力劝她道：“你真的不要相信，晋王他……”
“她究竟是个什么样的人？”萧夜心曾问过杨广同样的问题，而当时杨广的回答非常含糊，如果不是真的发生过什么，如果杨广不是问心无愧，他不会有那样的神情。可在她心里，她这样在意这个名字，却不是因为杨广。
宁远沉下脸，转过头道：“我不认识她。”
萧夜心请求道：“你告诉我好么？有件事我还是不能放下，所以请你给我一个答案，我真的很想知道，张丽华是个什么样的人。”
宁远对张丽华的主观臆断太过强烈，更因为她和杨广扯上了关系，为了不让萧夜心误会，她不惜以某些过于恶毒的言辞描绘张丽华，道：“她是一个贪恋权位，有野心并且生性放浪的女人。”