驸马在书画上自得其乐，人家并没有过得不好。反倒是公主发了脾气，没有得到预期的效果，人家把她的斥责当耳旁风，根本就不怎么在乎。
本来按照公主的意思，若是激起驸马的火来，文就文斗，武便武斗，这两样公主都拿手，保准自己这边能赢。看驸马斗输了以后吃瘪，多少也算是一个乐。
谁知道驸马当缩头乌龟，根本就不打算来参战。李玮这种隐士的做法，并不能使事态平息，愈是这样，公主先前万全的准备，愈发显得可笑和白费，愈发能惹起公主的火来。
底下伏侍的都是乖的，眼见公主和苗娘子这两个，提起来李驸马都一脸厌恶，这厮们也都跟着学，也嫌弃李家这样、那样的不好。上到公主宅都监梁全一，下到公主宅粗使的杂役，没一个把李玮当驸马看的。
眼见众人做的过了，公主的乳母乔夫人，因看不下去，规劝了众人了几句话。乔夫人只不过提醒了一两句，重话可一点儿都没说，谁知道捅了马蜂窝，立刻被其他人起哄说，这个妈妈向着李玮，之所以她敢这么说，肯定背着公主，私下跟李玮有私情，必须要查！吓得乔夫人立刻了闭嘴，再也不敢提一句了。
从宫里面出来到公主宅，没有那么多规矩了，挨罚也少了。只要把公主哄好了，怎么干都行，公主宅上下的那些人，比先前愈发骄横起来，干脆谁都不放在眼里。既然公主不喜欢驸马，那么众人都一块儿跟着，把李玮贬个屁也不是，无论干什么，都故意跟他反着来。
随着时间的推移，东京城里面，有关公主府府里的流言，也愈来愈盛了，说什么的都有。东京城闲人们聊起天来，不知是哪个提到了公主，有人悄悄的说话道：“你们听说了么？从公主出降到现在，公主和那个李驸马，说的话加起来不超过十句，两个人从没在一块儿歇过！这也算是过日子！”
有人十分好奇道：“这么久了，难道这驸马有什么隐疾？公主一直在独守空闺么？”因这个话儿，有知道的便小声告诉道：“公主身边有的是人，独守‘空闺’的那一个，怕是驸马吧！”
这话儿引起来众人的兴趣，一叠声催促他细讲一讲。在得到了众人绝不会往外乱传的保证，这人便小声告诉道：“我认得一个在公主宅做杂事的，据他说李驸马虽然看不见公主，可公主宅那几张驸马的坐塌，上面从来没空过！
你们猜是谁？我听说梁怀吉和张承照那两个内侍，一直在轮流坐那张椅子！人家是公主，就算不跟驸马好，难道身边会没有人？”
因这个话儿，突然有人想起来道：“怪不得桑家瓦子里有几个名角，前几天被梁全一买走了，说是府里面缺内侍，原来是做了那种勾当！”对此有人偷笑道：“李玮家里面那些鹅、鸭，恐怕已养了一院子！”回话的道：“那傻子只晓得摆弄字画，他知道个屁！”
随着流言愈来愈盛，有一些不太好的话，便传到李玮母亲杨夫人的耳里。之前的时候，只要苗娘子提起来李玮，就一口一个“凿纸钱家的”，把李玮贬了个屁也不是，带累连李家也跟着挨骂。
底下人受不了这个气，忍不住向杨夫人诉苦时，杨夫人生气骂苗娘子道：“咱们家再差，那也是章懿太后的娘家，是当今皇帝的亲舅舅家。她苗娘子算是个什么东西？靠着个给官家当乳母的娘，就得了意了。不然这种小门小户的女儿，八辈子也轮不到她进宫！她自己娘家人，到现在还是一帮泼皮，还犯事儿让包龙图判了呢！”
就算再气，毕竟人家是君，自己家是臣，杨夫人只能在背后骂一骂，也没法把人家怎么样。一听说公主背地里与内侍们厮混，杨夫人憋了一肚子的气，到此时终于忍不住了，急忙把儿子叫过去，询问他道：“我听说自从你们俩成婚后，你从来没跟公主亲热，都是一个人睡书房，有这事儿么？”因母亲问，李玮也不是个撒谎的人，也就只好承认了。
杨夫人又问：“公主和那帮内侍们厮混，和他们拉拉扯扯的在一块儿饮酒，有这事儿么？”李玮回道：“我跟公主来往的不多，这些事我也不知道。”
一听见李玮这么说，杨夫人立刻抬手打儿子道：“好哇，好哇，你一个驸马，连自己的老婆在干什么，都‘不知道’，真是个嘴巴让人锯了的葫芦！日子过成这个样儿，我要是不问，是不是一辈子你都不说了？！”
李玮吃母亲一通呵斥，只管低着头不作声。杨夫人看见儿子这样，愈发生气了怒骂道：“你收拾收拾，跟我一块儿进趟宫！好好的公主，把家里弄了个乌烟瘴气，让别人耻笑先不说，也不是咱李家的家风！她苗娘子教导不好女儿，我得找官家和曹皇后评评理，好好说道说道！”
一听见这话儿，李玮忙阻止母亲道：“这件事母亲休管了吧，你就算进宫，公主的脾气也未必改，官家又是个宠女的人，肯定先得数落我。就这样我们俩各人顾各人的，也还能过。”
杨夫人指着李玮骂：“能过个屁！你打算一辈子就这样做缩头乌龟？！我要强了一辈子，怎么养出来你这么一个东西！李家的老脸，如今让你给丢尽了！”