如此过了些时日，京中便又传出了声名已经摇摇欲坠的元家逼迫媳妇致死的流言。这流言还说得有根有据——那被逼死的郑氏是有大才之妇人，连元家郎君的状头也是托她的福得来的。哪里知道一腔情意错许了白眼狼，元家郎君竟是得利之后转身便嫉恨于她，生生将她逼迫得郁郁而亡。对于这流言，有些人尚且存几分怀疑，但又有人辩说，那元家郎君得了状头之后，除了诗赋以外哪有什么惊人见解？以前哪有这般不通时务的状头？又有元家下仆将他酒醉之后的污糟话传得到处都是，动辄虐待打死仆婢部曲、某些癖好十分奇怪等劣迹更是举不胜举了。再有人为元家说话的，听了这些之后也都沉默了。

就在众人议论纷纷的时候，元家郎君的舅家郑家，由舅兄兼表兄领着人浩浩荡荡地上了门。也不知两家究竟是如何争论的，郑家将早便隐有怀疑的证据搜罗了一番，便彻底与元家撕破了脸皮。他们不但将女儿的嫁妆运了回去，还要为已逝的女儿请义绝，移坟茔归郑氏。虽然元家主母亦是郑家女，却也不再得娘家宗族支持，权只当成没有这个女儿。

郑家身为太学博士，文名清贵，自然结交了不少故旧友人。便有台院的侍御史将此事具本上奏，说元家儿郎德行有亏，不但应该削了元十九的校书郎之职，更应永不叙用。这便是几乎绝了元家嫡脉往下两代入仕途的路了。

仿佛嫌不够热闹似的，又有外出的监察御史也启奏了元家叔父作为蒲州司马的不法事。于是，顺带着也给削了下来。

如此，元家虽是前朝皇室之后，比长孙氏、豆卢氏声望更高一层的胡人高门，但名声已经跌到谷底，以至于臭不可闻了。他们在京中也待不下去了，只能收拾细软回老家躲避风声，凄凄惨惨戚戚地踏上了回家之路。