尤其新废之际、徐敬业作乱于扬州，一家人辗转于均州、房州之间，可谓居无定所、惶恐有加，一日之间，朝使几来，每一次都吓得李显魂不附体，最惊慌之际甚至想一死了之。
但在熬过了最初这段时间后，随着朝情局势趋于稳定，特别是庐陵王城建起之后，一家人生活处境也逐渐安定下来。
人生幸与不幸，终究是对比出来。虽然前为天下之主，转眼阶下楚囚，际遇之变化可谓云泥之判。但在安居庐陵王城之后不久，得知二兄李贤已经死于巴州，李显的心情也渐渐有所舒缓。
他母亲虽然夺他至尊之位，但终究还有一份慈性残留。跟二兄李贤相比，他终究还算是幸运的，毕竟只有活着才能盼得转机。
之后数年，虽然幽居的大环境不变，但一家人生活还算安稳。几任房州刺史对他们一家都多有关照，哪怕武周代唐那段时期里，神都朝堂斗争不断，但对远在房州的庐陵王也没有什么影响。特别是作为武家重要人物的武三思，竟然使派其府佐裴巽入州就近关照他们一家，更让李显看到一丝命运转机的曙光。
所以过去这数年，庐陵王一家生活虽然不比真正的宗王显贵，但也都衣食丰给、无忧无虑。但这样的生活，却在神都革命后再迎来了一次逆转。
当神都政变的消息传到房州时，整个房州地境也都是情势混乱。裴巽来访李显，跟他商议返回神都事宜，甚至还有多名州县官佐联名奉请。
但李显当时只觉得人势仍然不够壮大，缩于城中不出，想要等到人势纠集更加壮大后再作表态。
但是很可惜，他没有等到人势壮大起来的那一刻。很快朝廷便遣王方庆为山南道宣抚使，召集荆州等诸州团练、捉守将围聚在王城周边的人众攻杀驱散，裴巽等参谋者一概伏诛。
经此之后，庐陵王城所受关照便一去不返，城外常驻一军长达半年之久，凡有风吹草动便入府查问一通，一家人处境可谓是危若累卵。
虽然过了一段时间后王方庆便被调离，王城外的驻军也被荆州大都督府收回。但这一次的动乱，却给李显心里带来了极大的阴影，乃至于隐有一种希望幻灭之后的绝望。
此前他或许还期待着母亲年事渐高，权欲削弱，或将他召回两京。可现在，就连这一点本就存在于幻想中的希望都遭到了反制。大唐社稷迎来了新的主人，唐家老臣们一腔忠心有所托付。
更严重的是，他二兄李贤诸子成人，兼是近水楼台先得月，于政变中攫取