祸彻底改变了他的人生轨迹。伯父裴炎以谋反大罪而满门伏诛， 裴伷先受此牵连却不甘屈服， 上书诉变而触怒皇太后，远流安南獠乡。侥幸大难不死却苦恋两京繁华，裴伷先终究难耐彼方凄苦，选择私逃返乡。然而返乡不久便遭告发，一番酷刑承受之后再流北疆庭州。身在庭州的时候，裴伷先以货殖为业，渐聚资产，更得到西突厥大酋青睐、以女妻之，短短几年时间里便成一方大豪。但他仍然不安于此，一直在打探着朝情局势的变化。终于皇天不负苦心人，得知神都发生政变，裴伷先便积极笼络组织一批西突厥胡酋们前往神都献礼，自此才终于得以重新返回神都洛阳，直至皇恩授给均州参军一职便又宦游于山南。所以裴伷先虽然年龄不大，但其人生经历可谓丰富有加，辗转南北万里之遥，几入垂死之境又大难不死，本是刑家余孽，竟成一方豪强。所遭受的苦难磨去了一身的躁气，但心志却并没有因此而遭到摧折，能够逆势而上，自成一番风光。庐陵王城与外间隔绝，自成一方世界，本也没有太多的新鲜事。所以当诸官佐汇报的时候，裴伷先也只是例行公事的听一听，只是当听到庐陵王严惩其庶长子的时候，他眸中才有几分色彩流转，但也并未因此发表什么自己的看法。不久后，内城侍者入堂，告是庐陵王已经在内堂等候多时。裴伷先闻言后便也不再拖延，跟随侍者前往内堂而去，并有数名令史跟随。“卑职均州参军裴伷先，拜见大王！”虽然彼此真实身份一个是囚徒、一个则是看监人，但裴伷先也不敢因此而失礼，入堂之后便作礼拜。堂中的李显则就显得有些紧张，看了一眼堂中陪坐的王妃韦氏，才强自镇定的举手示意道：“裴参军请免礼，未知今日来访，有何见告？”裴伷先告谢入席之后，才又说道：“今日入城，循例请问起居诸项。卑职使命所在，王城凡所用料盈困，大王直需垂教，卑职自使员奉给周全。”听到裴伷先这么说，庐陵王嘴角下意识颤了一颤，有心斥问眼前这个貌似恭顺、实则怠慢至极的家伙，王城诸种用料一再削减，怎么还有脸面说奉给周全？然