晚年悲于唐末乱世，有感三百年唐祚将亡，遂乞骸骨辞相下野，重病缠身也不愿意吃药，史载：“会天子出门，以病还都，家人召医视，纬曰，天下方乱，何久求生？”

不肯服药，不久病薨。

是能臣，也是忠臣，但他在朝中的政敌很多。

孔纬早年受宰相杨收提拔，杨收当时跟左神策军中尉杨玄价是一派，这个杨玄价就是杨复光和杨复恭的假父，杨玄价则跟田令孜是政敌，田令孜拥立僖宗上位后，杨玄价失势。

杨玄价失势后，作为杨玄价党羽的宰相杨收受到了打击，被贬宣歙观察使，孔纬作为杨收的门生，也在这一次的权力交接中受到了牵连，杨收最后则被权相韦保衡赐死。

狠角色王铎上位宰相之后，以同样的方法干掉了韦保衡。

外贬贺州刺史，再贬澄迈县令，最后坐罪赐死。

王铎执政后，非常欣赏孔纬，提拔孔纬担任兵部侍郎，孔纬迎来了春天，但王铎也有政敌，就是田令孜。

当时王铎手握兵权，担任剿总负责镇压起义军，田令孜很嫉妒，但是却不敢动手，于是跟僖宗吹枕边风，说王铎密谋不轨，当时王铎正在洛阳跟朱温打仗，僖宗起了疑心，下令解除王铎兵权，于是河南会战失败。

王铎被解除兵权之后，以兵部侍郎担任王铎副手的孔纬也遭牵连，被调到礼部雪藏，但时任另一位着名宰相也很赏识孔纬，那就是郑从傥，在郑从傥的强力支持下，素来嫉恶如仇的孔纬出任吏部考功郎中，当上了纪高官，不久之后，河东兵变，李克用寇代犯境，郑从傥临危受命出任河东节度使，郑从傥离开朝廷之后，韦昭度当权，韦昭度很不喜欢孔纬。

当时韦昭度分管吏部，孔纬则是考功郎中。

我们说过，孔纬嫉恶如仇，公私分明，处事果敢，不畏权贵，当时向孔纬为亲友谋官的达官显贵能组成一个加强连，但都被孔纬拒绝，送来的表决信看都不看一眼。

这些世家子弟就找自家人告状啊，韦昭度和杜让能作为首都世家代表，于是就把孔纬赶出了吏部，同期被扳倒的还有另一位宰相，就是来自京兆王氏的王徽，懿宗朝外戚出身。

王徽虽然是既得利益集团一员，屁股却是歪的，不想着为自家亲戚谋官，却总想着老百姓，整天念叨着中兴大唐就算了，还时不时上谏告状，不是告发宰相就是骂宦官。

结果得罪了杜让能，被杜让能进谗言贬去一个穷州做刺史。