因政绩突出，后被征为谏议大夫。

宣帝即位后，征魏相为大司农，后升为御史大夫。

魏相见霍氏所为不成体统，便请许广汉带领入见宣帝。

魏相一见宣帝便说：“自霍光去世，其子霍禹复为右将军，侄孙霍山现居政府，兄弟诸婿皆据高位。

霍光夫人霍显及诸女在长信宫皆有名籍，或夤夜称诏开门出入，宜设法减夺其权破其阴谋，以固万世之基，并可保全功臣之后。”

宣帝久闻霍氏家人倚势横行，心中已是不喜，因看霍光面上不便究问。

今闻魏相之言甚合其意，点头称善。

又过数日，魏相复由许广汉面请宣帝，除去副封以免壅蔽。

原来旧例人民上书须备正副两封，先由领尚书者开拆副封观看，若是所言不善便将原书搁起不奏。

今宣帝依从魏相之言除去副封，人民所上之书不须由霍山过目。

霍山虽领尚书事，但已毫无权力。

宣帝准许群臣单独进见言事，霍显觉得情形不妙，便唤霍禹、霍山、霍云等说道：“汝辈奉承大将军遗业，不思保全自己地位，若有人进言离间何以自救？”

霍禹等闻言也不在意，谁知不久真正闹出事来。

原来霍氏一班家奴，霍光在日倚借主势气焰凌人，谁也不敢将他得罪。

如今霍光虽死，但他们骄横已惯，也不肯稍稍敛迹。

一日霍氏家奴与御史大夫家奴同在路上行走，偏是冤家路窄两下相让，彼此争执良久。

霍氏家奴大怒，率领众人闯入御史府中，府中人见了连忙关门。

霍氏家奴闯破大门。

御史对着众人叩头谢罪方才息事。

旁人见了十分不平，一时议论纷纷，都说霍氏家奴目无法纪欺人太甚，霍显闻之方知忧惧。

此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金驷马归第。

宣帝拜魏相为丞相，以丙吉为御史大夫，二人同心辅政，宣帝甚加倚任。

魏相不时入见宣帝商议政事。

宣帝又宠信平恩侯许广汉及侍中金安上，许其任意出入宫中。

地节三年，宣帝立刘奭为皇太子，时年八岁。

霍显听说后愤怒异常，不肯进食，对家中人说道：“此乃帝在民间时所生之子，岂可立为太子！

将来皇后有子，反要为王，向他称臣朝拜，实在使人不甘。”

乃悄悄的入见霍后，叫她毒死太子，免为所制。

霍后依着母命，怀着毒物，屡召太子赐食，拟乘间下毒。

偏宣帝早已防着，密嘱保姆随时护持，每当霍后与食，必经保姆先尝后进，累得霍后无从下手，只好背地咒骂衔恨不休。

有其母必有其女。