屯戍力量，使百姓长期劳苦不止，不利于天下的安定。解散车骑将军张安世、右将军霍禹所属的两支屯戍部队！”又下诏命令：“将未使用过的皇家池塘和禁苑借给贫苦百姓，让他们在其中从事生产活动。各郡、国的宫室、别馆，不要再进行修缮。返回原籍的流民，由官府借给公田，贷给种子、粮食，免除他们的财产税和徭役。”
霍氏一家在朝中势力强大，骄横奢侈。太夫人霍显大规模地兴建府第，又制造同御用规格相同的人拉辇车，绘以精美的图画，车上的褥垫用锦绣制成，车身涂以黄金，车轮外裹上熟皮和绵絮，以减轻车身的颠簸，由侍女用五彩丝绸拉着霍显在府中游玩娱乐。另外，霍显还与管家冯子都yín乱。霍禹、霍山也同时扩建宅第，常常在平乐馆中骑马奔驰追逐。霍云几次在朝会时称病而私自出游，带着许多宾客，到黄山苑中行围打猎，派奴仆去朝廷报到，却无人敢于指责。霍显和她的几个女儿，昼夜随意出入上官太后居住的长信宫，没有限度。
汉宣帝早在民间时，就听说霍氏一家因长期地位尊贵，不能自我约束。亲掌朝政以后，命御史大夫魏相任给事中。霍显对霍禹、霍云、霍山说：“你们不设法继承大将军的事业，如今御史大夫当了给事中，一旦有人在他面前说你们的坏话，你们还能救自己吗！”后霍、魏两家的奴仆因争夺道路引起冲突，霍家奴仆闯入御史府，要踢魏家大门，御史为此叩头道歉，方才离去。有人将此事告诉霍家，霍显等才开始感到忧虑。
当魏相成为丞相，多次在汉宣帝闲暇时受到召见，报告国事，平恩侯许广汉和侍中金安上也可以径自出入宫廷。当时，霍山主管尚书事务，汉宣帝崐却下令，允许官吏百姓直接向皇帝呈递秘密奏章，不必经过尚书，群臣也可直接晋见皇帝。这些都使霍氏一家人极为恼恨。汉宣帝听说不少关于霍显毒死许皇后的传闻，只是尚未调查，于是将霍光的女婿度辽将军、未央卫尉、平陵侯范明友调任光禄勋，将霍光的二女婿诸吏、中郎将、羽林监任胜调出京师，任安定太守。几个月之后，又将霍光的姐夫给事中、光禄大夫张塑调出京师，任蜀郡太守，将霍光的孙女婿之一、中郎将王汉调任武威太守。稍后，又将霍光的大女婿长乐卫尉邓广汉调任少府。八月戊戌（十四日），改由张安世为卫将军，未央、长乐两宫卫尉，长安十二门的警卫部队和北军都归张安世统领。任命霍禹为大司马，却不让他戴照例应戴的大官帽，而戴小官帽，且不颁给印信、绶带，撤销他以前统领的屯戍部队和官属，只使他的官名和霍光同样为大司马。又将范明友的度辽将军印信和绶
