给廷尉和执金吾处理，逮捕了崐张赦等人。后来，汉宣帝下诏，命令不要抓人。霍山等更加慌恐，商议说：“这是皇上尊重太后，所以不深究，但已可看出苗头不妙，时间长了还会爆发。一旦爆发，就是灭门之祸，不如先下手为强。”于是命霍家女儿各自回家告知自己的丈夫，霍家各位女婿都说“大祸一来，我们谁也跑不了！”
正巧李竟因受指控结交诸侯王而被朝廷治罪，审问中供词涉及霍氏家族，汉宣帝因而下诏命令：“霍云、霍山不适合再在宫中供职，免职回家。”山阳太守张敞向汉宣帝上了一道秘密奏章，说道：“我听说，春秋时期，公子季友有功于鲁国，赵衰有功于晋国，田完有功于齐国，都受到本国的酬劳，并延及子孙。但是后来，田氏篡夺了齐国政权，赵氏瓜分了晋国，季氏则专权于鲁国。因此，孔子作《春秋》，追踪考察各国的兴衰存亡，严厉批判卿大夫世袭制度。当年，大将军霍光作出重大决策，使宗庙平安、国家稳定，功劳也不算小。周公辅政才七年，就归政于周成王，而大将军掌握国家的命运长达二十年之久。在他执掌大权的鼎盛时期，威严震撼天地，势力侵凌日月。应由朝臣明确提出：‘陛下褒奖、宠信已故大将军，以报答他对国家的功德，已经足够了。而近来辅政大臣专擅朝政，外戚势力过大，君臣之间没有明显的分别，请求解除霍氏三侯的官职，以侯的身份回家；对卫将军张安世，也应赐给几案与手杖，让他退休回家，以列候的身分充当天子的老师，由陛下时常召见慰问。’陛下则公开下诏表示对他们施恩，听从大臣所请。群臣再据理力争，然后陛下予以批准。这样一来，天下人肯定会认为陛下不忘旧勋的功德而群臣又知礼，霍氏一家也可以世世代代无忧无患。如今，朝中听不到直言，而使陛下自己下诏，这不是好策略。现在霍氏两侯已被赶出宫廷，人情大致相同，因此以我的心来猜度，大司马霍禹和他的亲戚僚属等必然会心怀畏惧。使天子的近臣恐慌自危，总不是万全的办法。我愿在朝中公开提出我的意见作为开端，只是身在遥远的山阳郡，无法实现，希望陛下仔细考虑。”汉宣帝对张敞的建议甚为欣赏，然而却没有召他来京。
霍禹、霍山等家中多次出现妖怪之事，全家人都非常忧虑。霍山说：“丞相擅自减少宗庙祭祀用的羊羔、兔子和青蛙，可以以此为借口向他问罪。”于是，密谋让上官太后设酒宴款待博平君王媪，召丞相魏相、平恩侯许广汉及其属下作陪，然后让范明友、邓广汉奉太后之命将他们斩杀，乘机废掉汉宣帝，立霍禹为皇帝。密谋已定，尚未发动，汉宣帝任命霍云为玄
