集中二千石及以下官员，朝内、朝外言论不一，将廷尉王平、少府徐仁逮捕入狱。朝廷上下都恐怕丞相会受到牵连。太仆杜延年致书霍光说：“官吏放纵罪人，有通常的处罚方法。如今进而诋毁侯史吴为大逆不道，只怕从法律上说是太过分了。再说，丞相崐平日并没有什么成见，而是一向爱为下面的人说情；至于擅自召集中二千石官员，则十分不对。但我觉得丞相在位已久，又是先帝任用的人，除非有什么重大过失，否则不可废弃。近来，不少百姓们说刑罚过重，官吏们执法苛刻，罗织罪名。而今丞相商议的又是有关刑罚之事，如果因此案而连累丞相，恐怕与民心相背，势必造成属下喧哗，小民私议，流言四布。我怕将军因此事而在天下人面前名声受损。”霍光认为廷尉、少府玩弄法律，终于还是将他们下狱治罪。夏季，四月，徐仁在狱中自杀，王平与左冯翊贾胜胡都被腰斩。丞相田千秋则未受牵连，终于与霍光共事到底。杜延年议论公平，使朝廷合睦，其所作所为，都类似于此。
冬季，辽东乌桓部落反叛。当初，匈奴冒顿单于击败东胡族，东胡残余部众分别占据乌桓及鲜卑山，形成了两个部族，世代臣服于匈奴。汉武帝击破匈奴左翼地区，将乌桓迁徙到上谷、渔阳、右北平和辽东的塞外地区，令其为汉朝侦察匈奴动静。汉朝还设置了护乌桓校尉一官，负责对乌桓人的监督和管辖，使他们不能与匈奴建立联系。至此，乌桓势力逐渐强大起来，于是起兵反叛汉朝。
先前，匈奴骑兵三千余人侵入五原，杀掠数千人；后又派骑兵数万南下，沿着汉朝边塞移动，一路进攻汉朝设于塞外的堡垒，掳掠边塞官吏和百姓而去。当时，汉朝边疆各郡的烽火报警设施严密，匈奴扰边没有什么收获，所以很少再来侵犯。后汉朝又获得归降的匈奴人，得知乌桓人曾经挖掘单于祖先的坟墓，引起匈奴的怨恨，正派出二万骑兵袭击乌桓。霍光打算发兵迎击匈奴军队，便询问护军都尉赵充国的意见。赵充国认为：“乌桓连续几次进犯边塞，如今匈奴袭击他们，对我们很有利。再者匈奴很少前来侵扰，我国北部边疆所幸无事。蛮夷之族自相攻击，而我们却发兵迎战，招他们前来生事，这不是好计策！”霍光又向中郎将范明友询问，范明友说可以迎击，于是任命范明友为度辽将军，率领骑兵二万从辽东出塞，迎击匈奴军。匈奴得到汉军出塞的消息后，撤退而去。当初，霍光曾告诫范明友说：“大军不可空手而还，如落在匈奴军队后面，便袭击乌桓。”乌桓当时刚刚受到匈奴军的打击，范明友既然没能追上匈奴，便乘乌桓疲惫之机发动攻击，斩杀六千余
