人色，可是李广却神态自然，更加注意整顿军队。军中从此都很佩服他的勇敢。第二天，又去奋力作战，博望侯的军队也赶到了，匈奴军才解围退去。汉军非常疲惫，所以也不能去追击。当时李广军几乎全军覆没，只好收兵回朝。按汉朝法律，博望侯行军迟缓，延误限期，应处死刑，用钱赎罪，降为平民。李广功过相抵，没有封赏。
当初，李广的堂弟李蔡和李广一起侍奉文帝。到景帝时，李蔡累积功劳已得到年俸二千石的官位。武帝时，做到代国的国相。元朔五年（前124）被任为轻车将军，跟随大将军卫青攻打匈奴右贤王有功，达到斩杀敌人首级的规定，被封为乐安侯。元狩二年（前121）间，代公孙弘任丞相。李蔡的才干在下等之中，声名比李广差得很远，然而李广得不到封爵和封地，官位没超过九卿，可是李蔡却被封为列侯，官位达到三公。李广属下的军官和士兵们，也有人得到了侯爵之封。李广曾和星象家王朔私下闲谈说：“自从汉朝攻打匈奴以来，我没有一次不参加。可是各部队校尉以下的军官，才能还不如中等人，然而由于攻打匈奴有军功被封侯的有几十人。我李广不算比别人差，但是没有一点功劳用来得到封地，这是什么原因呢？难道是我的骨相就不该封侯吗？还是本来就命该如此呢？”王朔说：“将军自己回想一下，难道曾经有过值得悔恨的事吗？”李广说：“我曾当过陇西太守，羌人有一次反叛，我诱骗他们投降，投降的有八百多人，我用欺诈手段在同一天把他们都杀了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了，这也就是将军不能封侯的原因。”
又过了两年，大将军卫青、骠骑将军霍去病率军大举出征匈奴，李广几次亲自请求随行。天子认为他已年老，没有答应；好久才准许他前去，让他任前将军。这一年是元狩四年（前119）。
李广不久随大将军卫青出征匈奴，出边塞以后，卫青捉到敌兵，知道了单于住的地方，就自己带领精兵去追逐单于，而命令李广和右将军的队伍合并，从东路出击。东路有些迂回绕远，而且大军走在水草缺少的地方，势必不能并队行进。李广就亲自请求说：“我的职务是前将军，如今大将军却命令我改从东路出兵，况且我从少年时就与匈奴作战，到今天才得到一次与单于对敌的机会，我愿做前锋，先和单于决一死战。”大将军卫青曾暗中受到皇上的警告，认为李广年老，命运不好，不要让他与单于对敌，恐怕不能实现俘获单于的愿望。那时公孙敖刚刚丢掉了侯爵，任中将军，随从大将军出征，大将军也想让公
