孙敖跟自己一起与单于对敌，故意把前将军李广调开。李广当时也知道内情，所以坚决要求大将军收回调令。大将军不答应他的请求，命令长史写文书发到李广的幕府，并对他说：“赶快到右将军部队中去，照文书上写的办。”李广不向大将军告辞就起程了，心中非常恼怒地前往军部，领兵与右将军赵食（ｙì，义）其（ｊī，基）合兵后从东路出发。军队没有向导，有时迷失道路，结果落在大将军之后。大将军与单于交战，单于逃跑了，卫青没有战果只好回兵。大将军向南行渡过沙漠，遇到了前将军和右将军。李广谒见大将军之后，回到自己军中。大将军派长史带着干粮和酒送给李广，顺便向李广和赵食其询问迷失道路的情况，卫青要给天子上书报告详细的军情。李广没有回答。大将军派长史急切责令李广幕府的人员前去受审对质。李广说：“校尉们没有罪，是我自己迷失道路，我现在亲自到大将军幕府去受审对质。”
到了大将军幕府，李广对他的部下说：“我从少年起与匈奴打过大小七十多仗，如今有幸跟随大将军出征同单于军队交战，可是大将军又调我的部队去走迂回绕远的路，偏又迷失道路，难道不是天意吗！况且我已六十多岁了，毕竟不能再受那些刀笔吏的侮辱。”于是就拔刀自刎了。李广军中的所有将士都为之痛哭。百姓听到这个消息，不论认识的不认识的，也不论老的少的都为李广落泪。右将军赵食其单独被交给执法官吏，应判为死罪，用财物赎罪，降为平民。
李广有三个儿子，名叫当户、椒、敢，都任郎官。一次天子和弄臣韩嫣戏耍，韩嫣有点放肆的举动，李当户去打韩嫣，韩嫣逃跑了，于是天子认为当户很勇敢。当户死得早，李椒被封为代郡太守，二人都比李广先死。当户有遗腹子名李陵。李广死在军中的时候，李敢正跟随骠骑将军霍去病。李广死后第二年，李蔡以丞相之位侵占景帝陵园前大道两旁的空地，因而获罪，应送交法吏查办，李蔡不愿受审对质，也自杀了，他的封国被废除。李敢以校尉官职随从骠骑将军出击匈奴左贤王，奋力作战，夺得左贤王的战鼓和军旗，斩杀很多敌人首级，因而赐封了关内侯的爵位，封给食邑二百户，接替李广任郎中令。不久，李敢怨恨大将军卫青使他父亲饮恨而死，就打伤了大将军，大将军把这件事隐瞒下来，没有张扬。又过了不久，李敢随从皇上去雍县，到甘泉宫打猎。骠骑将军霍去病和卫青有亲戚关系，就把李敢射死了。霍去病当时正在显贵并且受宠，皇上就隐瞒真相，说李敢是被鹿撞死的。又过一年多，霍去病死了。李敢有个女儿是太子的侍妾，很受宠
