霍去病各率骑兵五万，跟随官兵私人驮运行装的马匹也有四万匹，步兵和运送辎重的人夫跟在大军之后有数十万人，其中敢于深出塞，正面攻击匈奴单于。后从俘虏口中得知单于在东边，于是改命霍去病自代郡出塞，卫青自定襄出塞。郎中令李广屡次主动请求出征，汉武帝认为他年事已高，不准所请，过了很长时间才答应他，任命为前将军。太仆公孙贺被任命为左将军，主爵都尉赵食其为右将军，平阳侯曹襄为后将军，都隶属于大将军卫青。赵信为单于谋划说：“汉国横穿大沙漠后，人马必然疲惫，我军可以坐等擒获敌军。”于是将己方的辎重运到北方很远的地方，命精锐部队在沙漠以北等候汉军。
卫青出塞后，自俘虏口中得知单于住地，便亲自率精兵挺进， 命前将军李广与右将军赵食其合兵一处，由东路进军。李广因东路绕远，水草也少，主动请求说：“我的部队是前将军的部队，而今大将军却改命我部为东路军。我自少年时就开始与匈奴作战，今天才有机会正面对付单于，所以愿意作前锋，先去与单于死战。”卫青曾受汉武帝暗中告诫，认为：“李广年纪已老，运气又不好，不要让他与单于正面作战，恐怕他不能完成擒获单于的任务。”而公孙敖不久前失去侯爵，卫青也想让他与自己一同正面与单于作战立功，所以将前将军李广调到东路。李广知道内情，坚决地向卫青推辞，遭到卫青拒绝。李广未向卫青告辞就动身出发，心中十分恼怒。
卫青率大军出塞一千余里，横穿大沙漠，见匈奴单于的军队正列阵以待，便下令将兵车环绕一周结成营阵，派出五千骑兵攻击匈奴，匈奴也放出约一万骑兵迎战。恰好太阳将要西沉，狂风忽起，砂砾扑打人脸，两军士卒相互不能分辨。卫青增派左右两翼的军队包抄单于。单于见汉军人多，兵马仍然很强，估计自己打不过汉军，便乘坐六匹健骡，在约数百名精壮骑兵的保护下直冲汉军防线，向西北方向飞奔而去。这时天已黑，汉军与匈奴的将士们仍在激烈搏杀，双方损失大体相当。汉军左翼校尉报告卫青说，他从抓到的俘虏那里得知，单于已于天未黑时离去。于是卫青派出轻骑兵连夜追击，自率大军跟随其后，匈奴兵也四散逃走。将近天明时，汉军已追出二百余里，没有抓到单于，但擒获和斩杀匈奴一万九千余人。于是到颜山赵信城，夺得匈奴的存粮供应军队。在该地停留一日之后，将该城和所余的粮食全部烧光，然后班师而还。
前将军李广与右将军赵食其率领的东路军因没有向导， 在沙漠中迷失了道路，所以落到卫青的后面，没能赶上与单于的那一战。直到卫青率部班师
