像夏、殷、周三王那样的行为啊！”汉王于是便为义帝发丧，裸露着左臂痛哭流涕，全体举哀三天，并派使者向各路诸侯通报说：“天下共同拥立义帝，对他北面称臣。现在项羽却把义帝杀害在江南，纯属大逆不道！我要出动关中的全部兵马，征收河南、河东、河内地区的士兵，乘船沿长江、汉水南下，愿意追随诸侯王去攻打楚国这个杀害义帝的逆贼！”
汉王的使者到了赵国，陈馀说：“汉王如果能把张耳杀了，我就跟随汉王。”汉王于是就寻找到一个与张耳很相像的人，杀掉了他，拿他的头送给陈馀，陈馀便派兵援助汉军。
田荣的弟弟田横四处收拢散兵游勇，得到几万人，即从城阳起兵反楚。夏季，四月，田横拥立田荣的儿子田广为齐王，抗拒楚军。项羽为此留在齐地，与齐军接连作战，但没能攻下城阳。项羽虽然闻听汉王东进，可是既然已经在攻击齐国，就想待打败齐军后再去攻打汉王的军队。汉王因此得以统率各路诸侯军共约五十六万人讨伐楚国。汉军抵达外黄时，彭越率领他的部队三万多人归顺了汉王。汉王说：“彭将军您夺取了魏地的十多个城邑，想要尽快扶立原魏国国君的后代。如今西魏王魏豹便是真正的魏国后裔呀。”随即任命彭越为魏国的相国，让他独自率领自己的部队去攻夺、平定梁地。汉王接着就攻入彭城，搜罗财宝美女，天天设置酒宴，大会部将宾朋。
项王听到这个消息，即命令众将领继续攻打齐国，自己则亲领精兵三万人南进，从鲁地出胡陵，抵达萧地。清晨，楚军从萧地袭击汉军，向东直打到彭崐城，至中午时分，大败汉军。汉军将士都纷纷奔逃，相跟着涌入水、泗水，死了十几万人。这时汉军士兵全往南向山里逃去。楚军又穷追不舍，尾随到灵壁东面的瞧水边上。汉军仓皇退却，被楚军挤迫，十多万士兵全部落入睢水，致使河水都阻塞得流不动了。楚军将汉王重重包围起来。这时恰巧大风从西北刮起，风势摧枯拉朽，墙倒屋塌，飞沙走石，地暗天昏，迎头卷向楚军，楚军被吹得阵脚大乱，零落奔逃。汉王因此才得以偕同几十骑人趁乱溜走。汉王想经过沛去接取家眷，而楚国也派人到沛去掳掠汉王的家眷。家眷们于是都狼狈逃散，没能与汉王见面。
汉王在途中遇到他的嫡长子后来的孝惠帝刘盈和长女鲁元公主，就用车载着他们一起走。楚军骑兵疾追过来，汉王慌急，把两个孩子推下车去。滕公夏侯婴任掌管车马的太仆，他总要下车把两个孩子收载起来，这样做了三次，于是滕公说道：“现在尽管情势紧急，车子也不可赶得太快，怎么能抛下孩子啊！”所以就慢慢地行走。汉
