发生了这样的事，肯定会涉及到我，如受到侵犯再死，那就更加辜负国家了。”于是准备自杀，被张胜、常惠一起阻止。后虞常果然供出张胜，单于大怒，召集贵族们商议，打算杀死汉使。匈奴左伊秩訾说：“谋杀卫律就要处死，如果谋害单于，又应如何加重惩处呢！应让他们全部归降。”单于派卫律传话给苏武。苏武对常惠等人说：“如果卑躬屈节，有辱我们的使命，既使活着，又有何面目再回到我们大汉呢！”说完拔出佩刀刺入自己的身体。卫律大吃一惊，一把将苏武抱住，急忙召医生前来，在地上挖了一个土洞，点起炭火，将苏武放在洞上，用脚踩苏武的后背，使淤血流出。苏武气绝，半日才慢慢苏醒。常惠等痛哭，将苏武抬回驻地。单于很钦佩苏武的气节，早晚都派人问候，而将张胜逮捕。
苏武逐渐痊愈，单于派人来劝谕苏武，要苏武归降匈奴。正在此时，虞常被定为死罪，便打算借此机会逼苏武投降。用剑斩下虞常的人头之后，卫律说：“汉使张胜想谋杀单于的亲信大臣，其罪当死，单于招募归降，降者赦免。”说完举剑要刺张胜，张胜请求投降。卫律又对苏武说：“副使有罪，你作为正使，应连坐受罚。”苏武回答说：“我本未参与其事，与张胜又没有亲属关系，为什么要连坐受罚！”卫律又举剑威胁苏武，苏武纹丝不动。卫律说：“苏先生！我以前背叛汉朝，归顺匈奴，有幸蒙单于大恩、赐号称王，并拥有数万人众，马匹牲畜满山，这样富贵！苏先生如果今日归降，明日就会和我一样，否则白白横尸荒野，又有谁知道呢！”苏武闭口大答。卫律又说：“你要是听我的话，归降匈奴，我与你就如兄弟一般；如今日不听我的建议，以后即使想再见我，还能够办得到吗？”苏武骂道：“你身为汉朝臣子，却不顾恩义，背叛君主、亲人、投降蛮夷异族，我见你干什么！况且单于信任你，让你决定别人的生死，你不但不公平处理，反而想挑动两国君主相互争斗，在一旁坐观成败。南越国杀死汉使，被汉灭掉后变为九郡；大宛王杀死汉使，其人头被悬于长安宫廷北门；朝鲜杀死汉使，立即招来灭国之祸；只有匈奴还没有干过这种事。你明知我不会投降，却想借此挑起两国之间的战争，只怕匈奴的灾难，将会从我开始了。”卫律明白苏武终究不会受他的胁迫，只得禀报单于。单于见苏武如此忠心，越发想争取他归顺，便将苏武囚禁于一个大地窖中，断绝苏武的饮食，企图逼其就范。当时正下大雪，苏武躺在地上，靠吞食雪片和衣服上的毡毛，一同咽下，几天后竟然未死。匈奴人以为有神灵庇护，便将苏武放逐到北海荒无人
