于是，虽然苏武和张胜的出使任务已经完成，但为了配合虞常等人的计划，苏武最终接受了且鞮侯单于的挽留，又在匈奴滞留了一个多月。
这一天，虞常等人探知且鞮侯单于次日将外出打猎，届时只有阏氏及其侍从在家，正是下手劫持她的好机会。为此，虞常、缑王在商议好具体行动计划后，派人将计划告知了事先联系好的七十多人，让大家做好准备，待单于率人远离后便立即下手。
在接到虞常即将发动袭击的消息后，苏武为了麻痹且鞮侯单于，便也趁机向其请辞，表示自己离国已久，希望次日启程返回汉朝，且鞮侯单于不知虞常的阴谋，当即同意了苏武的请求。
然而，就在袭击即将发动之际，有人却因害怕而反悔，于当夜逃走向且鞮侯单于告密，且鞮侯单于得知消息，连忙调兵镇压，与虞常等人发生激战，结果缑王等人在战斗中被杀，虞常被活捉，之后单于命令卫律审理此案。
张胜得知消息，连忙告知苏武，苏武立即召集常惠等人商议，苏武在一番分析之后认为，这次叛乱必定会牵连到使团。想到此处，苏武看着众人，说道，“事情发展到这个地步，肯定会将我牵连出来，作为使者，与其被捕受辱后死去，给国家蒙羞，不如自刎以全臣节”，说罢便要自尽，张胜、常惠连忙上前劝止，表示事情未必便没有转机，苏武这才放弃自尽，静观事态变化。
当夜，卫律以酷刑审问虞常，虞常受刑不住供出张胜，且鞮侯单于得知后大怒，召集匈奴贵族商议，左伊秩訾说道，“谋杀卫律便足以将他们处死，如果是谋害单于，又应如何加重惩处呢？不如劝说他们全部归降。”
且鞮侯单于便派卫律召来苏武审问，苏武见到卫律到来，便知道事情已经彻底败露，因此并不会理传话的卫律，而是对常惠等人说道，“如果让臣节和国家都蒙受屈辱，即使不死，还有什么脸面回到汉朝？”说罢，拔出佩刀自杀。
卫律见状大吃一惊，连忙上前抱住苏武，将刀从其手中夺下，并派人骑马去找医生。
医生到来后，苏武已经因为失血过多奄奄一息，医生于是在地上凿了一个坑，放进煴火，然后使苏武伏卧在火坑上，用手叩击他的背使淤血从伤口中流出。很久之后，昏死过去的苏武才苏醒过来，常惠等人哭着把他抬回营帐。
卫律将情况报告单于后，且鞮侯单于十分佩服苏武的气节，只是派人逮捕了张胜，而对苏武却是派人悉心照料，并早晚探问他的病情。
苏武伤势好转后，且鞮侯单于派人劝其投降，但被苏武严词拒绝，单于为了迫使其投降，又命人将苏武带来，让他亲眼观看审问虞常的过程，然而苏武却始终面不改色。
卫律在对虞常使用了各种酷刑后，这才用剑将其杀死，见苏武仍然毫无惧色，便又命人将张胜带来，对其说道，“你作为汉朝使者，竟然想谋杀单于亲近大臣，罪当处死。不过，若是愿意投降单于，或许能够免除你的罪过。”
说罢，卫律便从一旁虞常的尸体上拔出剑，在张胜面前比比划划，张胜看了看倒在一旁已经毫无气息的虞常，又看着自己面前那把带血的剑，万分惊恐之下，表示愿意投降。
卫律见状，大笑一声，命人替张胜松绑，然后看着苏武道，“副使有罪，你理应与他连坐，何不归降于单于？”
苏武冷笑一声道，“我既没有参与密谋，又不是他的亲属，为何要与他连坐？”
卫律闻言，持剑走到苏武面前，狞笑着用剑在苏武身上比比划划，以性命相威胁。面对卫律的威胁，苏武仍然面不改色，坚决不肯投降。
卫律见威胁不成，便又换了一副面孔，好言相劝道，“苏先生，我卫律此前背叛汉朝，归降匈奴，有幸承蒙单于恩德，赐给我王号，使我拥有部众数万，马畜满山，富贵如此。您今日投降，单于定然也会善待于你。若是拒不归降而被杀，白白葬身于荒野之中，又有谁知道你为汉朝而死？”
对此，苏武却是冷笑一声，丝毫不予理睬。
卫律见状，又继续劝说道，“您如果通过我投降，我愿与您结为兄弟，日后互相扶持；今天不听我的话，以后再想见到我，还有可能吗？若是再想投降，恐怕就没有机会了。”
苏武抬头看了卫律一眼，痛斥道，“你作为汉朝臣民，不顾恩义廉耻，背叛陛下和亲人，投降蛮夷，我见你这样的人干什么？况且单于信任你，让你裁决人的生死，你却不出于公心，主持公正，反而要使两国之主相互争斗，自己坐视两国混战造成的祸乱。南越杀死汉朝使者，结果被陛下出兵扫平，成为汉朝的九个郡；大宛王杀死汉朝使者，如今他的头颅已被悬于汉宫之北阙；朝鲜杀死汉朝使者，旋即遭遇灭顶之灾。如今唯独匈奴尚未发生杀死汉朝使者之事，你明知我不会投降，如果想让两国相互攻伐，那么就杀死我吧，如此匈奴的祸败必将从杀我开始。”
卫律闻言，知道自己无法胁迫苏武投降，只好将情况汇报给了单于。结果，苏武越是不投降，且鞮侯单于越是想迫使他妥协，于是下令将其囚禁在大窖中，断绝苏武的饮食供应。
苏武当初连死都不怕，岂会怕这些折磨，恰逢天降大雪，苏武便卧在地上，吞食雪团和毡毛果腹，侥幸得以活命。匈奴人见苏武断食这么多天还活着，全都以为他是神人，便也不敢再继续折磨于他，而是将他迁徙到了北海没有人烟的地方，让他放牧公羊，并称若是公羊能够产乳生仔，才允许他回来，为了防止他与外界联系，还专门将他与属吏常惠等人分开，分别安置在了不同的地方。
自此以后，苏武流落匈奴长达十九年，然而即便受尽折磨，也始终没有消磨他返回汉朝的决心。
苏武虽然被困匈奴，但此前战败被俘的赵破奴，却在同年与儿子赵安国逃回了汉朝。