漢昭帝派出使者來到匈奴，要求放回蘇武、常惠等人。匈奴騙使者說蘇武已經死了。第二次，漢朝又派使者到匈奴去。常惠買通了單於的手下人，私底下跟使者見麵。使者明白了底細，就嚴厲地責備單於說：“我們皇上在上林園射下了一隻大雁，大雁的腳上拴著一條綢子，是蘇武親筆寫的一封信。他說他在北海放羊。您怎可以騙人呢”單於聽了嚇了一大跳，說：“蘇武的忠義感動飛鳥了!”他向使者道歉，答應一定送回蘇武。[2]當初蘇武出使時，隨從的人有一百多，這次跟著他回來的隻剩了常惠等幾個人了;蘇武出使時剛四十歲，在匈奴受難十九年，在昭帝始元六年，即公元前81年，蘇武終於回到了長安。

    回長安後百姓都出門迎接，稱讚他是個有氣節的大丈夫。第二年，上官桀、上官安父子和桑弘羊被人控告謀反，蘇武和上官父子、桑弘羊原來關係很好，加上他的兒子也參與其中，蘇武被罷官。昭帝死後，蘇武因為參與了擁立漢宣帝，被賜爵關內侯。

    武字子卿，少以父任，兄弟並為郎，稍遷至栘中廄監。時漢連伐胡，數通使相窺觀。匈奴留漢使郭吉、路充國等前後十餘輩，匈奴使來，漢亦留之以相當。天漢元年，且鞮侯單於初立，恐漢襲之，乃曰：“漢天子我丈人行也。”盡歸漢使路充國等。武帝嘉其義，乃遣武以中郎將使持節送匈奴使留在漢者，因厚賂單於，答其善意。

    乃遣武與中郎將張勝及假吏常惠等募士斥候百餘人俱。既至匈奴，置幣遺單於；單於益驕，非漢所望也。

    方欲發使送武等，會緱王與長水虞常等謀反匈奴中。緱王者，昆邪王姊子也，與昆邪王俱降漢，後隨浞野侯沒胡中，及衛律所將降者，陰相與謀，劫單於母閼氏歸漢。會武等至匈奴。虞常在漢時，素與副張勝相知，私候勝曰：“聞漢天子甚怨衛律，常能為漢伏弩射殺之，吾母與弟在漢，幸蒙其賞賜。”張勝許之，以貨物與常。