此后数年间，汉朝与匈奴虽然在边境地区时有摩擦，但双方总体都比较克制，基本维持着和平的态势。在此期间，汉朝与匈奴既相互派遣使者，又相互扣押对方使者，先后各有十余批使者被对方扣押。

元封六年（前105年），在位十年的乌维单于去世，其子乌师庐继承单于之位，因其年纪尚小，故被称为“乌师庐儿单于”或“儿单于”。

消息传至汉朝，汉武帝认为这正是搅乱匈奴的好机会，为此派遣了两位使者，其中一位前往吊唁乌维单于，另一位则前往出使匈奴右贤王，意图离间乌师庐儿单于与右贤王之间的关系，促使匈奴内部混乱分裂，以达到进一步削弱匈奴的目的。

乌师庐或许年少，没什么政治经验，但右贤王却看出了汉朝的险恶用心，因此将汉朝使者全部送到了乌师庐儿单于处，并向乌师庐儿单于说明了汉朝的野心。乌师庐搞清楚原委后大为恼怒，将汉朝使者全部扣留。

汉朝虽然没有实现搅乱匈奴的目的，但乌师庐儿单于自己，却差点让匈奴陷入万劫不复之地。

相较于自冒顿单于以来的数位单于，乌师庐由于太过年少，显然不是一位合格的统治者。由于性格十分凶厉，喜好杀伐，动辄便处死看不顺眼的大臣侍者，结果即位仅仅数月后，便搅的匈奴内部人心不安，局势混乱。

太初元年（前104年）冬，匈奴地区遭受暴雪袭击，牲畜多半因饥饿寒冷而死，然而乌师庐儿单于非但不体恤匈奴百姓，反而依旧我行我素，命人将建议赈灾的左大都尉暴揍了一顿。

左大都尉麾下众人愤愤不平，建议杀死乌师庐儿单于，南下归附汉朝。心中愤懑的左大都尉，于是派人偷偷前往汉朝，上奏汉武帝说，“我实在忍受不了单于的凶残暴戾，因此想杀死单于归降汉朝，但由于汉朝距离太过遥远，如果汉朝能够派兵来迎接我，我就立刻杀死单于归附。”

汉武帝闻讯大喜，特地命令因杅将军公孙敖远赴塞外修筑受降城（今内蒙古乌特拉中旗东部新忽热苏木西北），准备随时出兵支援匈奴左大都尉。

太初二年（前103年）春，汉武帝认为受降城距离匈奴所在还是距离太远，即使匈奴内部真的发生变故，汉朝边军也很难第一时间做出反应。于是，汉武帝又命浞野侯赵破奴率两万骑兵出朔方郡西北两千里，前往浚稽山驻扎，以备随时支援左大都尉，同时派人与左大都尉取得联系。

左大都尉得知汉军抵达后，立即组织人马发动刺杀行动，却不想计划泄露，乌师庐儿单于不仅挫败了刺杀计划，同时也得知了汉朝大军深入匈奴腹地的情报。

遭遇刺杀的乌师庐儿单于大怒，处死叛乱的左大都尉后，又派左贤王率领八万骑兵攻打驻扎于浚稽山的汉军。赵破奴得知匈奴大军杀来，也顾不上猜测匈奴方面到底发生了什么情况，连忙率领军队撤退。

匈奴左贤王为了彻底消灭赵破奴所部，派出一支部队死死咬住汉军，迫使汉军放缓撤退速度，同时派出两路大军沿汉军两翼南下，切断汉军的退路。

赵破奴虽然看出了匈奴人的意图，奈何自身兵力太少，即使他率领汉军奋力拼杀，沿途斩杀匈奴骑兵数千，却始终无法摆脱后方的追兵，结果在率军南撤至受降城以北四百里时，还是被匈奴军队切断了退路，陷入了匈奴八万骑兵的重重包围。

为了突破重围，赵破奴夜晚亲自带人外出找水并寻找匈奴包围圈的薄弱处，但却不幸与匈奴军队遭遇，一番交战后惨遭活捉。得知汉军主将被俘，匈奴立即对汉军发动进攻，由于没有主将指挥，混乱之中的汉军遭受惨败，几乎全军覆没。

汉军护军郭纵与剩余校尉商议一番，认为如今主将失陷敌手，自己又遭遇惨败，即便能够顺利脱困返回汉朝，也必然会遭到皇帝惩处被杀，与其如此，不如投降匈奴。于是，郭纵找到匈奴降兵头领维王，希望他能帮忙联系匈奴军队。

左贤王闻讯大喜，当即同意接受汉军的投降，最终赵破奴连同其所率的两万汉军全部失陷于匈奴。

汉军投降后，匈奴军队又趁机进攻受降城，但却没能攻破，只能在边塞劫掠一番后退军。次年，乌师庐儿单于又亲自率军攻打受降城，但未到受降城便病逝了。

乌师庐儿单于死后，匈奴贵族拥立他的叔父、乌维单于的弟弟呴犁湖为单于。

呴犁湖单于即位后，他选择了继续对汉朝发动袭击，以转移匈奴内部的矛盾，从而方便自己迅速整合内部，巩固自身权力。

此前，汉武帝为了加强河西地区的防御，彻底切断匈奴与河西、西域地区的联系，将河西一带的防御向北推移，派光禄勋徐自为从五原郡出塞数百里，沿途修建城墙、要塞、亭燧等，一直向西北修筑到庐朐（今中蒙边境阿尔泰山南麓一带），构筑防备匈奴的防御工事。又命游击将军韩说、长平侯卫伉屯兵于庐朐附近，命强弩都尉路博德在居延泽筑城镇守，从而以河西北部的居延塞和五原郡北部的光禄塞为支点，由东向西沿河西地区北部构筑了一道防御工事，极大增强了河西地区对于匈奴防御。

为了破坏汉朝防御工事的构筑，呴犁湖单于率兵于太初三年（前102年）秋大举南下，攻入定襄、云中二郡，杀掠数千人，又打败了汉朝数名两千石官员后方才北撤，并沿途破坏徐自为修筑的城墙、要塞、亭遂等。

不久，呴犁湖单于又派右贤王南下入侵酒泉、张掖两郡，杀掠数千人，当时恰好在附近的军正任文得知消息，立即率兵前去救援，这才击败了右贤王，兵败的右贤王随即丢弃了掠夺而来的人口财产后慌忙北撤。

不过，呴犁湖在位仅一年便又去世了，匈奴贵族又拥立呴犁湖的弟弟且鞮侯为单于。

由于频繁更换国君，匈奴内部十分混乱，且鞮侯单于巩固地位方式与呴犁湖单于截然不同，因为担心汉朝趁着匈奴权力交接前来进攻，他在即位后便尽数归还了此前拘留的汉朝使者，并遣使向汉朝进贡，积极与汉朝修好。汉朝方面因为进攻大宛失败，决定第二次对大宛用兵，一时间也顾不上匈奴，便接受了且鞮侯单于伸出的橄榄枝，双方关系重新缓和。