江充字次倩，赵国邯郸人也。充本名齐，有女弟善鼓琴歌舞，嫁之赵太子丹。齐得幸于敬肃王，为上客。久之，太子疑齐以己阴私告王，与齐忤，使吏逐捕齐，不得，收系其父兄，按验，皆弃市。齐遂绝迹亡，西人关，更名充。
——《汉书·江充传》
“余吾水之战”后，当得知匈奴人竟然能够调动十余万骑兵后，汉武帝意识到，在匈奴实力已经得到一定恢复，而汉朝战马不足的情况下，不应该继续贸然发动长途奔袭了。
更为重要的是，由于常年发动战争，百姓负担太重，再加上汉武帝好用酷吏，郡、国二千石官员也大多以残暴的手段治理地方，民间矛盾极为严重，甚至已经出现了百姓聚众攻击官府的情况，例如南阳郡的梅免、百政，楚地的段中、杜少，齐地的徐勃，燕地、赵地的坚卢、范主等。
这些人多者聚众数千，自立名号，进攻城邑、夺取武库兵器，释放死囚，捆缚侮辱郡守都尉，杀死二千石官吏，张贴檄文号召各郡县响应；少者亦拥众数百，平日里为匪为盗，抢劫村镇数之不尽。
在国内持续动荡的情况下，汉武帝只能选择与匈奴修好，将重心放在剿灭地方匪盗，稳定自身统治上来。而匈奴方面，实力虽然得到了一定程度恢复，且多次挫败汉朝的进攻，但也仅限于在漠北防守，却无力南下发动进攻，便也同意了与汉朝修好。双方关系再度缓和。
为了平定各地匪盗，汉武帝屡屡派御史中丞、丞相长史负责督促各地官府予以镇压，但始终难以禁绝，这种情况下，如果继续对匈奴发动大规模战争，势必造成民间持续动荡，对国家统治稳定极为不利。
为了督促各地加强对匪盗的围剿，防止进一步酿成巨祸，汉武帝派遣光禄大夫范昆、各部都尉以及原任九卿张德等人穿着绣衣、拿着符节，用虎符调动军队予以剿灭，这便是着名的“绣衣使者”，或称“绣衣御史”。
在派遣“绣衣使者”巡视各地的同时，汉武帝又制定“沈命法”，宣布说：“盗贼帮伙起事而官吏没有发觉，或者发觉后，逮捕的人数不够规定标准的，有关的二千石级官吏以下到小吏员都要处死。”
一时间，绣衣使者遍布各地，他们虽是临时指派的官员，但凭借汉武帝诏命，拥有先斩后奏之权，再加上此前多有酷吏因高举屠刀而受到重用的刺激，这些绣衣使者手段也极其简单粗暴。例如时任绣衣使者的暴胜之，在各路绣衣使者之中，尤以他处死的地方官员最多，凭借着出色的“工作业绩”，他不仅得以威震各州郡，更是多次受到汉武帝的褒奖，直到后来经渤海人隽不疑劝说才有所收敛。相反的，同为绣衣使者的济南人王贺，在驱捕魏郡盗匪之时，则因心善放过了很多人，结果被以不称职的罪名罢免。
有了暴胜之和王贺两个“正反典型”，各路绣衣使者那真是“干劲十足”，结果不仅搞得民间动荡不安，地方官员更是噤若寒蝉。
通过严厉的镇压，各地匪盗规模和数量都有所减少，但由于没能从根本上化解矛盾，以致在朝廷清剿力度有所减弱后，便又有匪盗重新聚众而起。
由于匪盗始终剿之不尽，各级官吏担心因为不能完成任务而被杀，以至于各级官吏此后即使发现盗贼也不敢告发，而上级官员即使发现属下瞒报，为了不被连累，非但不予以惩治，反而帮着下属隐瞒，甚至直接下令不许下级官员告发。结果，各地为匪为盗者日益增多，官员之间相互设法隐瞒，朝廷统治日益危险。
为了缓解国内矛盾，汉武帝于太始元年（前96年）强令各郡国富豪和有权势之人迁居茂陵，同年六月又大赦天下。太始二年（前95年），在御史大夫杜周去世后，汉武帝任命此前督查地方有功的暴胜之为御史大夫，进一步加强对刺史的管制，完善监察体系，确保各级官吏能够尽职尽责，维护朝廷的稳定。此前曾劝谏暴胜之的隽不疑，经其举荐也被提拔为了青州刺史。
常年巡视地方的汉武帝，对于地方官员的弊政多有了解，对于地方官员和监察官员的官官相护，也多有察觉。在汉武帝看来，天子出巡，地方官员极力遮掩的情况下，都能被自己发现这么多问题，那么在自己看不见的地方，又该有多少龌龊之事。
为了真正了解各地民情，汉武帝在完善刺史监察制度的同时，对于那些直接听命于自己的绣衣使者也更为倚重，这些使者除了奉命督办具体事务外，更是成为了汉武帝的“眼睛”。
因此，这一时期，通过担任绣衣使者而获得重用提拔的官员极多，就在曾任绣衣使者的暴胜之升任御史大夫的次年，另一位曾任绣衣使者的官员，也因工作出色得以升任水衡都尉，他就是出身赵地的江充。
江充乃是赵国邯郸人，本名江齐，颇为通晓医术。其妹因善歌舞鼓琴，得以嫁给了赵国太子刘丹，江齐于是借此成为了赵王刘彭祖的门客。
这赵太子刘丹极为好色无耻，玩弄女人达到了变态的地步，甚至连自己的同胞姐妹都不放过。后来，赵王刘彭祖知道了太子的丑事，多次对其予以训斥，结果太子刘丹非但没有悔改，反而怀疑是江齐向自己的父亲告密，为此迁怒于江齐，两人因此交恶。
后来，赵王发现太子毫无悔改之心，对其的训斥和惩处越来越严厉，刘丹则将这些全都归咎于江齐。刘丹越想越气，为了教训一番“多管闲事”的江齐，刘丹派人前去将其抓回来，打算好好教训一番。
然而，等到刘丹的人跑到江齐家，然而江充根本不在家，寻访无果之下，只好将他的父兄抓了回去。得知江充逃走，刘丹更是恼怒，一怒之下便将江齐父兄给杀了。
得知消息的江充，为了给父兄报仇，连夜逃出赵国来到长安，改名为江充后，向朝廷告发刘丹与同胞姐姐及父王嫔妃有奸乱，并与郡国豪猾狼狈为奸，恣意危害等事。汉武帝看过奏章后大怒，下令包围了赵王宫，收捕赵太子丹，移入魏郡诏底狱严惩，最终判处死罪。
刘彭祖为了救儿子一命，便上书称，“江充是个受缉捕而逃的小臣，如今耍弄奸诈，让圣上气恼，不过是为了借助陛下的威严以报私怨罢了。我愿意精选赵国的勇猛之士，从军抗击匈奴，为朝廷效力，以此赎刘丹之罪。”