赵王刘彭祖乃是汉武帝的异母兄，见赵王态度如此诚恳，汉武帝便赦免了赵太子刘丹的死罪，不过却也废除了他的太子之位。
事后，汉武帝在犬台宫召见江充，江充请求以平常的穿戴叩见，经汉武帝同意后，江充便身着织丝禅衣，服饰颇有些妇人意味，丝帽上鸟羽作缨，走动时摇冠飞缨，配合上他那魁梧的身材，看起来颇为奇怪，以至于汉武帝也是啧啧称奇，对身边侍者说，“燕赵真是多奇士啊”。汉武帝与江充对答一番后，见其多有独到见解，因而十分高兴。
江充请求出使匈奴，汉武帝便任命其为谒者随同出使，归来后便被任命为了绣衣使者，奉命督察皇亲国戚、天子近臣中的违背体制、奢侈不法行为。
江充与其他绣衣使者一样，受到暴胜之等人深受重用的刺激，办起事来那是一个勤恳认真，平日里检举参劾毫无避讳，管你是皇亲国戚还是勋亲重臣，凡有违法事迹，皆在弹劾之列，汉武帝因此认为他忠正直率。
太始三年（前94年），汉武帝第六子刘弗陵出生。汉武帝在位虽然已经四十多年，后宫嫔妃也不算少，然而皇子却并不算多，对于年过六旬的汉武帝来说，老来得子的他本就对刘弗陵的出生极为高兴，更何况刘弗陵还是怀孕十四个月所生。
得知刘弗陵出生后，汉武帝便欣喜的说道，“听说当年尧是十四个月才出生的，如今这个孩子也是如此”。为此甚至将刘弗陵生母赵氏所居住的钩弋宫宫门，改为了尧母门。
在汉武帝看来，自己此举不过是因为孩子的出生而高兴罢了，但在大臣们看来，汉武帝此举可就意味深长了。
要知道，汉武帝与太子刘据的关系可并不算多么融洽。当时，汉武帝时常出巡，刘据因此常常奉命监国，然而在治国观念上，父子两人却大相径庭，汉武帝虽然采纳董仲舒的建议“独尊儒术”，但在施政具体过程中却是王道与霸道杂治，甚至霸道还要远甚于王道，所用官吏也多时严苛残酷的酷吏；太子刘据则不同，因为从小接受儒家思想的教育，自小性格仁慈宽厚，因此理政时更加注重王道仁治，故此在监国时，曾多次对一些他认为处罚过重之事进行平反。
刘据此举固然深得百姓之心，但朝中大臣却并不这么想，尤其是那些执法大臣，他们认为太子这么做，完全违背了汉武帝治国的理念。彼时就连深居后宫的卫皇后的觉察到了其中的不妥，多次劝告刘据应该注意顺从汉武帝的意思，不应该擅自做主而宽赦罪人。
汉武帝对于刘据的以仁治国，实际上并不反对，毕竟汉武帝也意识到，如果一味推行严刑峻法，于国家而言并不是什么好事，自己之所以这么做，乃是现实需要罢了，待到天下平定，势必要以王道为主，只有这样才能保证天下的长治久安，否则便会如同秦国的下场一样。正因如此，每次出巡归来，当太子刘据将一些重要事项向汉武帝禀报时，即便其中有些不符合自己的治国理念，汉武帝也都全部照准。
可是，汉武帝虽然支持太子，但朝中百官却不这么想，由于汉武帝长期用法严厉，朝中官员大多都是支持严刑峻法之人，正所谓“一朝天子一朝臣”，一旦太子刘据即位，由于治国理念的不同，自己势必再难受到重用，为了自己的前途着想，他们自然就站在了太子的对立面。
于是，朝中官员就此分为两派，其中为人宽厚、主张仁治者多依附于太子，而主张用法严苛、酷吏出身者则反对太子，甚至结党诋毁。
大将军卫青在世时，这些大臣还有所顾忌，不敢有太过出格的举动，然而随着卫青于元封五年（前106年）去世，太子失去外戚的庇护，这些人可就无所顾忌了，因为担心太子即位后对自己不利，于是开始结党对抗太子。
在这种局面下，汉武帝改钩弋宫宫门为尧母门一事，在这些反太子的大臣们看来，可就有些意味深长了，不少人都在暗中猜测，汉武帝是不是更加喜爱少子，有改立刘弗陵为储君的想法？出于这种想法，不少大臣开始在汉武帝面前进谗言，攻讦太子刘据。
不止宫外官员经常在汉武帝面前进谗言，就连宫内的黄门侍郎苏文等人，也经常诋毁太子。苏文经常和小黄门常融、王弼等人在暗中搜集太子的过失，然后再添油加醋的向汉武帝禀告。卫皇后听说后，恨得咬牙切齿，让太子禀明皇上杀死苏文等人，然而太子刘据却认为，如果贸然行事反而会引起汉武帝的猜忌，劝慰卫皇后说，“只要我不做错事，又何必怕苏文等人！皇上圣明，不会相信邪恶谗言，用不着忧虑。”
一次，太子进宫谒见皇后，很久以后才从宫中出来，黄焖苏文于是便向汉武帝报告说，“太子调戏宫女”。不过，汉武帝却并未因此事怪罪太子，反而在事后将太子宫中的宫女增加到了两百人。
又有一次，汉武帝感到身体有些不舒服，派常融去召太子，常融回来后却对汉武帝说，“太子面带喜色。”汉武帝因此有些发怒，等到太子到来，汉武帝观其神色，见他脸上有泪痕，却强装有说有笑，汉武帝感到很奇怪，再暗中查问，才得知事情真相，于是将常融处死。
此后，宫中诬陷太子事件才有所减少，不过苏文等人虽然不敢在公然造谣诬陷，但却仍在私底下搜集各种罪证。如此情形下，不仅太子刘据自己每日小心谨慎，就连卫皇后都整日小心防备，远避嫌疑，生怕因为自己牵连到刘据。
然而，人非圣贤孰能无过，太子刘据难免会有一些把柄落入有心人眼中。
一次，太子刘据派遣使者前往甘泉宫向汉武帝问安，江充恰好也在甘泉宫，他见太子的使者坐着马车，在皇帝专用的驰道上行走，便将其逮捕问罪。
太子听说后，派人向江充求情说，“我并非爱惜车马，实在是不愿让皇上知道后，认为我平时没有管教左右，希望江先生宽恕！”
然而，身为酷吏的江充本就站在太子的对立面，如今好不容易拿到太子的把柄，岂会轻易放手，因而对于太子刘据的求情毫不理睬，径直上奏汉武帝，江充与太子由此生怨。