李世民有次在宫中侍奉李渊宴饮，面对诸位妃嫔，想起母亲太穆皇后早逝，没能看到高祖拥有天下，不免叹气流泪。李渊看到后很是扫兴，颇不高兴。

各位妃嫔趁机暗中一同诋毁李世民道：“天下幸好平安无事，陛下年寿已高，只适合娱乐娱乐。而秦王总是一个人流泪，这实际上是憎恨我们。陛下作古后，我们母子必定不为秦王所容，会被杀得一个不留！”因此相互对着流泪，并且说：“皇太子仁爱孝顺，陛下将我们托付给太子，必然能获得保全。”李渊对此也很不放心起来。

从此李渊对世民逐渐疏远，而对李建成、李元吉却日益亲密了。

武德七年（624年），齐王李元吉劝说太子李建成趁早除去秦王世民，他说：“我自当替哥哥亲手将他杀掉！”李世民随从李渊和李建成前往元吉的府第，元吉命令护军宇文宝埋伏在寝室里，准备刺杀世民。李建成生性颇为仁爱宽厚，连忙制止了他。李元吉恼怒地说：“我这是为哥哥着想，对我自己有什么好处！”

李建成擅自召募长安及各地的骁勇之士两千多人，充当东宫卫士，让他们分别在东宫左右长林门驻扎下来，号称长林兵。建成还暗中让右虞候率可达志，从燕王李艺那里调集来幽州骁勇精锐的骑兵三百人，将他们安置在东宫东面的各个坊市中，准备用他们来补充在东宫担任警卫的低级军官，结果被人告发。李渊召见李建成，把他责备了一番，将可达志流放到巂州。

李建成随后又联络曾在东宫担任警卫的庆州都督杨文干，私下里让他募集勇士，送往长安。李渊与秦王李世民、齐王李元吉前往长安以北的仁智宫避暑，留太子李建成在长安处理国事。李建成让李元吉乘机图谋李世民，他说：“这关系到我们安危的大计，就决定在今年了！”随后李建成派两位属下郎将尔朱焕和校尉桥公山给庆州都督杨文干秘密送去一批盔甲和兵器。

尔朱焕和桥公山到达豳州后，担心受到牵连不敢参与此事，便向豳州的官员告发李建成指使杨文干起兵叛乱，让他与自己内外呼应。还有一位宁州人杜凤举也前往仁智宫讲了这一情形。李渊听后大怒，借口有别的事情，以亲笔诏书传召李建成，让他前往仁智宫。

李建成心中害怕，不敢前去。太子舍人徐师谟劝他占据京城长安，发兵起事；詹事主簿赵弘智劝他免去太子的车驾章服，屏除随从人员，到仁智宫李渊那里去承认罪责。李建成于是决定前往仁智宫认罪。

李建成决定前往仁智宫。为避嫌疑，还没有走完六十里的路程，李建成便将所属官员全部留下，只带领十多个人骑马前去进见，向父皇伏地叩头，承认罪责。他身体猛然用力，自己摔了出去，几乎晕死过去。

李渊的怒气仍然没有消除。当天夜里，高祖将他囚禁在帐篷里，给他麦饭充饥，让殿中监陈福看守着他，派遣司农卿宇文颖速去传召杨文干。

李元吉与宇文颖交好，便让宇文颖告诉杨文干赶紧起兵。于是杨文干就起兵造反了。李渊派遣左武卫将军钱九陇和灵州都督杨师道攻击杨文干。