于是，李世民与李世勣等人便定下了行动计划。由于玄武门守卫常和原本是瓦岗军，系李世勣旧时部将，便准备由李世勣去联系常和，趁李渊召集李世民他们三兄弟议事之机，在玄武门动手一并诛杀建成与元吉。玄武门以内，禁卫军也非召不得入内，只有在这样的环境下，才能实现比较有把握地狙杀二人。此计明显只有李世勣才会如此设计。因为当时秦王府仅有八百卫士，而东宫太子府有长林军及皇城近两万禁卫军，齐王府也有数千卫士，在其它地方显然无法完成同时击杀李建成与李元吉的任务。一旦被他们二人中任何一个走脱，秦王府都必会陷于危境。

其实，也并非秦王府八百卫士都到玄武门去伏击太子建成和齐王元吉去了，李世勣还是让李世民分出了一百人交由秦琼率领，以保证秦王府的安全。在万不得已，玄武门伏击建成与元吉失手时，将由秦琼护送李世民家眷冲出长安，直奔洛阳。

李世民命令长孙无忌秘密地将房玄龄等人召回。

只因李建成对李元吉秘谋：“在秦王府有智谋才略的人物中，现在在他身边值得畏惧的只有房玄龄和杜如晦。”李建成与李元吉又向李渊诬陷他们二人，让李渊把他们与李世民隔离开。李渊也老是认为李世民他们三兄弟不和，是受了手下幕僚谋士些的影响才致于此，也有意把他们抽调开，并严令他们外臣不得私交王子。所以，当时除李世勣正在并州驱逐突厥可汗，并不在秦王府。房玄龄他们也被调离出了秦王府。

故而，才接到长孙无忌所传秦王之令时，房玄龄等人还不敢答应回秦王府，生怕如此反而被李建成和李元吉他们拿到把柄，反而对秦王不利。于是他们说道：“陛下敕书的旨意是不允许我们再事奉大王的。如果我们现在私下去谒见大王，肯定要因此获罪而死，因此我们不敢接受大王的教令！”当然，他们也有可能是在试探李世民是否起事的决心。

李世民听得回报有些发怒了，对尉迟恭说：“房玄龄、杜如晦难道要背叛我吗！”他摘下佩刀交给尉迟恭道：“你前去察看一下情况，如果他们果真没有回来的意思，可砍下他们头回来见我。”

尉迟恭前去，与长孙无忌一起明示房玄龄等人说：“大王已经将行动的计划决定下来了，众位明公应该速去秦王府中共议大事。为了保密，我们四个人还得分散开走，不能在街道上同行。”

于是，房玄龄和杜如晦穿上道士的服装，与长孙无忌一同进入秦王府，尉迟恭则经由别的道路也来到了秦王府。

武德九年六月初一丁巳日（626年6月29日），太白金星在白天出现于天空正南方的午位，按照古人的看法，这是“变天”的象征，是暴发革命或当权者更迭的前兆，代表要发生大事了。武德九年六月初三己未日（626年7月1日），太白金星再次在白天出现在天空正南方的午位。傅奕秘密上奏李渊道：“金星出现在秦地的分野上，这是秦王应当拥有天下的征兆。”

李渊将傅奕的密奏给秦王李世民看，以示自己并不会因别人怎么说就猜忌他。李世民则乘机秘密上奏父皇，告发自己发现了李建成和李元吉与后宫的嫔妃淫乱，因此他们二人必欲除去自己而后快。而且说：“儿臣丝毫没有对不起皇兄和皇弟，现在他们却打算杀死儿臣，这简直就像要替王世充和窦建德报仇。如今我快要含冤而死，永远地离开父皇，魂魄归于黄泉，如果见到王世充诸贼，实在感到羞耻！”