于是，李世民征求李世勣的意见。李世勣说道：“齐王凶恶乖张，是终究不愿意事奉自己的兄长的。近来听说护军薛实曾经对齐王说：‘大王的名字，合起来可以成为一个唐字，大王终究是要主宰大唐社稷。’齐王欢喜地说：‘只要能够除去秦王，夺取东宫太子之位就易如反掌了。’他与太子谋划作乱还没有成功，就已经有了夺取太子之位的心思。作乱的心思没有满足，又有什么事情做不出来呢！假使这两个人如愿以偿了，恐怕天下就不再有我等立锥之地了。以大王的贤能，捉拿这两个人就如拾取地上的草芥一般容易。怎么能够为了信守匹夫的节操，而忘了国家社稷的大事呢！敬德（尉迟恭的字）所言甚是，正所谓“当断不断，必受其乱”！”

李世民仍然没有决断，李世勣又问道：“大王认为舜是什么样的人呢?”李世民答道：“是圣人。”大家说：“假如舜帝在疏通水井的时候没有躲过父亲与弟弟在上面填土的毒手，便化为井中的泥土了；假如他在涂饰粮仓的时候没有逃过父亲和弟弟在下面放火的毒手，便化为粮仓上的灰烬了，怎么还能够让自己恩泽遍及天下，法度流传后世呢！所以，舜帝在遭到父亲用小棒笞打的时候便忍受了，而在遭到大棍笞打的时候便逃走了，这大概是因为舜帝心里所想的是大事啊。”

于是，李世民便要命人算卦以卜吉凶。恰好秦王府的幕僚张公谨从外面进来，便将占卜的龟壳夺过来扔在地上，说道：“占卜是为了决定疑难之事的，现在事情并无疑难，而是箭之在弦，不得不发了。成也如此，败也如此，还占卜什么呢？如果占卜的结果是不吉利的，难道就要停止行动了吗?”

于是，李世民与李世勣等人便定下了行动计划。由于玄武门守卫常和原本是瓦岗军，系李世勣旧时部将，便准备由李世勣去联系常和，趁李渊召集李世民他们三兄弟议事之机，在玄武门动手一并诛杀建成与元吉。玄武门以内，禁卫军也非召不得入内，只有在这样的环境下，才能实现比较有把握地狙杀二人。此计明显只有李世勣才会如此设计。因为当时秦王府仅有八百卫士，而东宫太子府有长林军及皇城近两万禁卫军，齐王府也有数千卫士，在其它地方显然无法完成同时击杀李建成与李元吉的任务。一旦被他们二人中任何一个走脱，秦王府都必会陷于危境。

其实，也并非秦王府八百卫士都到玄武门去伏击太子建成和齐王元吉去了，李世勣还是让李世民分出了一百人交由秦琼率领，以保证秦王府的安全。在万不得已，玄武门伏击建成与元吉失手时，将由秦琼护送李世民家眷冲出长安，直奔洛阳。

李世民命令长孙无忌秘密地将房玄龄等人召回。

只因李建成对李元吉秘谋：“在秦王府有智谋才略的人物中，现在在他身边值得畏惧的只有房玄龄和杜如晦。”李建成与李元吉又向李渊诬陷他们二人，让李渊把他们与李世民隔离开。李渊也老是认为李世民他们三兄弟不和，是受了手下幕僚谋士些的影响才致于此，也有意把他们抽调开，并严令他们外臣不得私交王子。所以，当时除李世勣正在并州驱逐突厥可汗，并不在秦王府。房玄龄他们也被调离出了秦王府。

故而，才接到长孙无忌所传秦王之令时，房玄龄等人还不敢答应回秦王府，生怕如此反而被李建成和李元吉他们拿到把柄，反而对秦王不利。于是他们说道：“陛下敕书的旨意是不允许我们再事奉大王的。如果我们现在私下去谒见大王，肯定要因此获罪而死，因此我们不敢接受大王的教令！”当然，他们也有可能是在试探李世民是否起事的决心。

李世民听得回报有些发怒了，对尉迟恭说：“房玄龄、杜如晦难道要背叛我吗！”他摘下佩刀交给尉迟恭道：“你前去察看一下情况，如果他们果真没有回来的意思，可砍下他们头回来见我。”

尉迟恭前去，与长孙无忌一起明示房玄龄等人说：“大王已经将行动的计划决定下来了，众位明公应该速去秦王府中共议大事。为了保密，我们四个人还得分散开走，不能在街道上同行。”