曹操三分天下有其二，对程昱说：“没有你，我就不会有今日。”程昱很聪明，当即交出兵权，回家养老，闭门不出，活了80岁。

曹操麾下六大谋士：荀彧、郭嘉、贾诩、荀攸、程昱、董昭。论排名，程昱倒数第二，论能力，程昱高居榜首，前面4位加起来都不如他。

程昱知名度不高，但能力非常强悍。荀彧、郭嘉、贾诩、荀攸有谋略，但带兵不行。程昱文武双全，可以独当一面，谋略至深。

192年，兖州刺史刘岱被青州黄巾军斩杀，陈宫迎接曹操进入兖州，程昱也前来投奔，为曹操效力。这一年曹操三十七岁，程昱已经五十一岁，算是曹营中的小老头了。

194年，徐州刺史陶谦杀死曹嵩，曹操便打着为父报仇旗帜，攻打徐州。由于曹操杀戮太多，对待“名士”无礼，陈宫在兖州叛变，迎接吕布。

吕布、陈宫、张邈、张超联手，攻取兖州各地，曹军望风而降。兖州八十多县，只有鄄城、范县、东阿还在坚守，这都是程昱的功劳。程昱一边协调三城防守，一边派人去徐州，让曹操火速赶回。此外，程昱派骑兵夺取仓亭津，守住黄河渡口，阻止陈宫攻打鄄城。

程昱防守有方，为曹操增援赢得时间。但是，兖州各地失守，曹操缺乏军粮，屡次被吕布击败，大将夏侯惇被射中眼睛，人心惶惶。阳城下，曹操被吕布吊打，灰头土脸，却毫无进展。此时，旱灾、蝗灾接踵而来，粮食颗粒无收，曹操几乎陷入绝境。

曹操束手无策，袁绍派人来劝说，希望曹操能前往邺城，与自己创业。曹操思索再三，决定投奔袁绍，找一块落脚点。

程昱连夜拜见曹操：“听说你要投降袁绍，有这回事吗？袁绍占有燕赵大地，有吞并天下的雄心壮志，但色厉内荏，多谋寡断，他不会成功。兖州残破，但有三城在手，吕布有勇无谋，不愁大业不成。”

程昱反对投奔袁绍，给曹操分析天下局势，让他有了坚持下去的信心和勇气。程昱没有看错，吕布有勇无谋，最终被驱逐出兖州；曹操没有投奔袁绍，这才有日后的三国鼎立局面。

196年，曹操迎接汉献帝刘协，挟天子以令诸侯，以许昌为基地。程昱镇守鄄城，都督兖州军事，是曹操阵营中，首位能独当一面的大将。

198年，吕布、刘备在徐州相互厮杀。刘备战败，投奔曹操，家属都被吕布俘虏，狼狈不堪。曹操爱惜人才，善待刘备，还送给他兵马。

程昱对曹操说：“刘备雄才大略，能屈能伸，并非池中之物，他不会久居人下。日后，刘备将会是明公的劲敌，不如早日除掉他。”

曹操看到刘备落魄的样子，不认为他能折腾得起来，故而不采纳程昱意见。199年，曹操派刘备攻打袁术，刘备乘机独立，重新占据徐州。

刘备叛变，曹操后悔不听程昱之言，急忙派兵追击，刘备战败后投奔袁绍而去。200年，袁绍亲率10万大军南下，曹操更加痛恨刘备。