1901年，袁世凯接任直隶总督的时候，在保定设立了督练公所，主持训练新军的事务，下设三个处，段祺瑞就担任参谋处总办。
由于此时袁世凯已经成为北洋大臣，因此他的部队被称为“北洋新军”。袁世凯对段祺瑞很器重，陶菊隐在书中称，袁氏曾特意关照、帮助段祺瑞成为北洋军第三协的协统，也就是新军中的高级将领。
在段祺瑞的人生中，袁世凯有着重要的影响，清廷覆灭，民国建立后，段祺瑞先后担任过陆军总长、代理国务总理等要职。但两人的关系也存在波折，1915年日本向袁世凯提出“二十一条”，主张对日立场强硬的段祺瑞与袁世凯产生分歧。当时日本报纸称两人即将决裂，段祺瑞一度发表辟谣电报，称其“挑拨离间”。但之后不久，袁世凯就下令免去了段祺瑞的陆军总长职务。随后袁世凯称帝，段祺瑞被“打入冷宫”，直到袁世凯被迫取消洪宪帝制，为了对付南方的护**时，才又请段祺瑞出山挽回局面。
段祺瑞一生，曾几次退居天津。
袁世凯死后，黎元洪成为大总统，段祺瑞担任国务总理，两人分庭抗礼，先后在国务秘书长人选、是否对一战中的德国宣战等问题上产生矛盾，被称为“府院之争”。
1917年3月4日，在与黎元洪闹翻后，段祺瑞负气来到天津，经冯国璋劝说后返回北京。到了5月份，黎元洪下令免去段祺瑞的总理职务，段再次离京到天津，并通电表示不承认黎元洪的命令。但这一次两人的纷争，竟意外地给了张勋机会，导致了后来复辟闹剧的出现。当年7月，在击退了张勋，将冯国璋迎进北京就任大总统后，段祺瑞在天津重获了他的总理职务。