钱。他尤其痛恨抽大烟，没想到他的夫人、姨太太个个背着他抽大烟。
段祺瑞下野之初，住在天津日租界须磨街他的部下魏宗瀚的公馆里，第二年应皖系下属田中玉之邀赴大连疗养，随行的有张夫人和二姨太。留在家里的几个姨太没了管束，常常打扮得花枝招展偷偷溜出去看电影、听戏、划船、逛市场，四处招蜂引蝶，常常半夜三更才回公馆。
段祺瑞返回天津后，突然发现家里有什么不对劲。下人在窃窃私语，三姨太和四姨太说话总是躲躲闪闪。有天夜里段祺瑞睡不着，一个人起来到院子里散步，正好撞到三姨太从外面归来。当时段祺瑞的惊愕无异于见到了外星人，他完全没有想到自己的女人竟然打扮得像歌女，而且夜半归来！
三姨太也惊呆了，吓坏了。她了解段祺瑞的脾气，知道等待自己的凶多吉少。段祺瑞注视着三姨太，照着三姨太的脸一掌打过去，呵斥道：“不要脸的东西！”
第二天，段祺瑞吩咐张夫人将三姨太送回在北京的娘家。张夫人早已听说了三姨太和四姨太的风流韵事，只是一直瞒着段祺瑞。以段祺瑞的脾气，她担心会闹出什么大事。如今见段祺瑞如此冷静，倒也放下心来。只是三姨太哭着闹着不肯离去，让她有些于心不忍。
送走了三姨太，不久四姨太的风流韵事又传了出来，段祺瑞一怒之下又将四姨太休掉，打发回了娘家。
对于子女，段祺瑞更是要求严格，而且从不给什么特殊照顾。吴夫人所生长子段宏业，从小寄养在亲戚家，十几岁才回到段祺瑞身边，虽然没有受过良好教育，但与段祺瑞一样，十分喜爱围棋，是当时围棋界里响当当的人物。但段祺瑞仍没有为他的前途铺平道路，而是教育他从最底层做起，靠自己的能力一步步向高处攀登。