是合肥人；而合肥望族李氏（李鸿章一族）门中更不乏围棋好手，如李子干、李戚如在光绪、宣统年间均有弈名，他们常邀各地名手至合肥交流，并在合肥组织棋社，结纳棋友。段少年在弈风甚盛的环境中长大，后来又为李鸿章所赏识而出国学军事，与围棋结上缘也就不足为奇了。
段祺瑞不仅自己嗜棋，他的子侄也喜欢下围棋。长子段宏业的棋艺水平比他的老子还要高。在民国初期颇有点名气，当时次一级的国手如吴祥麟等还非他敌手，后来日本人曾授之以段位。金山人顾水如，棋艺最负盛名，初到北京遇到的强劲对手也就是他。段祺瑞好胜，输棋便不高兴，别人同他下棋总是手下留情。段宏业是个****，染有抽鸦片的恶习，段氏本来就不喜欢他。父子对弈，不讲什么情面，段祺瑞一输棋，常瞪眼斥责他：“没出息，就只会下棋！”20年代前后，段宏业当上天津正丰煤矿总经理，养尊处优，棋也少下了。段祺瑞身边还有一个人，当时与孙科、张学良、卢小嘉齐名被称为“四大公子”之一的段宏纲。此人是段祺瑞二弟碧清之子，从小就跟随段祺瑞，后曾入保定军官学校读书。老段认为他为人忠实可靠，视之如己出，段府内外不少事务多由他出面办理，有的史家往往误以为是老段的嫡子。他的棋艺比段宏业差，同段祺瑞差不多。
段氏一家三人既然都爱下围棋，出入的棋客也便多了，一些拉帮结派、趋炎附势而又附庸风雅之辈也常来凑热闹，段府俨然成了个围棋俱乐部。每有重要围棋活动，一些知名人士如任中国银行总裁的王克敏，前清十代肃亲王、入民国后任民政大臣的善耆，曾任直隶总督的杨士骧的兄弟杨士骢，大富豪李律阁等等，都纷纷出面捧场，这对于围棋活动的开展自然有利。