元寿《<贲感集>后序》）。
徐经家财宏富，在江阴的梧塍、南砀歧沙山等处有地近四万亩。三子治、徐洽、沾，唯次子洽继承父志攻举子业。徐洽字悦中，号云歧，自立门户后居南呖歧，为徐霞客曾祖，也是南呖歧徐氏始祖。徐洽颖敏有文：由博士子弟补国子监生，“每试辄最”，可是七次参加会试都榜上无名。最倒霉的一次是嘉靖辛卯（531）会试，本来已经被录取，却因为参考的监生人数太多超过规定的比例而落榜。后来捐资进入鸿胪序班，官至鸿胪主簿。《民谱》卷53《旧传辑略·鸿胪佐云歧公传》说：“其诗文宏雅古博，多自得趣”，有《云歧小稿》传世。
徐洽有五子，长子衍芳，字原润，又字汝声，号柴石，为徐霞客祖父。徐衍芳“博综典故，出入风雅，以古文词为通人所赏识”（《民谱》卷53《旧传辑略·光禄佐柴石公传》）。其父科场失意，寄厚望于衍芳，特筑书屋令他诵读其中。兄弟分家时，徐衍芳虽为长子，却主动放弃祖屋而出居湖庄书屋，研精静虑以求科智，结果却像父亲一样“累试数奇”。有《柴石小草》传世。徐衍芳有六子，第三子徐有勉就是徐霞客的父亲。综观徐霞客的家世渊源，有两个突出的特点：一是有隐士高风，二是以诗书传家，二者相辅相成。隐士高风，对徐氏家族来说，不恋慕功名富贵隐而不仕的高士之风可谓源远流长，远祖徐稚一直是他们的骄傲和榜样。在千十一、徐麒、徐景南、徐影州兄弟身上，可以直接看到“南州高士之风”的延续。尽管从徐颐开始，这个高士之家连续几代角逐科场追求功笤，但“高士之风”仍不绝如缕。十一世祖徐颐捐资得官之后不久即以病告归，自称“违养图仕，非志也”（李东阳《明故中书舍人徐君墓志铭》）；太祖元献以泊然寒士自处，“与世之骄侈者远甚”（《民谱》卷53《旧传辑略·经元梓庭公传》）；高祖徐经淡于世味酷嗜学问；曾祖徐洽辞官归田，优游林泉，不染尘世事；祖父徐衍芳出入风雅，淡泊世味，以诗酒写性灵。隐逸可以说是中国古代知识分子群体生活的大景观，以至于有人认为中国古代历史可以交替划分为“仕文化”和“隐文化”两种时期。不过像徐氏这样高士之风累世传续的现象并不多见，因此，不仅徐氏族裔引以为荣自觉模范，世人也津津乐道，极力推崇。在《晴山堂帖》中，人们一再称扬徐稚的隐士高风。王达善题诗说：“高士令名垂无穷”；解缙题诗说：“南州信义世皆知”；苏平题诗说：“南州高士神仙人，绕轩栽得江南春”。黄呖《梅雪轩记》说，“尝慕乃祖南州孺子之名，所以字之以景南者，有以期之也”；张洪《梅雪轩序》说，徐景南“系南州高士之后，故其名然，作求世德，其在兹乎”；李东阳《明故中书舍人徐君墓志铭》说：徐颐“虽敛处林壑，而世家誉望，著于东南久矣。君旧谱相传出汉南州高士之裔”。诗书传家，与隐士高风比较，徐氏家族的书香传统更为引人注目。一世祖徐锢随宋室南渡时带来大量中原文献，为徐家藏书奠定了基础；八世祖徐均平与倪瓒为故交，其子徐麒10岁时已有餐霞御风之异态，倪瓒为他取字为本中，还为他绘《书屋图》并题诗，杨维桢、高启等名流皆有题咏。徐麒奉诏使蜀时，文坛泰斗宋濂以诗送之，《送徐生》之序称：“生，江上故族也。学古储今，以诗文从余”，可见徐麒是宋濂的弟子。徐麒藏书达数万卷，与良朋酬酢觞咏其间，“宇内播扬，咸仰之为山斗”（陈敬宗《明故徐微君墓志铭》）；徐景南亦酷好读书，有“梅雪轩”故事；徐颐亲自课子并广延名师；徐元献弱冠成举子，古文歌诗皆有名；徐经藏身于“万卷楼”苦读。徐元献、徐经、徐洽、徐衍芳，连续四代有文集传世，先后媲美，论者叹为盛事，汤焕《〈徐氏家集〉序》说：“往予署学江阴，见徐氏列冠裳者先后数十人；居庠校者，彬彬多才子弟，意必有贤父兄，而家法先猷，当有所自”，“昔人有言：植本固而发源深也。徐氏自开封尹以中原文献南来，迨乎皇朝，益敦诗礼之教，又再世而贤科出焉，其培植也远矣”。
徐氏不仅“五世以来，文豪于国，诗震于时”（范梅《<柴石遗稿>序》），如前所说，我们在《晴山堂帖》中，可以看到一大批如雷如霆之伟人的手笔，晴山堂石刻因此而“与唐碑宋碣并重”，“三百年来，拓本流传，人争宝贵”（张之纯跋）。徐氏真正可以说是出入有鸿儒的世家望族。徐霞客与其从兄徐仲昭千方百计搜寻先世遗墨题赠，绍继的不止是祖业，应该还包括祖宗的德行风范。何乔远《张侯名宦汇纪序》说：“徐弘祖一布衣也，愍然若其远祖达人。”徐霞客出生在这样一个故族世家，深受祖德家范的浸染，其放绝世务奇情郁然的个性、其目空万卷词意高妙的才情都可谓渊源有自。