叶适出身于一个贫穷知识分子家庭。父亲叶光祖，字显之，是一位教书先生。叶家原籍处州（今浙江省丽水地区）龙泉县，原来家境尚好。光祖之祖公济，曾游太学，无成，家道衰落。"叶氏自处州龙泉徒于瑞安，贫匮三世矣。"（《母杜氏墓志铭》，《水心文集）卷二十五）自叶公济徙居瑞安，到叶光祖已三世，家境皆贫匮。徙瑞安后，仍无定居，至光祖才"定为永嘉人"。叶光祖"性拓犖，志愿大，困于无地，不自振立。岁既晚，专屏静处，不预人事，味山野之乐而远朝市，服台笠以忘冠绅焉。"（《致政朝请郎叶公壙志》，《水心文集》卷十五）这晚岁，大约是叶适中进士以后的事了。
叶光祖有子六人：逮、适、还、过、迈、造，女三人，虽贫穷，家口还是不少。①叶适之母杜氏夫人，是一位勤劳的贤慧的劳动妇女。杜氏温州瑞安人，祖上曾任县吏，父辈居田间，"有渔耕之乐"。社氏生时，家业已衰。未出嫁前，即"能当其门户劳辱之事"，"孝敬仁善，异于他女子"。嫁到叶家后，过着颠沛困厄的生活，泰然处之，"未尝变色"；辛勤劳作，不避琐事，有人讥笑，仍乐而为之，且曰："此吾职也，不可废。"（《母杜氏墓志铭》，《水心文集》卷二十五）尽管生活如此困苦，夫人仍不忘子女的教育，曾勉励叶适兄弟说："吾无师以教汝，汝善为之，无累我也。""废兴成败，天也；若义不能立，徒以积困之故受怜于人，此人为之缪耳。汝勉之，善不可失