陶宗仪（元末明初人）在《辍耕录》中，记载了刘因的一段逸事，说：初，许衡之应召也，道过真定，因谓日："公一聘而起，无乃速乎？"衡曰："不如此则道不行。"及先生不受集贤之命，或问之，乃日："不如此则道不尊。"这条材料流传甚广，明代以后许多人在评价刘因时常引到 它。但是，关于刘因传记的最有权威的著作如《静修先生墓表》、《静修先生词堂记》及《元史》本传中，此事都不见记载。陶氏没有提到材料来源，也许是得之元末传闻吧。如果以时间考之，其真实性却颇有疑问。因为许衡生于1209 年，长刘因四十岁。其应召事在忽必烈即皇帝位初年（1260），其时，刘因还是个十一岁的孩子，是不可能与许衡进行此类寓意高深的谈话的。刘因"不受集贤之命"，事在1291 年，许衡已于九年前（1282）故去，时间根本不相及。
不过，这条材料对许刘二人的语言刻划还是传神的。它表明，许刘二人对于"道"有同样的自觉，一个着重于道的实行，一个着重于道的尊崇。这还是比较切合两人的生活和思想的。这大概是它不胜而走，广泛流传的原因吧。其事虽不可信，但它对于理解刘因的思想还是有一定意义的。
之二：《宋元学案·静修学案》附录载有全祖望（谢山）《书文靖（退斋记）
后》，认为刘因的《退斋记》中"世有挟老子之术以往者"等语，是讥讽许衡，并引杨俊民《静修先生饲堂记》中的一段话为证。《静修先生词堂记》说："先正得时行道，大阐文风，众人宗之如伊洛，先生斥之曰：'老氏之术也！'"全氏以为，"先正"二字，"所指者即文正（许衡溢号）也。"这里先有一个文字上的问题："先正"，意即先贤，是普通名词，为什么就是指文正（许衡）呢？《缓辅丛书》本《静修集》将"先正"改成"文正"，说是"据龙本改"。这一改，普通名词变成了专有名词，意思便大有不同。在元初，"得时行道，大阐文风"的大有人在，怎么能一定说是指许衡呢？
其次，是刘因为什么要讥讽许衡。全祖望揣测道：岂当时文正辞左辖（按，指许衡囱请罢中书政事），居祭酒（教国子），盖有见于道之难行，而姑思以儒官自安，故公以是诋欤？??由文靖之言观之，则知苟非行道之时，必不当出，亦不当择地而居之。盖立人之朝，即当行道，不仅以明道止。不能行道而思明道，不如居田