阁下，我何必要对你多费唇舌呢？我们如何才能相互了解呢？我们俩之间究竟有些什么误解？我之所以答复你，实在是你逼我这样做的。
我写过各种题材的书和文章 ，我一直保持着我的原则，我的道德观，我的信仰及戒律。而他们一味地反对我的书，更反对我。他们审判我书中的主题，我发表第一篇论文时，他们把我看成是一个充满矛盾的人。我的《法国音乐书简》问世后，我更被看成是国家的敌人，甚至被当作叛国贼。在《论人类不平等的起源和基础》发表后，我又被说成是无神论者，一个厌恶人类的人。在《新爱洛伊丝》出版后，我被看成是一个温柔而老实的人。但现在，我在他们眼里又成了一个顽固而渎神的人了。
在这篇文章里，卢梭也毫不隐瞒自己的宗教观，他明确地表达了自己的信仰：
主教阁下：我是个天主教徒，一个诚挚的教徒，遵从圣经福音的信条。我是个教徒，但并不是牧师的信徒，而是耶稣基督的信徒。我所坚信的天主并不要求深入讨论福音信条，而注重切身实行；他要求弟子信仰能使人类行善的事物，他告诉我们只要去爱自己的兄弟就是履行了信条。
但是，那些缺乏正义的教士，霸占职权，成为我宗教上的裁判者，而且告诉我应该做什么，不该做什么，他们的优越权利决不会影响我的原则，他们无法使我说出我不愿意说的话。如果我的真诚触怒了他们，他们就会想办法将我摒弃于教堂之外，我并不畏惧他们的威胁，因为他们无权判决我。
我发现宗教和政治都有缺陷，我关心这件事是因为政府中的罪恶只会使平民遭殃，但是良知上的错误将使道德沦丧到何等地步呢？
每一个派系都在残害他的兄弟、同胞，所有教会派别都以人的鲜血祭祀上帝，这种矛盾现象是如何产生的呢？但是，他们的确存在于我们社会中，如果有人想改良这种情形也算是罪恶吗？
这篇长达一百五十多页的《致毕蒙主教书》，于1763年交付出版。但出版后卢梭又受到了激烈的批评，日内瓦人的攻击尤为猛烈。随后，日内瓦当局还正式废除了卢梭的永久公民权，其态度之冷酷，和卢梭先前写的申明放弃公民权的信中所表露的对于故乡的感情，形成了鲜明的对比。在日内瓦对他发出通缉令之后，卢梭仍然对自己的祖国怀着希望。他认为，日内瓦的宗教界，至少是公民和市民，对通缉他的那道命令里违反教会法的地方会提出抗议的。但等了一年多没有任何反应，卢梭深感失望，觉得自己的同胞抛弃了他，于是作出相应的决定：声明放弃日内瓦公民权，也就是放弃他那个忘恩负义的祖国。回首往事，他曾努力为自己的祖国争光，但得到的报答竟是下令通缉！连宗教界和市民们也不出来说句公道话。想到这些，卢梭毅然给当年的首席执行委员写了一封信，正式申明放弃公民权。不过信的措词很温和，结尾还为日内瓦的公民而祝福。
卢梭的这封信提醒了日内瓦公民们起来保护卢梭也是保护自己的权利，他们向议会提交了意见书。有法国政府做后台的议会拒绝了公民们的要求，矛盾变得尖锐了，由此产生了许多小册子。由检察长特龙香撰写的《乡间来信》就在这时发表了。这是一部袒护议会的作品，写得十分巧妙，使国民代表派（代表公民意见的）无力辩驳。大家希望卢梭出来和特龙香对垒。卢梭在他的旧同胞的催促下开始着手批驳《乡间来信》。不过他这次非常谨慎，他正在写作驳斥《乡间来信》的《山中来信》，在与国民代表派的首领会晤时都没有披露，怕走漏了风声付印时会出现障碍。
《山中来信》发表后，立刻引起了轩然大波。文中不仅批驳了所谓“君主**政体的重要性”，还批驳了日内瓦民事法庭对他的判决。日内瓦的小议会针对卢梭的作品发表了一个宣言，声称这部作品是渎神的异端邪说，要由刽子手拿去烧毁，不要说答复了，就连提到它都会感到丢脸。其实他们无法驳倒《山中来信》，不得不装出恼怒万分的样子而不予回答。糟糕的是，日内瓦的国民代表们看到小议会的那个宣言后，不仅没有提出申诉，反而按照宣言给他们指出的路子走，连为《山中来信》说句公道话的勇气都没有。巴黎当局下令将此书烧掉。
这种风潮不久就波及到了讷沙泰尔，不明真相的人们听说卢梭胆敢渎神，便对他产生了激愤的情绪，后来甚至发展到疯狂的程度。他们在光天化日之下就对卢梭进行侮辱，即使是那些曾得到过卢梭慷慨救济的穷人，也因听说卢梭对他们的信仰不恭而反目为仇。
当地教会的一些牧师也起来反对卢梭，有的不准他去领圣餐，有的策动教会开除他，还策动民众起来和他作对。于是，在宣教的讲坛上，他被宣布为反基督的人；在民间，他被当作妖巫来驱赶。他的亚美尼亚服装恰成了辨识的标志，走到哪里他的四周都会传出叱骂之声，还不时有小石头抛来，在这种情况下，卢梭也不示弱，他仍然穿着亚美尼亚长袍出来散步。有好几次他从人家屋前走过，就听里面有人说：“把我的枪拿来，让我给他一枪。”当然这只是一种恫吓，并没有真正开枪。这时，卢梭在蒙莫朗西的邻居、房主的女儿韦尔德兰夫人来看望卢梭。这使卢梭很感动，因为他当时所处的环境急需友谊的安慰和支持。他们一起散步的时候，韦尔德兰夫人感到了卢梭所受的敌视，晚上还亲眼目睹了他的住宅受到的骚扰。于是她建议卢梭去英国居住，还愿意把她的朋友、哲学家休谟先生介绍给他。卢梭早已对休谟有敬慕之情。当时休谟在法国也很有名，通过别人的介绍和阅读他的著作，卢梭感到休谟有彻底的共和主义精神，并极为钦佩他的道德和天才。加上以前就有个朋友劝他到英国去，希望结识休谟并博得他的友谊，使得卢梭增强了去英国的念头。而休谟也已知道了卢梭，韦尔德兰夫人向卢梭讲了他如何切盼卢梭前去，以能在英国对他尽地主之谊。卢梭就把进一步联系的事宜托付给韦尔德兰夫人了。1765年初，一本名为《公民的感情》的书出现在市面上。该书极力抨击卢梭的人格、思想以及他的道德观，充满了恶毒的诽谤，尤其在他将子女遗弃在孤儿院的事情上大作文章 ，并极力证明他不是基督徒。这本书风靡了日内瓦，莫蒂埃的反应就更加强烈了。当地民众对卢梭的敌视犹如火上加油，对卢梭的骚扰日甚一日。
尽管有国王的历次诏令、邦议会的三令五申和本地领主与行政官员多次警告，民众还是不肯放过卢梭，只要他走在路上，向他投过来的石头就在他周围乱滚。一天夜里，卢梭被一阵突如其来的响声震醒——有人用石头砸他们的门窗。石头像冰雹似的飞到长廊里，连在那里起初还汪汪直叫的狗也被吓得不敢作声，躲到一个角落里，对板壁又咬又抓，拼命想要逃出去。卢梭赶忙起床，正要向厨房走去，突然飞来一块石头，打破了卧室的窗户，直砸到床脚下。他躲躲闪闪跑进了厨房，戴莱丝也浑身哆嗦着跑了进来，俩人紧贴着墙壁，以防被石头击中。幸亏邻居的仆人听到响声后出外求援，警卫队赶到后才阻止了这场骚乱。这时，卢梭住室的前廊已积满了石头，房主见此场面不禁惊叫道：“上帝啊，简直是个采石场了！”
事件发生后，一些头面人物来看卢梭，劝他快离开这个教区避避风头，因为他在这里再也不能安全体面地住下去了。卢梭也忍受不了这样的生活，想找个偏僻的地方隐居下来。以前他曾到过比埃纳湖中的圣皮埃尔岛上旅行过，很迷恋那里的自然风光，希望到那个岛上去居住。经过吉斯勋爵和岛上的上层人物接触，得到该岛的所有者伯尔尼人的同意，卢梭便于1765年9月中旬迁到了那里。
圣皮埃尔岛不大，周围约半法里，但能出产和提供生活的主要必需品。岛上有农田、草场、果园、树林、葡萄园，它们分布在起伏多变的丘陵上，互相掩映，使人不能把整个岛一览无遗，所以看上去比实际要大。到了收获葡萄的季节，人们每星期天从邻近的湖岸聚集到这里来跳舞、娱乐，而平时则十分宁静。卢梭觉得在这个岛上居住十分理想，可以与世隔绝，让自己更能陶醉于闲散与沉思生活的甘美之中。初到岛上，卢梭马上就面临生活困难的问题，这里粮食既贵，运输又困难，生活费用就很高。不过每逢自己毫无办法的时候，就有一位幸运之神前来帮助。一位叫贝鲁的先生与卢梭达成了一项协议，由他代替了先前曾答应承揽，后又因为《山中来信》的风波而放弃印行卢梭全集的书商。卢梭把出版全集的一切材料都交给他，由自己担任整理和安排这些材料的工作；卢梭还答应将来把自己的回忆录也交给他，不过规定他只能在卢梭死后加以利用，因为此时卢梭一心只想安安静静地了却余生，不愿再让社会想到他。根据这个协议，贝鲁先生负责支付卢梭终身年金，用它就可以解决卢梭自己的生活问题了。另外，还有吉斯勋爵的资助及其他收入，即使卢梭死后，戴莱丝的生活也没有问题。
生活方面有了保证，卢梭心里就踏实了。对那些诬陷和仇视他的人，也用宽容的心情来对待，他认为所做的一切都是经得住检验的，可以把自己的一生交给他们去进行批判。他确信通过自己的许多过失和软弱，通过他不能忍受任何羁绊的本性，人们总会发现一个正直而善良的人。他无怨无艾，不嫉不妒，勇于承认自己对不起别人的地方，更容易忘记别人对不起自己的地方。他只在缠绵温厚的感情中寻找他的幸福，对任何事都真诚到不谨慎的程度，真诚得令人难以置信的忘我程度。卢梭以平静的心态审视着自己的过去，他意识到：浪漫盘算的年龄过去了，剩下来的只有最后一个希望，那就是无拘无束地在永恒的懒散中过日子。
当然他所向往的懒散，不是一个游手好闲者终日无所事事，而是儿童式的闲逸：他不停地活动着，而又什么也不做；或者说是胡思乱想者的闲逸：浮想联翩，而身子却在呆着。这种心境下的卢梭，常忙一些无所谓的小事，什么都做一做，什么都做不完。有时，他长时间盯住一只苍蝇看它的一切动作，有时又恨不得搬起一块岩石，想看看底下到底有什么东西。卢梭一向爱水，而小岛上四处可以见到水。每次一见到水，他就沉入那滋味无穷的遐想。天气晴朗的时候，他一起床就跑到西部一块地势较高的平台上去，呼吸早晨那清新的空气，极目远眺湖对岸的天际，湖岸和沿湖的山岭构成了一片赏心悦目的景色。
当然，他也还做一些他以前做惯了的事情，像写信、整理一下书籍和文稿。《忏悔录》的第一章就是在这里写成的。在这里，他最用心做的就是研究植物学。他对小岛上的植物产生了浓厚的兴趣，以至于把整个岛当作一个植物园了。每当需要进行观察或验证一种植物时，他就跑到树林里或草地上去，胳臂下夹着一本书，到那里就在他要研究的植物旁边躺下，从从容容地观察植物生长的状态。
下午的时间，他就不做这些事情了。常常独自跳上一只小船，任凭它由风吹水推，自己沉醉于无目的的遐想之中。有时候心头一热便叫出声来：“啊！大自然啊！我的母亲啊！我现在是在你单独的守护之下了，这里绝没有什么奸诈邪恶的人插在你我之间了。”
卢梭和戴莱丝寄宿在岛上的惟一住户、医院的出纳员家里。出纳员的妻子和常到她家里来的她的姐妹对戴莱丝很好，卢梭也常和她们一起散步。人与人之间关系和谐，加上美好的自然风光，卢梭感到生活无比幸福，恨不得就在这甜美的生活中度过自己的一生。
可惜好景不长！卢梭在岛上只住了两个月，伯尔尼议会就下达命令，要他搬出这个岛并离开他们的辖境。在寒冷的冬季到来之际，驱逐一位体弱多病的老人出境，实在有违人道。气愤之下，卢梭恨不得立刻就走。但毫无准备，走到哪里去呢？无论他逃到什么地方，有人不是煽动民众反对他，就是用公开的强制的办法驱逐他。这一连串的灾难，已使他心灰到了极点。
正在他无计可施的时候，伯尔尼邦又来了一个更加残酷的补充性命令，限他在24小时之内离开岛屿和该共和国的一切直接或间接领土，永远不得重来，否则定予严惩。一向对卢梭爱护备至的吉斯元帅及时了解到卢梭的遭遇，邀请他到柏林去，卢梭让戴莱丝为他看守书籍和衣物，在岛上过冬，把文稿交给了贝鲁，第二天早晨就朝着柏林出发了。卢梭离开岛屿来到比埃纳时，遇到了不少邻近地区闻讯来看望他的人。其中有个年轻人劝卢梭到他那里落脚，说那里虽属于伯尔尼邦，但它是个自由市，不接受任何人的法令。而且这个名叫韦尔得勒迈的青年的家庭在该市享有最高的威信，他要代表那里的公民欢迎他，希望在那里看到卢梭忘掉过去受到的种种迫害。法国大使馆秘书巴尔泰斯先生也劝卢梭住到比埃纳市。在不少人的挽留下，卢梭决定在比埃纳留下来，至少住到开春。
那个叫韦尔得勒迈的年轻人给卢梭找到了房子，那是第四层楼的后楼一个小房间，很不像样。他住下来后，就再也看不到挽留他时人们所表现的那股热情了，到处都是冷冰冰的面孔。住下来不到3天，卢梭就发现那里正酝酿着一场针对他的可怕的骚乱。有人还告诉他，又要把他从比埃纳市驱逐出去了。这时候，原先那些坚持留他住下来并保证他不受扰乱的人一个也见不到了，卢梭又一次陷入孤立无援的悲惨境地。幸亏尼多的法官及时赶到，送给卢梭一份以他的名义签发的护照，好让卢梭自由地穿过伯尔尼邦边境。卢梭费了很大的劲才找到一辆车，离开了那个使他伤心透了的地方。离开比埃纳后，卢梭没有去柏林和吉斯勋爵会面，而是辗转多处，与戴莱丝会合后，于1766年1月来到英国伦敦，住到了著名哲学家休谟先生家里。
卢梭和休谟早就互相敬慕，见面时都很高兴。但相处在一起时却很少有共同语言。卢梭后来还发现，休谟和自己在法国的那些敌人有交往，本来就多疑敏感的卢梭，把休谟看成了阴谋反对自己的代理人之一，甚至把好心帮助他来到英国休谟家的布弗莱和韦尔德兰两位夫人也都看成是参与迫害他的阴谋家了。他认为两位夫人之所以劝他到英国来，只是为了帮助他的仇人更好地监视他，而休谟是与在法国跟他为敌的那些哲学家（指狄德罗、霍尔巴赫等）串通一气的。经过多年的颠沛流离，接连不断地受到攻击和敌视，卢梭精神上受到极大的摧残，患上了“被迫害狂症”，其特点是疑心极强，仿佛周围的一切人都想迫害他。连帮他出版《爱弥儿》的卢森堡夫人后来他都怀疑。他的这种病症早在几年前就种下了病根，其表现为，即使在宁静惬意的环境里，也是忧心忡忡地担心灾难随时会降临，像在圣皮埃尔岛上那些日子里，总有被撵出岛的预感，精神上摆脱不了担惊受怕的重负。到英国时他的被迫害狂症进一步加重，带着怀疑的心态和休谟相处是不会和谐的。休谟不知道，也难以体谅卢梭的心态，后来又把卢梭精神错乱的秘密告诉了法国百科全书派的哲学家们，这就更使卢梭对他产生了不可和解的仇恨。不久，卢梭离开了伦敦，迁往英国另一个城市伍顿。在那里，他继续写作《忏悔录》，到当年年底完成了第一章到第五章的前半部分。这时外界传闻有人策划焚毁这本书，卢梭非常担心，便想离开英国到别的地方居住，还想回到欧洲本土；戴莱丝表示赞同，因为她母亲已经去世，需要她回去料理后事。卢梭要返回本土的消息在欧洲传开后，不少人给他写信，表示愿意提供住处，这使卢梭深受感动。1767年初，卢梭整理行李，将多余的书变卖，以减少旅途的负担。卢梭的朋友培鲁先生介绍他和戴莱丝去史泊丁城投靠塞吉先生，他们在那里没有停留多久，于1767年5月初抵达英国东南部的多佛港，准备乘船前往法国的加莱港，但当天遇到风暴，轮船无法启航，第二天他们到达了加莱港，结束了近5年的国外逃亡生活。