1862 年10 月5 日，王韬乘坐英国怡和洋行"鲁纳"号邮轮驶离黄浦江，南下香港。一路上，虽有随船同行的江南范春泉兄弟、萧山鲁获洲以及麦华佗委派的"密司恳开"等说话作陪，但王韬总觉得心情沉重。大清王朝没给王韬带来任何好处，甚至要以大辟重刑来惩治他，可如今一旦要离开它，逃入在西洋人统治之下的"化外之地"，王韬又感到若有所失。对父母之邦的依恋之情与对清朝政府的怨恨矛盾地混合在一起，牵拽着他的心绪。他以十分伤感的笔调在甲板上写下了这样的诗句：东去鲁连成蹈海，北来庚信已无家。从今便作天南叟，忍住饥寒阅岁华。①茫茫的大海，茫茫的前途，漂泊的生活，漂泊的灵魂，一种找不到人生依归的愁绪迷漫全诗。
"鲁纳"号航行两昼夜后抵福州。越日，抵厦门。 10 月11 日午后抵香港。从此王韬变成了所谓的"化外之民"。在这块大清王朝管辖不及的"化外之地"上，他实现了思想观念由传统到现代的转变。
六十年代的香港，在英人经营下，工商业已有一定程度的繁荣。王韬在《漫游随录》中对此曾有记载：香港本一荒岛，山下平地距海只寻丈。西人擘画经营，不遗余力，几于学精卫之填海，效愚公之移山。
尺地寸金，价昂无埒。沿海一带多开设行铺，就山曲折之势分为三环：曰上环、中环、下环，后又增为四环，俗亦呼日"裙带路"，皆取其形似也。粤人本以行贾居奇为尚，锥刀之徒，逐利而至，故贸易殊广??上、中环市廛稠密，阔剖宏深；行道者趾错肩摩，甚嚣尘上。下环则树木阴臀，绿荫缤纷，远近零星数家，有村落间意。"博胡林"一带，多西人避暑屋，景物幽逮，殊有萧寂之致。①不过这是王韬后来游历欧洲之后的倒叙文字。初到香港的王韬并没有如此平静的心情来欣赏英人的功绩。他下船伊始，情绪极坏，对什么都觉得难以忍耐。"人民椎鲁，语言侏"；环境恶劣，"炎方景物种种伤吾意，气候不常迥非中土侔，视天常低视日近若炙，冬或著盛夏或披裘，鱼龙怒腾欲雨气腥臊，一黑千里飓起摇陵邱，飞虫细蚋经冬犹不死，炎飚毒雾白昼鸣鸺"；②衣食住行更是样样窘迫，"所供饮食，尤难下著，饭皆成颗，坚粒硬喉，鱼尚留鳞，锐芒螫舌，肉初沸以出汤，腥闻扑鼻，蔬旋洒而入馔，生色刺眸，既臭味之差池，亦酸咸之异嗜"；③"瘦妻娇女啼哭思旧土，一家四人卧床无一廖，半椽矮屋月费钱半万，风逼炊烟入户难开眸，木中虮虱① 王韬：《蘅华馆诗录》，卷三，"别上海作"。
① 王韬：《漫游随录》，卷一，第65 页。
② 王韬：《蘅华馆诗录》，卷三，"寄黄六上舍潘大杨三两茂才"。
③ 王韬：《弢园尺牍》，卷六，"寄杨醒速"。
人若锥利，爬搔肌肤往往至血流"。④苦不堪言，王韬似乎掉进了地狱之门。最使王韬苦恼的是，生性好动、喜交朋友的他如今面临着既无新朋又失老友的孤独之境。他认为香港是"其俗素以操赢居奇为尚，而放于礼法，锥刀之徒逐利而至"的地方，因此，绝少"雅流在其间"，"地不足游，人不足语"⑤而老朋友大多因王韬为清朝"通缉要犯"，害怕连累，不敢与之继续来往。他给朋友的书信有不少都落得"旧朋无一字之来"的有去无回的结果，他为此作诗自嘲亦嘲人说：谁惜寥天囚独鹤，翻嫌多事遣双鱼。
论交四海轻刘备，乞食穷途泣伍胥。
元修契顺从来少，赵德符林亦未逢。
一字惧为他日累，此才转赖导邦容。
文字岂必关科弟，风义原难望俗庸。①实际上，王韬此时自己也不愿以待罪之身与他人交游，他的诗中有"逢人怕问名"、"无求终岁闭门居"一类的句子。他将自己的名子"瀚"改为"韬"，表字"兰卿"改为"懒今"、"子潜"、"仲弢"等，将所居之处命名为"天南遁窟"、"弢园"等，似乎打算从此躲开多灾多难的尘世，韬光养晦、隐姓埋名地度过他的后半生。②英国领事为王韬提供了政治庇护，却没有提供他相应的生活资助。所以初到香港的他还没有条件做闭门修心养性的寓公。他必须走出门去寻找机会挣钱活口。英国传教士理雅各（James Legge）向他提供了这样的机会。
理雅各为英国的苏格兰人，1815 年出生于一个信奉新教的农民家庭。大学毕业后加入英国伦敦布道会，1839 年被该会派往马六甲（Maiacca）担任英华书院（Anglo Chinese col-lege）院长。 1843年，英华书院迁入香港，理雅各也一并随往①。理雅各受过专门的中文训练，有很高的汉语造诣，著有多本关于中国文化的著作，其中《中国人关于神鬼的概念》（Ihe Notions of the Chinese Concerning God and Spirits）、《孔子的生平和学说》（The Life and Teaching of Confucius）、《孟子的生平和学说》（The Life and Teaching of Mencius）、《中国的宗教：儒教和道教评述及其同基督教的比较》（TheReligions of China：Confucianism and Taoism）等在欧洲汉学界有广泛的影响。1358 年，理④ 王韬：《蘅华馆诗录》，卷三，"寄黄六上舍潘大杨三两茂才"。
⑤ 王韬：《弢园尺牍》，卷六，"寄穗垣寓公"。
① 王韬：《蘅华馆诗录》，卷三，"与人书不答"。
② 据洪深《申报总编纂"长毛状元"王韬考证》（载于《文学》第二卷第六号，民国二十三年）说，王韬共有别字五、别号十，即：元晦、仲弢、子久、子潜、紫诠、甫里逸民、瀛洲钓客、淞滨逋客、沪北宾萌、华鬓居士、遁窟废民、天南遁曳、泰东诗渔，欧西词客、淞北逸民等。近代中国学人，其别字别号之多，殆以王韬为最。
① 十九世纪中叶，香港共有三大书院，即保罗书院、大英书院，英华书院。其中以英华书院办得最为出色，主要教授西国语言文字和普通科学知识。清季洋务派人士唐廷枢等亦卒业于此。太平天国干王洪仁玕在香港时也与该院院长理雅各关系甚密。
雅各在英国在港大商人查顿（William Jardine ）和颠地（ LancelotDent）资助下计划将中国儒家经典四书五经译成英文，取名为《中国经典》（The Chi-nese Classic，）。这是一个宏大的文化建设计划，需要多方面的合作。在王韬未赴香港之前，理雅各的合作者有英国传教士湛约瀚（JchnChalmers）、留美学生黄胜等，完成了四书即《论语》、《孟子》、《大学》、《中庸》的翻译，名之为《中国经典》第一卷和第二卷。
王韬的到港使正在苦于"助译乏人"的理雅各非常高兴。理雅各曾到过上海墨海书馆，对王韬的学问和助译圣经一事有所了解。所以，早在王韬藏匿于上海英国领事馆时，理雅各就曾与麦华忙联系，邀请王韬来英华书院助译中国经典。王韬刚到香港，他就派人前来联络，"特为位置"，"优礼有加"。王韬在诗文中多次谈及理雅各在他走投无路之际对