汤显祖在万历十九年（1591）五月十六日贬官，由南京启程，溯长江先回江西。好友邹元标为他送行的文章《汤义谪朝（潮）阳尉序》说贬所在潮阳；沈璟的弟弟、南京刑部主事沈瓒的送行诗《汤词部义仍上书被谴长句送之》只说"谪向边城为小吏"。这是因为临走时贬所还没有确定。
汤显祖走了后，一切事情都由至亲好友刘应秋在上面照料。刘应秋江西吉水人。他是汤显祖的同年进士，又约定为儿女亲家，现任南京国子监司业。刘应秋将每期邸报、朝廷动静、有关的章奏都一一寄给他。贬所在新任吏部尚书陆光祖到职后确定为徐闻，地方还不错。四十多年前，陆光祖新中进士出任濬县知县，就以赦免著名的文士卢柟而得好评。看来命运之神也会对不幸者青眼相看。汤显祖南下途中在采石矶、芜湖、南陵、青阳都曾经给刘应秋去信。他在皖南旧地重游，怀念故友，有的已经去世，有的天各一方，不胜惆怅，亏得有新的遇合和交往使他在旅途中得到安慰。刘应秋替他安排，如果在广东久居，不妨带家眷同去，如果情况不好，打算请假回家，那不如一个人先去。贬官的凭单七月初七日才到南京吏部，刘应秋托便人带往抚州，以资节省。刘应秋探听当地情况，知道广东人喜欢晚上吃夜餐，这样容易得病。他一再叮嘱，"早无虚腹，夜不宿饱"，这样就不会得瘴气，可以保持健康。根据他的估计，只要到差缴还凭单，很快就会回来。陆光祖上台后，朝廷面目一新，可虑的是他到任不到一个月，已经四次受到弹劾，这倒不是吉兆。
汤显祖回家染上一场疟疾。在发高烧时，他梦见自己只一尺高，在破屋子底下，月光细碎黯淡，急急忙忙摸索门户，亏得父亲把他叫醒。
好友丁此吕由陕西副使庄浪兵备升浙江海道副使，便道回家，给他带来枸杞、葡萄干等西北土产。他和比他大十二岁的帅机被称为"二人同心，止各一头"（《赴帅生梦作》），两人连头巾的尺寸都分毫不差。帅机任河南彰德府同知，这时凑巧在家，得以相聚。伯父尚质，喜欢唱曲，在他病后特地在园中设晚宴招待，兼有送行之意。汤显祖在九月初从临川城南瑶湖下船，当夜在舅父家住宿。在少年时读书的从姑山赶上重阳登高的节令，可惜罗汝芳老师已经去世三年。他还可能应邀到吉水刘应秋的老家一过。与其说是贬官赶路，不如说到处游山玩水。
在赣州郁孤台，他和送行的知府黄钟梅话别，到渡口他又接到知府差人送来的题诗扇面。大庾岭是出入江广的要道。传说南飞的鸿雁到此地折回。岭路两旁都是梅树，上面设有梅关。《牡丹亭》故事特地安排在南安府（大庾）。第十出《惊梦》杜丽娘念诵的《乌夜啼》词说："晓来望断梅关，宿妆残。"可见这次旅行对汤显祖印象很深。
过岭后在保昌（今广东省南雄县）上船，顺浈水、北江而下。经始兴、韶关、曲江到曹溪。曹溪南华寺是禅宗南宗的开创者（六祖）慧能禅师的卓锡处。刘应秋来信要他探看六祖的衣钵是否还在。汤显祖的诗《南华寺》二首说；"西天宝林只如此，上有菩堤树一株。"在他看来，即使真的身到佛国，那也不会比这里更好。
汤显祖有两位少年同学，饶仑和周宗镐。饶比他高，周比他矮。饶仑和他三年同窗，一起睡觉。被褥不分，鞋袜相共。又是同年进士，曾任广东省顺德知县，后升御史。汤显祖在南京得到他的讣告，昏倒在床上。不怕同事耻笑，替他带素半年。周宗镐失意潦倒，汤显祖贬官时，周六十岁，到船上送行。过岭后，汤显祖梦见他来诀别，醒来为他和饶仑写了一篇《哀伟朋赋》，抒写少年时的真挚友谊，悱恻动人。
出飞来峡就是清远县。汤显祖在这里只写了一首送行诗，看不出他对此地有特殊的感情，有人以为