史沫特莱在纽约卖文为生的打算未能实现，演说的微薄收入成了她生活的惟一来源。经济上重新陷入困境，身心也处在极度疲劳的状态下。《中国的战歌》虽然已经修改润色完成，但下一步的创作计划却无从实现。她必须设法改变生活的环境。
索伯格·布伦丁在纽约以北的纽派尔兹有一个家庭农场，索伯格叫史沫特莱住到那里去。史沫特莱很高兴地同意了。
从小在农村长大的史沫特莱，本来就是大自然的女儿，她对农业劳动有一种与生俱来的眷恋之情。一到纽派尔兹，她就放手在田野上大干起来。看到果树在她的培养下开花、结果，小鸡在她的照料下孵化出壳，她感到无限喜悦。她每天的主要工作除了照管果树，还要把成千只鸡蛋分类，包装起来。正当这位过去的弟媳妇干得挺欢的时候，索伯格却认为她自己已经干够了，经常跑到纽约去逛大街，史沫特莱把全部农活都包揽了起来，累得腰都直不起来了。史沫特莱只去过一次纽约，是应邀到军队电台作短波广播，讲中国抗日军队怎样与日本法西斯军队艰苦作战。广播结束后，军队演奏中国抗日军队进行曲。然后她到格林尼治村看了露天的当代抽象艺术展览。抽象艺术作品使她困惑不解，她说，我不属于这个艺术世界，我仅仅是个农业劳动者。回到纽派尔兹，她又热心地干起了农活。她在农场里一共干了四个月，到七月初，她开始考虑离开纽派尔兹，找一人能把全部时间和精力用来从事新的创作的地方。她在纽约曾应她的好朋友评论家甘尼特的要求写一个剧本，她已经有了初步的构思，打算写一位中国官员在抗日战争中面临各种政治抉择的剧本。
在纽约北面的萨拉托加斯普林斯郊外纽约温泉附近，汽车约走三四个小时路程的地方，有一个名雅都的山庄，是已经去世大约50年的一个富豪的大宅邸，现在原封不动地保留了下来，成了公共组织的财产。由基金会资助，邀请文学、美术、音乐界的名流到山庄去免费度假、创作，成为有名的创作、休养基地。史沫特莱的老朋友评论家马尔科姆·考利劝史沫特莱向基金会提出申请，出版家克诺夫也从中帮忙，史沫特莱被接受了。1943年7月，她高高兴兴地搬到雅都山庄住下。
8月，史沫特莱在给艾诺·泰勒的信中是这样描写雅都山庄的。
这里有说不尽的美……这片领地里有一片大湖，为其上的森林投下的阴影所遮盖。大厦前面，在一棵高大的挪威云杉的树影里，有一座宏伟的喷水池……大厦的建筑具有一种奇特的混合风格，但其主体和罗马尼亚皇宫的格调一致。我们每人在大厦里都有一个房间，有些人的卧室还附有工作间。松林里还有很多小木屋，散在各处。有些人占有这些木屋，我就有一间谷仓，改装成工作间了。
史沫特莱住的这幢两层的小木屋，位于庄园里一个比较偏僻的角落，因为长期没人居住，房子周围尽是荒草石砾。史沫特莱找来一把铁锹，把房子周围的土翻松，除去杂草，铲去石砾，又找来肥沃的泥土换上，然后撒上各种各样的花籽。过了不久，屋子四周就成了一个大花圃。工作空闲的时候，她就给花浇水、除草。花开了，闪闪发光的露珠在花瓣的柔柔的绒毛上滚来滚去。在距离小木屋稍远的地方，她还开辟了一小块菜地，种上黄瓜和西红柿。她喜欢摆弄土地，种蔬菜很在行。在延安的时候，她就在自己住的窑洞前面的一小块黄土地上，收获了不少美味的西红柿，使八路军干部的家属们又羡慕又佩服。史沫特莱生活喜欢整洁，她不能容忍屋子里的东西乱堆乱放，书桌总是收拾得整整齐齐，连窗帘也取下来洗净熨平。在楼上书房正面的墙上，端端正正地挂着**、朱德和周恩来的像。**光泽的脸上，一双慈祥的眼睛，眼神亲切、机敏而自信，表现出他坚强的意志；朱德脸膛黧黑，平易近人，像个农村老大爷，宽宽的鼻头，一笑起来就显得更宽了，他的神情稳重而有幽默感；周恩来与朱德形成鲜明的对照，他是一位知识分子型的美男子，独特的浓眉下，一双大眼睛闪着智慧的光芒。
史沫特莱坐在书房里，默默地凝视着这三位伟大人物的照片，在中国抗日根据地的战斗生活一幕幕地重现在脑海中，她动笔写那个初步构思好了的以中国抗日战争为题材的剧本。
雅都山庄的生活既严肃又轻松愉快，和史沫特莱一起住在那儿的还有12位作家、艺术家。和史沫特莱最要好的是两位黑人，女诗人玛格丽特·沃克和剧作家朗斯顿·休斯。沃克是第一位受邀请入住雅都山庄的黑人女作家，她感到许多白人作家好像有意避开她，而史沫特莱毫无种族偏见，和她亲密相处。休斯是史沫特莱的老朋友，过去他们在苏联和中国都见过面。他的一出历史题材的大型剧作曾在麦迪逊花园剧场以250名演员的巨大阵容露天演出，这是一部反映黑人种族史的大型歌舞剧。史沫特莱正在为自己的剧本写得不够满意而苦恼，特别羡慕休斯的才华。最使史沫特莱激动的是她在这里又见到了过去的好朋友，丹麦女作家卡琳·米凯利斯，她的祖国已经陷入纳粹的铁蹄之下，她是作为难民逃出来的。负责雅都山庄的日常管理工作的是基金会主任伊丽莎白·埃姆斯夫人。战时美国物资匮乏，她尽了最大的努力使雅都山庄的住客们生活得舒适满意，并且严格保证从清晨到下午四时享有绝对的安静。在这段时间里，作家艺术家们各自躲到自己喜欢的地方，从事文艺创作。午餐很简单，匆匆吃过就各自离开；晚餐比较丰盛，气氛也热闹，大家可以边吃边谈，一直到很晚才打着手电筒回住处。
最有意思的是定期举行的鸡尾酒会。由每位住客轮流作主人。有一次轮到史沫特莱开鸡尾酒会，她把气氛搞得非常热烈，大家喝了许多马丁尼酒，都醉醺醺的。酒会进行到一半，广播里传来了墨索里尼下台的消息，于是大家又喝了几杯。史沫特莱给艾诺的信中生动地描写了这次酒会的情景：
我已经很久没有这么彻底的酩酊大醉了！我想这次我那庸俗的本性发作了。这酒会实在是尽情放肆的场合。由于我们白天只吃了一点午饭，酒会是下午五点半举行的，只喝了那么一点酒就足以上到耳根了……酒会举行到一半，广播里传来墨索里尼下台的消息。这使每个人又多喝了一两杯鸡尾酒。对于墨索里尼和新上任的总理，我是不让自己那么兴奋的……我看不出由一个流氓取代另一个流氓能有多少意义。
史沫特莱在雅都还接待了中国来访者，女作家赛珍珠向她介绍了当时在美国的中国女演员王莹。王莹使史沫特莱想起了在延安给她当翻译的吴莉莉，她同时又是一个很好的话剧演员，想起了延安的戏剧界朋友和新四军的游击队剧团。她把王莹当作写剧本的主要顾问。她认为要把剧本写得有真情实感，要探讨很多问题。她向王莹提出了这些问题：两个已婚的中国知识分子之间要是产生了爱情，他们将会怎样表达？如果一位年轻的中**官被一名外国妇女所吸引，将会产生怎样的结果？他们的爱情能有希望吗？史沫特莱请王莹和她的未婚夫谢和赓一起探讨这些问题。后来王莹在几封信里详细地给予了答复，对史沫特莱的构思很有帮助。但史沫特莱总觉得自己缺乏写好一个剧本的文学素养，她决定停下笔来，跟剧作家伦纳德·埃利希合作，等他从美军通讯队退役后继续写。
1943年9月《中国的战歌》终于出版了，在纽约的书店里销路很好。正式出版那天，电台两次播放了访问史沫特莱的节目。朋友们为她举行小型宴会。《纽约时报》、《论坛报》、《新闻周报》最初的书评都是极为肯定的。史沫特莱心里充满了胜利的喜悦。
但是，对史沫特莱书中的观点有异议的人还是不少的。最有代表性的是史沫特莱的一位在上海时期认识的朋友、女记者格雷斯·库克。她是一位力求把新闻工作者的职责和母亲的职责结合起来的有志气的妇女，她认为史沫特莱过分强调了妇女必须为社会作贡献的一面，对想当一个普通的妻子和母亲的妇女表示了“透骨的轻蔑”。她写道：
我该对辛西娅（格雷斯的女儿）说些什么呢，艾格尼丝？我们需要像你这样的领袖人物，但你为我们这些普通妇女设计了什么活动方案？你憎恶自己儿时没受到成人照顾，你对孩子们抱有很深的温情。该让国家抚育他们吗？即使那样也会有类似你“从来没有予以赞同”的性关系问题的。我们该用什么来取代婚姻以繁衍世界人口呢？或者说用不着，那么，又何以费事来拯救世界呢？
史沫特莱理解格雷斯·库克，认为她提出的问题具有关键性。她回答道：
格雷斯，你带着讽刺说为人之妻不可能把孩子扔下，像我那样跑到八路军那里去……但是，军队里有很多已婚妇女，在战火地带里我见到无数妻子和母亲，她们在尽母亲的职责时，也是在打破妨碍女性本身发展的镣铐……
对于新一代的人来说，会有一天克尽母性的职责被认为是值得保护的工作——但是总的来说，那也只不过是公民义务里的一项工作而已。
1943年10月，史沫特莱在纽约附近的大学作巡回演说，首先在斯基德莫尔大学，她形象地描绘中国人民怎样与力量悬殊的日本人作斗争，怎样英勇牺牲，她要求听众去检验美国的对华政策里是否有种族主义。大学的校报《斯基德莫尔新闻》评论道：“根据经验，我们可以告诉你们，她（的演说）比一场富于刺激性的电影还要令人感到震颤，比本地出产的沃顿啤酒还要令人陶醉。”12月史沫特莱又开始了第二次巡回演说，这次是到南方的乔治亚州。
史沫特莱在南方，看到南方黑人处境十分悲惨，他们的人格处处受到污辱，这激起了史沫特莱的怒火。有一次史沫特莱去乘公共汽车，汽车靠站时，大雨倾盆，司机喝令站上的十多个黑人后退，让两名漂亮的白种妇女先上车。两人上车后，司机朝她们看了一眼，从她们的肤色和头发的颜色看出了她们血管里有黑色人种的血。司机一拍大腿，笑着对白人乘客嚷道：“这不是闹笑话吗？我以为她们是白的，原来她们也是黑鬼！”那两名妇女和车上所有的有色人种乘客都气得愣住了，史沫特莱也气愣了。几个白人乘客放肆地哈哈大笑起来。这时候一个坐着的北方白人士兵指着身边的空座，让一名黑人士兵挨着自己坐下。黑人士兵坐下了。司机狂怒起来，猛地刹住车，对黑人士兵大喝一声：“黑鬼，站起来！”那黑人士兵站了起来，白人士兵骂了一句：“真见鬼！”随即也站了起来。司机气得拳头发痒，可是没敢动手，因为那白人是个穿军服的；如果是个平民，那真要闹得不可开交了。史沫特莱看着这一幕，怒火中烧，她真想去扇那司机两个耳光，甚至把他杀死。她想，也许耶稣基督看了可以忍受，但是我却不能。可是她什么也没干，因为白人曾经警告过她，在美国南方，这种场面大家都已经习以为常，一个白人万一要有什么抗议行为的话，最终只能使黑人遭更大的罪。史沫特莱为不能有所表示而憎恨自己，觉得自己成了一名人类的叛徒。
史沫特莱在南方一所黑人大学里演讲，一位白人妇女留她住宿，她谈到这所大学里的黑人时说：“这里的黑人挺好，一点也不闹事，行为端正。”言外之意，是说黑人一般总是要“闹事”的，而且行为也“不端正”。
回到雅都山庄以后，史沫特莱不再保持沉默了，她满腔义愤，她感到南方黑人需要她的帮助，就像她一贯为之贡献力量的外国民族解放运动需要她一样。路易斯安那州一位妇女发起为“有色人种”开办图书馆。史沫特莱和纽约、洛杉矶的在图书馆工作的朋友联系，给她寄去许多书籍，并在报刊上发出呼吁，发表文章 ，有一篇文章刊登在《洛杉矶论坛报》上，标题为《白人作家对南方偏见的义愤》，文章结尾说：“我们不能把人当作狗来对待，而又期待他们具有人的行为。”
史沫特莱反对种族主义的言行引起了联邦调查局的注意。乔治亚州的众议院议员约翰·S·吉布森把史沫特莱的活动和自己的异议记录到“众议院记录”里，把史沫特莱的言行和国际**运动联系起来，建议联邦调查局进行调查。他给联邦调查局的报告中这样说：“以前我提请众议院注意有那么一个艾格尼丝·史沫特莱对南方进行了恶毒的攻击……她是好几本表现**光荣和伟大事业的书的作者……她是《中国红军在前进》一书的作者，该书以炫耀的语言描写红军怎样在革命中和非白人一起去打败白种人。她描写了**革命所带来的巨大利益。”这位议员把中国革命理解为“非白种人打败白种人”。在美国，特别是在美国南方，这种观点具有一定的代表性，所以联邦调查局接受了吉布森的建议。
1944年9月，联邦调查局把跟踪史沫特莱的任务交给了雅都山庄的总管伊丽莎白·埃姆斯夫人，要她提供她可能替史沫特莱打印的各种演讲或通信的副本，并随时报告史沫特莱的行动。埃姆斯夫人是史沫特莱的好朋友，她有没有完成这个任务，完成到何种程度，就不得而知了。