托尔斯泰于1828年8月28日出生在亚斯纳亚·波利亚纳。他一周岁半的时候，妈妈去世了。妈妈去世的原因，谁也说不清。有说得热病死的，也有人说她得的病是大脑炎，她的一个老女仆则说她荡秋千时一块板掉下来打了她的头一下，因此得病死的。
托尔斯泰的妈妈不仅文化修养极高，而且对子女的教育也非常重视。这从她为大儿子尼古拉做的品行记录中可以看出来。尽管忙于照管孩子、做家务，她依然保持着原先那种爱幻想、富于艺术情趣、有些多愁善感的性格。她研究音乐，博览群书，甚至还写过两首诗，歌咏对丈夫的爱。
妈妈死的时候，托尔斯泰很小，但在他的想象中她依然栩栩如生，说：“从她那大大的眼睛里闪耀出一种善良而畏葸的光芒。这双眼睛使她那瘦削而带病容的脸光彩照人，因而使它变得更加美好。”托尔斯泰还说：“在我的想象中，她是那么高尚纯洁，简直像神灵一般；因此在我的一生中，当我同诱惑我的东西作斗争时，我总是向她的灵魂祈祷，请求她给我帮助，而这种祈祷经常是见效的。”
妈妈去世以后，五个孩子便由托尔斯泰的父亲尼古拉和姑妈们照管。
托尔斯泰除了两个亲姑妈以外，还有一个远房表姑——塔季扬娜·亚历山大罗夫娜·叶尔戈利斯卡娅（以下简称塔季扬娜），她是托尔斯泰祖母娘家戈尔恰科夫家的远房亲戚，双亲去世后由托尔斯泰祖母收养。
关心并教育孩子们的主要责任落到了塔季扬娜的肩上。用托尔斯泰的话来说，她对托尔斯泰生活的影响仅次于父母。她头发粗硬，乌黑，鬈曲，扎着一条大辫子，玛瑙般黑亮的眼睛充满着生气和精力，形象十分招人喜欢。她为人正直刚强，富有自我批评自我牺牲精神，善于爱人，有强烈的责任感。她跟托尔斯泰的父亲同岁，爱托尔斯泰的父亲，托尔斯泰的父亲也爱她，可是他们因为穷没能结婚。托尔斯泰的妈妈死后，托尔斯泰的父亲曾向她求过婚，但她没有答应，原因是不愿破坏自己跟他和孩子们之间的纯洁而高尚的关系。
关于塔季扬娜表姑，托尔斯泰在回忆录里写道：
“当我开始记得她的时候，她已40开外了。我从来没有考虑过她的外表是否漂亮。我就是喜欢她，喜欢她的眼睛、她的笑容以及青筋嶙嶙的黝黑的小手。”
“塔季扬娜·亚历山大罗夫娜对我的一生有着十分巨大的影响。这影响首先在于：早在儿童时代，她就教会了我在精神上享受爱的欢乐。
她不是用语言教会了这一点，而是用整个身心把爱传给了我。
“我看到并体会到，她由于热爱人而生活得很美好，于是我懂得了爱的幸福。其次在于：她教会我体会到了宁静孤独生活的乐趣。”
托尔斯泰在塔季扬娜表姑和保姆的照管下，跟妹妹玛丽亚和他家收养的小姑娘杜涅奇卡在一起生活到五岁。后来他被安排到楼下跟哥哥们住到一起，由德国家庭教师列斯谢利来照管。
大哥尼古拉富于幻想，善于讲故事。他讲的蚂蚁兄弟和吹牛山这两个故事，给5岁的托尔斯泰留下了不可磨灭的印象。后来他回忆说：
“总之，当时我5岁，三哥米佳6岁，二哥谢尔盖7岁；大哥尼古拉向我们宣布：他有一个秘诀，若是有朝一日把这个秘诀公开，利用这个秘诀，