左氏在当地不仅是一个大姓，而且代有名人。左宗棠的高祖左定师，是县学生员（俗称秀才）；左宗棠的曾祖左逢圣，字孔时，也是邑庠生（邑是文人对县的称呼，庠生是府、州、县学生员的别称），为人乐善好施，在饥荒之年，他常常与人一起施粥与穷人；左宗棠的祖父左人锦，字斐中，为国子监生。直到左人锦这一代，左家的经济尚能自给有余。但是到了左宗棠的父亲左观澜这一辈，情况却大不如以前了。祖遗田产数十亩，全家可收租谷48石，扣除其中的四分之一作上交官府的各种苛捐杂税，实际所获抵不上当地一个塾师一年的收入，因而经济基础比较薄弱。一遇水灾旱灾或婚丧疾病，马上就会陷入困境。嘉庆十二年（1807年），湘阴一带大旱，家里不得不“屑糠为饼食之”。左宗棠出生之时，母亲已38岁，乳汁不足，又因生活艰难，请不起奶妈，母亲只好“嚼米为汁”来喂养。婴儿日夜啼哭，“脐突出”。成年后发胖，肚子大，但“腹大而脐不深”。左宗棠后来回忆自己青少年时代家境的拮据时写道：“吾家积代寒素，先世苦况百纸不能详。”道光七年，左宗棠母亲病重，医嘱须用人参，其父借债买得几钱西洋参、高丽参，仅蒸得一羹匙。母亲死后，其父又借钱殡葬，医药费、殡葬费等共计欠债二百几十两银子，直到四五年后才得以偿清。左宗棠为此深受刺激，曾赋诗一首，追念他父母在世时家境清寒的情景。

十数年来一鲜民，孤雏肠断是黄昏。

研田终岁营儿哺，糠屑经时当夕飧（sūn）。

五鼎纵能隆墓祭，只鸡终不逮亲存。

乾坤忧痛何时毕，忍属儿孙咬菜根。

成长在这种家庭里的左宗棠，与一般纨绔子弟截然不同，他比较了解民生疾苦。正如后来他在奏折中所说：“臣来自田间，素亲穑事，穷檐苦况，知之颇深。”这使他具备了承继儒学民本主义优良文化传统的思想土壤。在青壮年时期，他就比较注意社会问题，为官后仍比较重视农业和农民生计，这都与他的家庭出身和曾经比较艰窘的生活环境有直接的关系。他本人虽官至相位，生活却一直很俭朴，除非宴客，不用海味；平常只穿布袍。他不仅自己不过分享受，也不许子孙铺张浪费。在他生了四个女儿之后，得了第一个儿子，没有雇乳母，后来得了第一个孙子，他也不许雇乳母，那时他已是声名显赫的浙江巡抚了。

前文已述左宗棠有两个哥哥、三个姐姐，但唯有他是祖父、祖母、父亲、母亲的宠儿。3岁时，他就跟随祖父左人锦在梧塘塾屋启蒙读书，《三字经》、《百家姓》、《千字文》均能全文背诵。有一次，他和祖父到家宅后面的土山游玩，采集了一些毛栗子，祖父叫他捧回家和哥哥、姐姐一起分吃。他到家后全部分给了哥哥、姐姐，自己却一颗也不拿。祖父对他从小能知谦让、效仿孔融四岁让梨的故事，十分高兴，说他不贪、不自私，将来必能成大器，期望他发扬光大左家门风。母亲也特别喜欢他，说他有万里封侯的希望，至于那两个哥哥，只能做教书先生。