对理查森早年生活的大部分了解都是来自他给朋友、家人以及偶尔接受记者采访时讲的故事，大家都知道这些内容应该有保留地相信。毫无疑问的是，他出身贫寒，生于1891年-他的母亲给他起名希德?威廉姆斯，与一个来过此地的福音传教士同名，理查森是南妮和约翰?伊萨多?理查森夫妇（Nannie and John Isadore Richardson）7个孩子中的一个。7个孩子中有3个不到7岁就夭折了。据1903年的一份地址簿记载，理查森家就在广场西部半个街区外，他们开了一家家庭酒馆。传说理查森家族的生意一直非常好，令相邻的店铺格外嫉妒。真实情况可能没有这么乐观。晚年的时候，理查森开玩笑说小时候家里很穷，他有时候就睡在桌球台上。

家庭故事表明，和他的朋友克林特?默奇森不同，理查森并不完全是个能干的人。16岁的时候，他在一家棉花打包厂接受了一份每天1美元的兼职工作，却因为懒惰被开除了。据雅典人传说，理查森以欠债不还著称。有个故事说一家杂货店老板警告售货员，如果再赊给理查森一瓶可口可乐，就开除他们。晚年，理查森喜欢讲述的一些故事是关于他的父亲如何想方设法改正他的毛病的。

理查森说，8岁的时候，他的父亲给他一家繁华地段的小店让他学习经商。后来约翰?理查森提出用一头公牛交换小店，希德就接受了-结果发现他有了一头肥壮的公牛，无处安置，也没有母牛来交配繁殖。“通过那第一笔交易，父亲给了我一个惨痛的教训，”理查森有一次说，“但是他让我开始了生活中的交易。”理查森的另一个故事说的是9岁的时候，父亲提出他该有一匹马了。

“太好了，”希德说道，“你什么时候给我？”

“我不准备给你，”他的父亲答道，“你需要从我这里买下它。”

希德说他忙活了一整个暑假，给桃子装箱，来筹集这笔钱。结果买到手后却发现，那是一匹瞎马。

“爸爸，你骗我！”他大声喊道。

“我没骗你。”他的父亲说，“别人会用各种手段对付你，你最好现在就搞清楚。”