可能是他无法控制自己的性欲和情绪冲动，辛格的私生活其实比前面描绘的那个马修斯更放纵，几乎就是一个放荡不羁的货色。他12岁就离开了在纽约北部奥斯威戈的家，始独立生活，他的父亲是德国移民，他的继母不疼爱他。辛格打过很多零工，曾在机械厂做过学徒。但是从18岁以后，他喜欢的是戏剧和一个又一个的女人。“辛格爱女人是为了得到她们的身体，”传记作家鲁思·布兰登（Ruth Brandon）写道，“而不是为了任何抽象的东西，他对女人们的思想没有兴趣。”他至少有6个合法妻子——在摄影技术普及之前的日子，很少有狗仔队能威胁到家庭的隐私。1830年，在他19岁时，他有了第一任妻子 ——15岁的凯瑟琳 ·玛丽亚·黑利（Catharine Maria Haley）。7年后，他撇下凯瑟琳和两个孩子离开罗切斯特，在巴尔的摩说服18岁的玛丽·安·斯庞斯勒（Mary Ann Sponsler）与他同居。她是冒牌的辛格夫人，是顺从的伴侣，忠实地生活在辛格的谎言里；她一度在辛格的流动剧团演出，20多年来在小镇、在城市为辛格生养了很多孩子。而在纽约，在与斯庞斯勒同居11年后的1849年，辛格同时秘密地在同一座城市有了第三个、第四个家庭。在第三个家庭，他是梅里特先生，与玛丽·沃尔特斯（Mary Walters）有个孩子；在第四个家庭，他是马修斯先生，与另一个玛丽，即麦戈尼格尔（McGonigal）生了5个孩子。无论在谁的床上，喊一声“玛丽”，都不担心穿帮。

其实，穿帮难免，玛丽 ·斯庞斯勒就几乎因此被勒死。那是发生在1860年8月一个明媚日子里触目惊心的一幕。她正沿着第五大道散步，就在后来安置6个辛格家用马车之一的地方，一辆敞篷马车迎面驰过，她猛然瞥见马车上幸福的一对儿。他们是“马修斯先生和夫人”——也就是艾萨克·辛格和玛丽·麦戈尼格尔。斯庞斯勒一阵眩晕，当街大骂。当玛丽·斯庞斯勒回到家（第五大道14号的一所豪宅），怒不可遏的辛格正等着她，把她打得不省人事。他们的女儿沃莱特试图干涉，也被打得意识不清。为躲避罪责——他因为恶意伤害被判刑6个月——辛格避难到了欧洲，麦戈尼格尔19岁的妹妹凯特宽恕了他。他留下了一张便条，一看就是文盲写的缺乏诚意的留言：“我的私事儿（虽然是罪有应得的）悬在我的头顶上，让我的灵魂（厌倦），摆在我前面所能做的，就是暂别所有的牵挂，去尽力（使）我的悲伤与负担尽可能减轻……”

至少有5个女人认为艾萨克·辛格是自己的丈夫。这位名为伊莎贝拉的女人是他最后一任（合法）妻子。她跟自由女神很像吧？