小说以殖民地时期新英格兰生活为背景,讲述了一段在没有爱情的一段婚姻之外,三个主要人物的命运。 女主人公赫斯特在移居北美的途中,她的丈夫失踪,她孤身流落到一个陌生的城市里,在那儿,她认识了一位年轻牧师,两人彼此相爱,她怀孕生下了女儿。这件事触怒了清教徒社会,她因此抓了起来,胸前被戴上了象征耻辱的红A字,怀抱孩子站在刑台上示众并接受审问。而审问她的竟是那个年轻牧师…… 台下,一个相貌奇特的神秘人目睹了这一切。而后,年轻牧师突然得病,神秘人自称医术不凡,并很快成为了他的医师和密友,隐秘的真相逐渐浮现…… 小说以人道主义的悲悯情怀,层层深入地探究了有关罪恶和人性的各种道德、哲理问题,全书以监狱和蔷薇开场,以墓地结束,充满丰富的象征意义。