1954年始在海拔一千米的东谷芦林盆地筑坝蓄水，1955年建成称芦林水库，又名东湖或芦林湖。高峡出平湖，群山环抱，湖水碧清如镜，山色倒影，相映成趣。这里似发光的碧玉镶嵌在林荫秀谷之中，在缥缈的云烟衬托下异常美丽。

庐山会议期间，毛泽东经常到芦林水库游泳。7月下旬的一天，毛泽东的卫士给王光美办公室的刘振德秘书打电话，说毛主席邀请王光美到芦林水库游泳。王光美赶紧找出游泳衣。临出门前王光美觉得有点儿冷，又找了双丝袜穿上。

王光美到芦林水库的时候，毛泽东正在和身边的警卫战士等一起游泳。王光美和毛泽东打了个招呼，就下去游。期间，王光美问毛泽东：“看我游得怎么样？”毛泽东说：“你游得及格。”

休息的时候，毛泽东关切地问王光美：“少奇同志身体怎么样？”王光美告诉他：“少奇同志犯了肩周炎，还没有好。最近因为工作繁忙，他感到很疲劳，所以到了这里也没有参加什么活动。”毛泽东听完后，认真地说：“请你转告少奇同志，不要搞得那么紧张嘛！开完会后让他找个地方休息休息。”王光美频频点头。

有一天，毛泽东的秘书徐业夫电话通知王光美和孩子们去芦林水库游泳。她们到了那里，见到江青，还有江西省委第一书记杨尚奎的夫人水静、安徽省委第一书记曾希圣的夫人余叔。大家说说笑笑，江青还为她们照了张合影。不一会儿，不知什么人打来电话，告诉江青说天上的云彩过来了，请她快去摄影。原来江青已经在庐山仙人洞选好了景，派人在那里等着，云彩一来就去照。江青立即撂下她们走了。于是王光美等下水库与毛泽东一道游泳。

游完泳上来已经是晌午，毛泽东留王光美等吃饭。饭摆好了，江青还没有回来，催了两次，仍不见踪影。大家说：“请毛主席先用餐，好早点儿休息，我们等江青同志来了再吃。”毛泽东说：“咱们一起吃吧！”

大家正准备就餐，江青回来了。她一见这场面很不高兴，立即沉下脸来，生气地说：“文章是自己的好，老婆是人家的好。”陈长江等一怔，毛泽东则哈哈一笑。王光美没想到，江青当着这么多人还有孩子们的面，说出这样的话，很是意外，只好装没听见，忙给她让座，问她摄影的情形，才使她平静下来。

7月29日，毛泽东在会上提出，是否召开一次中央全会，目的是做两件事：一是修改指标，二是解决路线问题。随即中央派专机限期将未上山的中央委员和中央候补委员等接到庐山出席八届八中全会。

没有那么多车送中央委员和中央候补委员等上山，怎么办？之前会务组从上海调运三十多部车，从湖南借来三十多位司机。另外，江西省每个厅调来一部车，会议用车主要是“华沙”、“伏尔加”等。会务规定，中央委员两人坐一部车，只有年纪最大的谢觉哉和身体太胖的李涛上将是例外。共有三四十部小车送参会代表同时上山，根据安排，每隔一段时间放行一部车，沿途的九江老百姓都驻足观看，他们说那天晚上的车子“就像玩龙灯一样，一辆接一辆，好热闹”，九江人从来也没有见过这样的场景。陈长江这时感到已被戒严的庐山一时热闹起来了。