可在“左”的思潮影响下，天倾家亡。此后，不顾移民实际困难，“毁小家为大家”， 原计划的安置费一降再降。浙江省委决定新安江水库移民的安置费由每人平均309.12元降为150元，不到原来的一半。

1958年秋天，在“大跃进”的高潮中，当时建德地区专员梁长庚等人更是推翻了原来的“移民方案”，认为可以就地安置，节约开支，搞“移民大跃进”。建德地委在给省委、省政府的报告中，提出了“采取每位移民120元包干，公社按每位移民50元包干”。认为采用“大行军”移民的办法--连移民车辆运输费都可以“节省”。人民公社化进入了高潮，集体生活，吃饭有食堂，正在跑步进入共产主义，连生活用品都可以不必带了。即所谓“多带好思想，少带旧家具”，“行动军事化”。其时，“大跃进”和浮夸之风正劲，秋天，大饥荒开始在一些地方蔓延，无地无产无序的大移民也进入了高潮，扶老携幼，离家别土，在残酷的饥馑岁月里，一些人甚至悲惨地饿死。

分管移民的省委常委、副省长杨思一，并没有等到移民大规模动迁，他在1957年10月被划为“右派”，和原浙江省省长沙文汉等一起，被打成“沙、杨（思一）、彭（瑞林）、孙（章禄）右派反党集团”。究其原因，因为他与沙文汉同为浙江人，为当地老百姓考虑多了，有“地方主义”之嫌。

自杨思一被划为“右派”后，家门口已布了岗哨。他患有高血压，眼底出血，几近失明，经常大会批小会斗，到半夜才能回家。同年11月17日晚，杨思一脑溢血加重，家中电话打不出去，也找不到车。天亮才送医院，昏迷两天后去世，终年56岁。杨思一这位在1930年入党、在国民党监狱里坐过5年牢，并担任过第三野战军师政委的共产党人，就这样含冤离开了人世。

和三门峡水库移民一样，新安江移民也是我国遗留问题最多的一次水库大移民。淳安的移民被分散到华东各地的穷乡僻壤，安插到江西、安徽，但最多的还是在浙西地区。这些迁往他乡的淳安人，都被称作新安江水库移民，向来以经商致富，以耕读传家为荣的淳安移民，如今一贫如洗，满腹辛酸，能肩扛担挑的被褥杂物饭碗瓢盆，就是那么几件，如同逃荒要饭的流民。在迁入地群众看来，他们是一群语言不通、形容憔悴、贫无立足之地的“难民”，受尽了冷眼，甚至歧视，以致后来出现大规模的倒流回迁。--这种情形持续了三十多年，直到上一辈移民老去，改革开放后经济发展，年轻一代人不再守望已经无望的故土，陆续进城务工。

新安江几十万移民问题，2000年后成了中央决定调整水库移民政策的动因之一。