《瀛环志略》一出版，便在社会上引起轩然大波。徐继　自称是“甫经付梓，即腾谤议”。书中对西方世界的叙述和评论招致了封建权贵的弹劾讨伐，就连曾国藩都认为“徐松龛中丞著书，颇张大英夷”。

1850年，徐继畬因为英国两名传教士租赁神光寺屋一事遭到在福州养病的林则徐等人弹劾，终因言官弹劾势重，于1851年被革职回京，降职位太仆寺少卿，一个类似副弼马温的养马闲差。1852年，吏部追查徐继畬在巡抚任内逮捕罪犯延迟一事，徐继畬因此被彻底罢官，回到山西故里。

徐继畬作为福建巡抚，一个相当于今天的福建省长的清朝大员因这么一件小事就被免职，与咸丰皇帝继位前后清政府内的强硬派重占了上风的背景息息相关，道光后期失宠的林则徐就是被当作为一张硬牌来使用的。徐继畬的《瀛环志略》让他成了清廷许多强硬派官员眼中“投降派”的代表人物，被批“称颂夷人，献媚夷酋”。

然而，徐继畬及其《瀛环志略》的影响是深远的，《瀛环志略》首先在当时的一些士大夫和有识之士中造成很大的影响，大学士祁隽藻、云贵总督吴文路等均向同僚推荐此书，当时福建、浙江地区的大员不但称赞此书，而且接受了徐的进步思想。19世纪60年代后，洋务派的一些官员开始重视《瀛环志略》，并有不少人受到了此书的启发和影响，如首任驻英公使郭嵩焘等人。康有为、梁启超都记述自己是从《瀛环志略》受到最初的西学启蒙。清末十多年《瀛环志略》一版再版，读书人“家置一编”，就连慈禧太后辛丑回京后，也手持此书，“展诵不辍，意谓可窥外人情事”。革命派则从西方的共和制及华盛顿的事迹中受到极大鼓舞。

徐继畬称颂华盛顿的文字也给他带来了意想不到的收获，进而发展成为中美两国友好交往和友谊的象征。

美国为纪念首任总统华盛顿诞辰100周年而开始向全美国及全世界广征纪念品，1848年开始建造纪念塔。在华传教士迟至1851年开始知悉此事。宣教士丁韪良当时在宁波传教，他在与徐继畬的朋友张斯桂的交往过程中得知徐不仅了解华盛顿，还发表过相关讨论，这触发了丁韪良的灵感，这可是上好的纪念材料啊。