始皇能焚去一切《诗》《书》和历史的记录，却不能焚去记忆中的六国亡国史；他能缴去六国遗民的兵器，却不能缴去六国遗民特别是一班遗老遗少的亡国恨；他能把一部分六国的贵族迁到辇毂之下加以严密的监视，却不能把全部的六国遗民同样处置。在旧楚国境内就流行着“楚虽三户，亡秦必楚”的谚语。当他二十九年东巡行到旧韩境的博浪沙在今河南阳武县东南中时，就有人拿着大铁椎向他狙击，中了副车，只差一点儿没把他击死。他大索凶手，竟不能得。

而且始皇只管“忧恤黔首”，他的一切丰功烈绩，乃是黔首的血泪造成的！谁给他去筑“驰道”，筑“直道”，凿运渠？是不用工资去雇的黔首！谁给他去冰山雪海的北边伐匈奴，修长城，守长城？谁给他去毒瘴严暑的南荒，平百越，戍新郡？谁给他运粮转饷，供给这两方的远征军？都是被鞭朴迫促着就道的黔首！赴北边的人，据说，死的十有六七；至于赴南越的，因为不服水土，情形只有更惨，人民被征发出行不论去从军，或去输运，就好像被牵去杀头一般，有的半途不堪虐待，自缢在路边的树上。这样的死尸沿路不断的陈列着。最初征发的是犯罪的官吏、“赘婿”和商贾；后来推广到曾经做过商贾的人；最后又推广到“闾左”——居住在里闾左边的人赘婿大概是一种自己卖身的奴隶即汉朝的赘子。商人尽先被征发是始皇压抑商人的手段之一。战国时代，法家和儒家的荀子，都认商人为不事生产而剥削农民的大蠹，主张重农抑商，这政策为始皇采用。琅琊刻石有“上农除末”之语，“闾左”在先征之列者，盖春秋战国以来，除楚国外习俗忌左，居住在闾左的，大抵是下等人家。征发的不仅是男子，妇女也被用去运输；有一次南越方面请求三万个“无夫家”的女子去替军士缝补，始皇就批准了一万五千。计蒙恬带去北征的有三十万人，屠睢带去南征的有五十万人，后来添派的援兵和戍卒，及前后担任运输和其他力役的工人，当在两军的总数以上。为这两方面的军事，始皇至少摧残了二百万家。