爷爱长孙，父疼少子，这是中国传统心理，始皇也不例外，向来疼爱胡亥，听赵高如此说，也就改变主意，决定带他一起出巡。可出于安全考虑，始皇还是不放心，又说：“既然扶苏留在上郡，就调用蒙恬，让他随朕出巡吧。”

蒙恬是秦国大功臣，向来不把赵高放在眼里，赵高对他耿耿于怀，也担心他在始皇面前走动得多，始皇把他弄回中央任职，对自己可是个威胁。赵高又花着舌头道：“大公子虽在上郡监军，到底不是在任将领，蒙恬走后，万一遇上敌情，大公子还不一定指挥得动蒙恬的部队，就是部队听他指挥，他实战经验不如蒙恬，也会出乱子的。”

始皇没辙了，想起蒙毅，说：“不带扶苏，也不带蒙恬，就带蒙毅吧，他是参谋大臣，有他保驾护航，不仅安全有保障，遇上什么棘手事，也有个商量的人。”

蒙毅是蒙恬弟弟，也向为赵高所不容。

赵高由于身份特殊，不仅是胡亥老师，也是始皇红人，又久居皇宫，找他办事，求他谋官的人多，招权纳贿，徇私枉法，纯属家常便饭。坏事做得太多，又无所顾忌，有时连始皇也看不过去，一时来气，曾下令蒙毅法办这小子。蒙毅本就看不惯赵高，得了始皇命令，把赵高抓起来，一边搜集他的罪证，要处死他。谁知事到临头，始皇念及赵高的好处，又不忍心了，特下赦书，免去他的死罪。不久又让赵高官复原职，调回自己身边工作。从此赵高与蒙毅结下死仇，恨不得将他碎尸万段，自然更见不得他与自己一同随始皇出巡。

这两人的恩怨，始皇比谁都清楚，知道赵高又要否定蒙毅，先开口道：“赵爱卿也别多说了，就定蒙毅随行。你叫右丞相冯去疾到朕这里来一下，把宫里的事托付给他，咱们就可动身，到路上去会徐市。”

交待完冯去疾，略做准备，始皇就在胡亥还有赵高、李斯和蒙毅等人簇拥下，带着大队人马，离开长安，浩浩荡荡望东南方向开去。这边风景独好，一路好山好水，始皇神仙般快活，暂时将仙药置之脑后，横渡云梦泽，绕道九嶷山，然后顺江东行，过丹阳，入钱塘，奔赴会稽山，祭大禹陵，又望祀南海。仍仿上几次出巡惯例，立石刻颂，表扬与自我表扬相结合。东南方向沧海茫茫，谁都不想到海里去喂鱼，只得转身北上，穿过吴郡，乘船至海边，来到以前到过的琅邪。

徐市就是琅邪一带人氏，一行人刚住下，始皇就嘱咐赵高，快把徐市找来，弄到仙药再说。赵高觉得蒙毅在一旁碍眼，有意把他支开，趁机对始皇说：“徐市一介方士，估计跑不到哪里去，微臣这就去找。不过还有一事，陛下是不是也得考虑一下？”