接着下山搭船，沿江而下。到达籍山时，他观赏了高大的柯树群，想到建骊山墓的时候会需要这些木材。他又从海滨渡过诸水，再过丹阳，到了钱塘江。到浙江时，水势汹涌，波浪滔天，秦始皇害怕了，于是改道西行约一百二十里，才从余杭渡过。他登上会稽山，祭祀了大禹，面向南海遥望，似乎在盼望仙人的到来。
秦始皇从会稽山上下来，就准备回咸阳。渡过长江后，靠海北行到了琅邪山，晚上梦见与海神交战。占卜的人说海神是不能见到的，它常幻化为鲸鱼、蛟龙的样子出现。皇上祈祷神祠完备而又恭敬，却有这种恶神出现，应当加以铲除。
秦始皇于是下令给入海的人员送去捕大鱼的器具，他自己亲手用连弓等候着，一旦有大鲸鱼出现，就立刻射死它。
他从琅邪山向北走，直到荣城山也没见到大鲸鱼。又继续前行，才见到几条鲸鱼在海水中出没，秦始皇一阵猛射，结果射中了一条。他很高兴，恶神已被射死一条，其余的都畏惧而逃，仙人就要来了，民众的诅咒也将归于无效。
不过，他高兴得太早了。
到平原津，秦始皇一病不起。他害怕死亡，但死亡终究来了。尽管群臣都缄口不谈，他的病情却越来越重，出游吉利的卜辞看来像一个圈套。七月丙寅那天，不可一世的始皇帝病死在沙丘平台。皇帝死在外地，容易生变，赵高和左丞相李斯便密不发丧。赵高命人把秦始皇的棺材放在宽大的丧车中，车有门窗，又有帘幕遮着，只有从前宠幸的宦官、参乘官以及给皇上送饭的人，在丧车中陪着。百官向皇上请示，一如往常，宦官就在丧车中代为答复。