公元前223年，秦国刚刚在楚国的战争中取得胜利，始皇帝迫不及待地派遣了心腹将领任嚣前往秦军大营，传达他的旨意。王翦回到咸阳，接受田产奖励，并被任命为国尉（太尉），将兵权交给了屠睢，后者接替王翦继续指挥军队。屠睢率领的三十万大军，后来逐步增兵至五十万，准备南征岭南，征服百越。与此同时，蒙恬和任嚣带领各自的十万大军，扫荡楚国剩余的抵抗势力。

到了公元前220年，南岭传来急报，屠睢在战斗中阵亡。南岭，又称五岭，是一条贯穿湖南至广东的山脉。屠睢的军队在五岭周围布置了多个防线，一支驻守在湖南靖县的镡城，一支在湖南宁远的九疑，一支在广州的番禺，一支在江西南康的南野，一支在江西余干的余干水域。屠睢亲自带领十万精兵穿越南岭，向广州进攻。然而，由于当地山高林密、瘴气毒虫横行，战争的艰难远超预期。越人首领桀骏领导的部族坚决抵抗，屠睢的军队未能成功打败他们，最终在一次遭遇偷袭中阵亡。

赵佗，屠睢的副将，虽然勇猛，但始皇帝始终对他心存疑虑。赵佗凭借自己四十万大军的威势，令始皇帝感到威胁，于是任命任嚣为主将，继续由赵佗担任副将，指挥重新整军，准备再次征战岭南。公元前214年，经过数年的征战，南岭得以平定，秦军最终控制了岭南地区，虽然所剩兵力不足五十万。

为了加强与岭南的联系，任嚣带领军队开凿了灵渠，这条沟通长江与珠江水系的水道长达36.4公里，成为秦朝与南方的主要水路交通线。灵渠的开通极大地促进了南方的军事补给，特别是对抗瘴气和毒虫的困难。任嚣、赵佗和护军都尉禄共同督导了灵渠的修建，历时五年，最终完成了这一工程。

随着岭南的安定，始皇帝设立了南海、桂林、象郡三个新的行政区，任命任嚣为南海郡尉，负责治理这些边疆地区。虽然这些郡的实际权力远低于中原的大郡，但任嚣仍然担任了重要职务，赵佗也被任命为龙川县令。

然而，秦朝的地方官员与军事将领体系并不完全独立，许多将领如任嚣、赵佗等人既是军队指挥官，又兼任地方官职，这为秦朝的治理带来了一定隐患。始皇帝本计划将驻军撤回中原，但由于岭南地势复杂且人心难以安抚，任嚣要求继续驻军，以稳住局势。

在秦二世即位后，为了补充关中军队的不足，他下令从长城和岭南征调五万精兵。然而，南军的消息迟迟未到，原来是任嚣因病去世，赵佗认为秦朝无力再次派兵南征，于是开始暗中策划自己的独立。

赵佗利用假诏书，号召南海地区的守将设防，并通过屡次矫诏，逐步消除异己，最终自立为南粤武王，宣告岭南独立，彻底脱离了秦朝的统治。