关于日本人的祖先是谁，目前学界尚无定论，但可以肯定的是其祖先来源具有多元性，并非单一群体演化而来。以下是几种主要观点及分析：

1. **绳文人与弥生人**：

- **绳文人**：是日本列岛的土著居民，大约生活在公元前10000年至公元前300年。他们的特征是身材矮小、面容突出、肤色黝黑、嘴唇较厚、胡子茂密，主要以狩猎、采集和渔业为生。从基因研究来看，绳文人的基因与北亚地区的人有许多相似之处，推测他们可能是从亚洲大陆经过不断迁徙来到日本的。

- **弥生人**：约在公元前3世纪中期至公元3世纪中期，从亚洲大陆渡海到日本列岛的移民群体。与绳文人相比，弥生人的身高较高，男性平均在一米七左右，女性也有一米六，且面容更加精致，文明也相对比较先进，带来了更高的农耕与生产技术。遗传学研究发现，现代日本人血统当中约有70%的基因来自于弥生人。关于弥生人的来源，有观点认为他们可能来自中国或者朝鲜半岛。

2. **与中国的关系**：

- **文化交流与影响**：中国文化对日本的发展产生了极其深远的影响，这是不可否认的事实，但这并不意味着日本人的祖先就是中国人。早在汉朝时期，日本就与中国有了一定的文化交流，汉朝皇帝曾赐给日本“汉倭奴国王金印”。到了隋唐时期，日本更是大规模派遣使者来中国学习观摩，建筑、文字等诸多方面都受到了中国文化的影响。

- **基因相似性**：有研究表明，现代日本人的基因与中国北方汉族存在一定程度的重叠，特别是与河南、河北地区人民的血缘较为接近，但这并不能直接证明日本人的祖先就是中国人。人类在漫长的历史进程中，存在着各种迁徙、交流和融合的情况，基因的相似性可能是多种因素共同作用的结果。

3. **徐福东渡的影响**：

- **传说与证据**：徐福东渡是一个在中国和日本都广泛流传的传说。据史料记载，秦始皇为求长生不老药，派徐福率领数千名童男童女出海寻找仙药，徐福一去不返。传说中，徐福一行人到达了日本，并为日本带来了先进的文化和技术，如农耕、纺织等，对日本的发展产生了重要影响。

- **科学研究的否定**：然而，从科学的角度来看，目前并没有确凿的证据能够证明徐福就是日本人的祖先。DNA 检测等科学研究发现，现代日本人的基因与徐福及其追随者没有直接的关联。

综上所述，日本人的由来是一个复杂的问题，是多种因素共同作用的结果。虽然日本文化受到了中国文化的深远影响，且在基因等方面与中国存在一定的相似性，但不能简单地认为日本人的祖先与中国人有直接的关系，更不能说与秦始皇有关。徐福东渡的传说虽然在中日两国都有一定的影响力，但更多的是一种文化现象，而非科学定论。