越族只是當時中原地區生活在南方的各族人民的統稱，本身並不統壹，所以當時稱為百越，表現為多種。比如目前江西省是陽嶽，嶺南兩廣地區和越南北部是南嶽，福建和浙江中南部是東嶽。
春秋時期，越人建立的越國曾經北上中原稱霸。然而，在戰國時期，楚威王摧毀了越國，越人分裂成許多部。那些原越王的後代當家作主，為越王的位置而戰。因部眾，故稱百越。秦朝時，秦人勢力控制了百越地區，分別隸屬惠濟縣、南海縣、日南縣和項峻縣。秦末，天下大亂。勾踐的後代閔君堯、吳渚參加了滅秦戰爭。後來參加了漢軍殲滅項羽的戰役。劉邦立吳主為東嶽王，閔均瑤為東海王。此外，秦軍前嶺南總司令任濤病重時，召來南海司令趙佗，立他為接班人，命他伐嶺南自立。任濤死後，趙佗繼位。他派人在日南和項峻殺死秦朝的官員，並派兵封鎖武陵的所有關口，自立為南越皇帝。漢朝建立後，他接受了陸賈的建議，上了皇帝的爵位，投降了漢朝。
漢武帝時期，南越發生內亂，該國宰相呂嘉造反，殺了親漢的南越國王。漢軍前去鎮壓叛亂，南越國家滅亡。漢朝在南越故裏設郡縣統治。自漢初以來，這兩個越南地區壹直在相互爭鬥。後來東海弱小，經常被東越入侵。然而，惠濟郡的行政長官卻常常對粵越長期的鬥爭束手無策。最後東海王國受不了了，於是東海王上書朝廷，要求查封。經朝廷同意，東海王國的人民全部北遷到江淮壹帶，東海王國自然消失。東嶽在失去了東海國這個對頭之後，越來越叛逆，終於造反了。漢武帝出兵滅東嶽，成功入駐會稽郡。從那時起，三月地區全部由中央政府下屬的縣管理。
但是，當時還是有很多越南人。漢末三國時期，孫吳政權繼續在其境內征服越南人民。當時平原地區的越人已經基本融入漢族，成為漢族的壹部分。孫武征服的是山越。孫吳政權每占領山越壹片土地，都要統計他們的人口，實行和平原漢人壹樣的管理辦法。這樣，越南人原有的社會結構模式被打亂了，他們逐漸融入了漢族。到了唐朝，福建只剩下少量的山越人，最後融入了漢族。在此之前，廣東的南越人早已融入漢族。
雖然大部分越南人融入了漢族，但還是有很多民族是當年越南人的後裔。如瑤、景(越南人)、壯、社、董等都是古越人的後裔。比如壯族在漢代叫羅月。目前，在中國以外的民族中，越南人是最大的越南人後裔。越南北部長期受中國直接管轄，隸屬交趾郡(今越南河內)，所以漢化程度還是蠻高的。