西漢初年，漢高祖劉邦廢太原郡，改代國，封劉恒為代王。漢文帝將南方劃分為太原，後又重新並入代國。漢高祖丁原三年(公元前114年)，廢國，復太原郡，屬州管轄，郡治、州治在晉陽。
三國時期，魏文帝曹丕即位後，將太原縣改為太原國。北魏太祖拓跋燾沿襲東漢以來的州、縣、郡三級地方建制，設置太原郡，屬並州管轄，下轄晉陽郡。北魏孝熙三年(534)，北魏分為東魏和西魏，太原郡歸東魏管轄。郡內設晉陽為大丞相府，史主政。
北齊時，高陽，齊設龍山縣為太原郡(今山西省太原市汾河以東)。隋文帝廢太原郡，楊迪復太原郡。隋末戰爭期間，李淵和李世民在太原與隋作戰。唐高祖武德元年(618)，再次廢太原郡，設並州府，不再分太原郡。
與北魏同時，山東也設太原郡。東晉元二年(420)，武帝篡權自立，東晉為滅亡。劉宋建立後，在山東沿黃河兩岸與北魏對峙。劉三年(422)，死，其子即位。
宋文帝元嘉十年(433)，朝廷將晉安縣和泰山縣壹分為二。在古山縣，華僑定居在太原縣(今山東省長清縣東南)，南北朝時期出現了華僑大量定居的現象。南朝為了安置北方移民，滿足北方移民懷舊的需要，設立了多個與北方同名的郡(故名巧家)，轄、太元、抓。