面對宋軍的大舉入侵，與南唐，吳越的束手就擒，屈膝投降不同，北漢軍民同侵略者進行了殊死的搏鬥。中國老百姓家喻戶曉的楊家將楊老令公楊繼業，當時就是北漢軍隊的前敵總指揮，在北漢國主投降之後，楊繼業還仍然率領部下和宋軍苦戰，直到北漢國主派親信前去命令停止抵抗後，才放聲大哭歸降宋朝。戰爭是綜合國力的較量，在北宋王朝獲取了中國大部分經濟資源之後，山西的地方軍閥是無力與其長期周旋的，但宋朝軍隊的確在山西遭到了有史以來最頑強的抵抗，死傷慘重，花費了極大的代價才征服了北漢政權。
此時，趙匡胤已經去世，他的弟弟趙匡義繼承了皇位。趙匡義是怎麽登上皇位的，至今還是壹個謎，有壹種說法是他殺死了哥哥和侄子篡位的，這種說法畢竟是猜測，但趙光義的人品的卑劣，卻是無可辯駁的事實，最典型的就是北宋滅亡南唐之後，他不僅奸汙了李煜美麗的妻子小周皇後，還命畫師在壹旁作畫，把淩辱的全部細節壹壹畫下來，並送給李煜本人觀賞。李煜那首著名的《虞美人》中的“雕欄玉砌應猶在，只是朱顏改，問君能有幾多愁，恰似壹江春水向東流”說的就是這時候的事。趙匡義看到這首詞後勃然大怒，立即下令把李煜毒死，幾個月後，飽受淩辱的小周皇後也自殺身亡，香消玉殞。李煜不過發了幾句牢騷，尚且得到如此的命運，山西軍民的頑強抵抗，會遭到怎樣的報復，也就不足為怪了。
後來的事實證明，宋朝統治者對山西軍民進行了喪心病狂的報復，楊繼業率部投降的第二天，趙匡義便下令對太原焚城，壹場史無前例的大屠殺開始了。據史料記載，當時的太原城“萬炬皆發，官寺民舍，壹日俱盡”。宋朝軍隊關閉了城門，許多來不及逃走的老百姓全部被活活燒死。當月，宋太宗趙匡義離開太原前，下詔將其行營改為“平晉寺”，並親作《平晉記》，命人刻石立於寺中，大肆歌頌燒殺劫掠的豐功偉績。回到開封之後，趙匡義覺得僅僅用火燒破壞得不夠幹凈，又下令決開汾河河堤，把太原徹底淹沒，化做壹片廢墟。
就這樣，壹座先後經歷了春秋戰國、秦、兩漢、魏、西晉、前漢、前秦、後趙、北魏、東魏、北齊、隋、唐、後梁、後唐、後晉、後漢、後周、北漢，前後存在了近壹千五百年，歷經無數風霜雪雨，見證了多少城頭變幻大王旗，經受了多少蠻族入侵而依然屹立不倒的太原城，卻被地地道道的中國統治者徹底地毀滅了。
與此同時，宋朝統治者下令從山西大規模強制移民，以充實幾近荒涼的中原地區，在宋太宗滅亡北漢之前，宋朝軍隊在同北漢作戰時，已經開始從山西劫掠人口，到北漢滅亡之後達到了頂峰，先後從晉中平原和汾河平原壹帶掠奪百姓達數十萬之多，後來的山西大詩人元好問的詩句“鬼役天財千萬古，爭教壹炬成焦土。至今父老哭向天，死恨河南往來苦。”就是當時情形的真實寫照，由於很多人不願意離開故土，宋太宗只得命令潘美（潘仁美的原型）在晉祠附近，復建了壹座小小的太原城安置難民，也就是今天太原的雛形。宋代太原城的大體位置，南到今迎澤大街北側，北到今後小河壹帶，西到今新建路東側，東到今柳巷壹帶，這座沒有包磚的土城周長不過十壹裏，只有四座城門，唐王朝經營了幾百年，周長四十二裏，***開二十四道城門的太原城，此時已成為後人夢中再也難以觸摸的海市蜃樓。
在整個北宋王朝統治期間，山西經濟始終不曾恢復到四百年前唐朝的水平，北宋仁宗年間，途經山西的歐陽修在描述其所見的山西風貌時曾說：“今河東路..….山荒甚多，及汾河之側，草地亦廣，見其不耕之地甚多。”歐陽修的陳述基本是符合歷史事實的，到宋神宗元豐年間，山西的耕地面積和當時尚未完全開發，幾乎處於半荒蠻狀態的福建處於同壹水平，還不如壹個開封府的耕地面積多。