1368年，朱元璋建立的明朝，最終推翻了元朝的統治。只是黃河中下遊地區，因為飽受黃河泛濫之苦，又是反元鬥爭的重要戰場，以致人煙稀少，如何能讓這壹帶在滿目瘡痍中實現重建，成為明朝廷的重要任務。1388年，戶部郎中劉九臯上書，提出了移民的建議。具體來講就是河北等地，地廣人稀，而山東、山西人口較多，可以移民河北，以促發展。朱元璋對於移民的建議非常重視，不過他認為山東地盤大，相比來說，人口不算多，因此，他批準了山西向黃河中下遊移民的計劃。
實際上，人口稀少的重災區是今天的河北及河南，而那時山東的中東部地區人口尚可，但位於黃河下遊的魯西地區人口較少，因此，山東的東昌府（今聊城）以及兗州府的菏澤，也跟河北、河南壹樣，成為移民的目的地。在1389年和1392年，明朝官方就曾兩次組織山西移民遷到東昌府各州縣及菏澤，這就是歷史上有名的洪洞縣大槐樹移民。
還有不少山西移民被遷到了濟南府和青州府的北部地區，也就是今天的濱州、東營及附近地區，這裏是黃河的入海口，人口自然也是稀少。不過這壹帶移民的族譜都記載他們來自於河北棗強，考慮到明朝初年時，棗強人口不多，很可能還是山西移民遷到棗強，再由棗強遷到山東的（有的族譜也是這樣記載的）。
如果說朱元璋從山西移民填充黃河中下遊，是解決有關地區人口太少的問題，那麽，把蘇南人口向蘇北遷移，則更多是為了鞏固自己的統治。話說，當年與朱元璋爭天下的張士誠的大本營就在蘇南，由於張士誠善待百姓，雖然敗亡，但蘇南百姓對他依然念念不忘。正好淮北人口較少，擔心蘇南望族造反的朱元璋，就正好壹舉兩得，將蘇南幾十萬百姓遷到了淮北，這就是著名的“洪武趕散”。而這些蘇南移民，也有壹些遷到了山東南部的臨沂、棗莊等地，至此，山東也有了來自江蘇的移民。