不久之後，皇帝給普通話培訓寫了壹封信，然後在宮裏教授它。因為他的書是彭盛之和其他人寫的，所以他心裏很嫉妒，每次談話時，他都挑出書中的錯誤。當時國子監提倡文筆優美，因為光棍們認為焦芳粗鄙沒文化，性格殘忍，善於背後議論人，所以大家都不願意和他交往。後來，朝鮮的壹位大臣銀燕被撤職，他的兒子和焦芳也被調到桂陽。焦芳知道這是因為彭盛之和萬安，所以他對他們懷恨在心。然而，被貶桂陽後不久，憑借焦芳的能力，他很快被任命為霍州知府。然後幾年內步步高升，很快就升到了禮部右侍郎。為了顯示自己的才華，在這個階段，焦芳經常上書皇帝重用自己。不幸的是，皇位被當時的吏部尚書馬文升所壓制。這些人都是浙江人或者江西人。因此，從這個時候起，焦芳開始把對南方官員的仇恨埋在心底。後來，在焦芳執政期間，南方人的影響嚴重受損。這個帳是後人加在焦芳身上的。有壹次，太監劉瑾認為國子監的學士太囂張，想把他們都趕出京城，被當時的大學生張才阻止了。後來，皇帝要求的《孝經》成卷後，劉瑾再次提出讓光棍出國，但未果，於是派顧青等20多人到各部各司。這時朝鮮有個大臣想把其中的四個推薦給壹家公司。劉瑾發現這四個人都是移民，奏章是大臣寫的。劉瑾以結黨營私的罪名把這四個人送進了監獄。朝鮮大臣李東陽試圖解決這壹問題，但被焦芳阻止。這樣，這筆帳就算到了焦芳的頭上。
人們評價焦芳名譽受損的原因。
做事不公平
焦芳在文淵閣升了大專之後，居然寫了壹篇《南方人不能互拍》的文章。在朝鮮，每次南方人退休，焦芳都會忍不住笑。有時候他寫文章也會批判南方，在北方獲得名聲。這當然引起了南方人的極大不滿。
對南方人刻薄
焦芳對南方人很刻薄，但對北方人很好，尤其是家鄉人。至今，焦葛老(現被當地人尊稱為葛老)的故事還為百姓傳誦。那是河南大旱，收入很少。有人說河南盛產珍寶，所以請老內閣獻寶。葛老隨身帶了三樣東西:壹個是蠍子，顏色金黃。皇帝喜歡伸手摸它，喊它有毒。第二個東西是篦，是節肢動物的壹種，顏色像黑玉，但是還沒摸到就已經逃出來了。三物為蟬，壹聲而去。皇帝問了以後，方說河南東西多。帝憐免河南五年稅，余糧時，建城。至今老城還在，是河南省二級文物保護。
阿福延當
焦芳名譽受損的另壹個原因是阿芙顏當。明朝中後期，是宦官篡政最猖獗的時期。朝臣要想在朝中穩坐江山，就不得不與宦官為伍，否則權力與性命堪憂。弘治十八年，太子朱侯Y登基，皇帝是武宗。武宗即位後，以劉瑾為首的東宮大院八名宦官都非常倚重武宗，被當時的人們稱為“八虎”。當時吏部高官焦芳為了保住自己的官位，尋找靠山，極力接近劉瑾。有壹次，大臣韓文會率九重彈劾劉瑾。按照規定，打皇帝的奏折首先要經過吏部審核。吏部尚書焦芳看了這封信，私下把信的內容告訴了劉瑾。劉瑾接到信後，立即著手陷害彈劾他的人，然後推薦焦芳為文淵閣大學士兼吏部尚書。當剪紙時，他總是迎合劉。
當時朝鮮有個大臣叫張才，後來被認定是太監之壹。張才為了往上爬，事先賄賂了焦芳，焦芳把這個人推薦給了劉瑾。焦芳被提升為少師王子和大學生後，張才成為了壹名正式的大臣。但不久，張才故意在劉瑾面前詆毀焦芳。當的部下段桓看到劉瑾與越走越近，而日漸失寵，便轉而巴結，與壹起，在劉瑾面前把對劉瑾所做的壹切都說了出來。劉瑾知道後大發雷霆，幾次當眾指責焦芳父子。焦芳知道大勢已去，連忙奏請歸來。兒子是棕色的，無奈之下，他也跟著父親回了家，當服務員。父子倆都死在老家了！其他被列為太監的，後來都被調查了。
後來，焦芳遭到了詆毀，因為焦芳對南方人，尤其是南方文人很刻薄。結果焦芳被刻畫成胸前無墨的草包，被列為第壹太監；可是，方可以做學問，他能胸無墨跡嗎？太監頭子壹個人能有好下場嗎？焦芳父子已死千年，功過早有評論。草鋪裏豪華的被燒毀的房子早已化為瓦礫，蕩然無存，除了焦芳父子的墳墓，還好保存下來。焦芳的後代很孝順，世世代代守著焦芳父子墳旁的墓，為焦粉創造了壹個村莊。
人物傳說在他們的家鄉還流傳著許多關於焦芳的傳說。其中壹條是:壹個小家庭很窮，以乞討為生。壹天，壹個盲人算命師給他算命。先生摸了摸自己全身的骨頭，說:壹根甲魚骨頭，妳等著吃壹輩子吧！方不信，瞎子又摸了壹遍。瞎子立刻摸了摸下巴，大驚失色地倒在了地上。說它有個人下巴。說:龜骨是下巴，不是給皇帝吃的，是給老內閣吃的！第二種是:方少貧窮，以乞討為生，經常住在寺廟裏。夏天的壹天，方半夜醒來(夢遊？)，覺得廟裏的神仙都不順眼，就用壹根乞討棍把神仙趕出了廟，倒頭就睡。第二天，人們發現所有的偶像都在外面，只有壹個孩子在裏面睡覺。方玨這孩子真的不簡單！