據(jù)史書記載，早在四千年以前的新石器時代，先民就在菏澤市境內(nèi)繁衍生息。漢代，今境內(nèi)分屬兗州濟(jì)陰郡、山陽郡、東郡及豫州之梁國。唐代，今境內(nèi)屬河南道，中部屬曹州，東部屬濮州，東北部屬鄆州，南部屬宋州。明代，今境內(nèi)大部屬山東承宣布政使司所轄的兗州府。1959年9月，菏澤專區(qū)恢復(fù)，仍領(lǐng)原8縣。1960年10月，改菏澤縣為菏澤市。1963年3月16日，改菏澤市為菏澤縣。1983年9月，菏澤縣再次改為菏澤市（縣級）。1989年12月22日，梁山縣劃歸濟(jì)寧市。2000年6月10日，經(jīng)國務(wù)院批準(zhǔn)，改菏澤地區(qū)為菏澤市（地級），原菏澤市（縣級）更名為牡丹區(qū)。

截至2023年12月31日，菏澤市下轄2個市轄區(qū)、7個縣，分別為牡丹區(qū)、定陶區(qū)、曹縣、單縣、成武縣、巨野縣、鄆城縣、鄄城縣、東明縣。