唐朝，境內(nèi)設魯郡，后又改為濟州、又為濟陽郡、泰寧軍。明朝，洪武元年（1368年），改濟寧路為濟寧府，仍治任城，領(lǐng)3州12縣。清朝，雍正二年（1724年），濟寧州升為直隸州，領(lǐng)3縣。1946年1月，濟寧第一次解放，晉冀魯豫軍區(qū)第七縱隊進駐濟寧，以城區(qū)和近郊設立濟寧市。1950年5月，濟寧市降為縣級市，改屬滕縣專區(qū)。1967年，濟寧專區(qū)改稱為濟寧地區(qū)。1983年8月30日，經(jīng)國務院批準，撤銷濟寧地區(qū)，改置為地級市。

截至2023年12月31日，濟寧市下轄2個市轄區(qū)（任城區(qū)、兗州區(qū)），7個縣（微山縣、魚臺縣、金鄉(xiāng)縣、嘉祥縣、汶上縣、泗水縣、梁山縣），代管2個縣級市（曲阜市、鄒城市）。