戰(zhàn)國時期，今遵義一帶屬于“大夜郎國”范圍。西漢元光五年（前130年），置犍為郡，郡治鱉縣，即在今遵義市中心城區(qū)附近。唐貞觀十六年（642年），將播州所領(lǐng)的羅蒙縣改名遵義縣。這是“遵義”名稱最早的出現(xiàn)。清雍正五年（1727年），遵義府由四川省劃歸貴州省管轄。1949年11月，遵義解放，“第五行政督察區(qū)”改為遵義專區(qū)，后稱遵義地區(qū)，為省政府派出機構(gòu)，并以原遵義縣城區(qū)為基礎(chǔ)新建遵義市。

截至2023年12月31日，遵義市轄14個縣級行政區(qū)劃單位（市轄區(qū)3、縣級市2、縣7、自治縣2），分別是匯川區(qū)、紅花崗區(qū)、播州區(qū)、赤水市、仁懷市、桐梓縣、綏陽縣、正安縣、鳳岡縣、湄潭縣、余慶縣、習(xí)水縣、道真仡佬族苗族自治縣、務(wù)川仡佬族苗族自治縣。