西周以后，在今阜陽境內(nèi)即建立了歸姓的胡國，臨泉境內(nèi)的姬姓沈國，潁上境內(nèi)的慎等。三國魏置汝陰郡。北魏孝昌四年（528年）置潁州。清雍正二年（1724年）升潁州為直隸州。雍正十三年（1735年）升潁州為潁州府。1949年10月1日中華人民共和國建立時，設立阜陽專區(qū)專員公署。1971年改阜陽專區(qū)為阜陽地區(qū)。1975年12月19日國務院批準設立阜陽市（縣級）。1996年1月，撤銷阜陽地區(qū)和縣級阜陽市，設立地級阜陽市。

截至2023年12月31日，阜陽市下轄3個市轄區(qū)、1個縣級市、4個縣，分別為潁州區(qū)、潁東區(qū)、潁泉區(qū)、界首市、臨泉縣、太和縣、阜南縣、潁上縣。