省名字出自元朝实行的行省制，行省属于中央行政机构中书省在地方的派出机构，全称“行中书省”。腹里地区（今河北、北京、天津、山西、山东、内蒙古部分）则由中书省直辖。时全国共10个行省、1个中书省辖地、1个宣政院辖地。

明朝初沿元制，后以行省权力太大，将行省一分为三。设承宣布政使司、提刑按察使司、都指挥使司，合称为“三司”，皆为省级行政区最高机关，分别掌握行政、司法、军事权力。时全国共14个布政使司、2个直隶地区以及其他边疆行政区。

清朝承袭明制，保留各承宣布政使司，但布政使司辖区直接通称为“行省”，并在各省布政使之上设置固定制的总督、巡抚掌管全省军民事务，布政使成为巡抚属官。时全国共18个布政使司（省）等25个省级行政区。

中华民国初年，行政区划沿袭清朝。后历经变动，又由于战乱或时局原因，区划不常固定；1945年收回台湾省，1946年外蒙古独立。至1949年全国依法共有35个省等50个省级行政区。

中华人民共和国成立以后，全国一级地方行政单位曾一度是大行政区，后历经多次变动，1965年基本稳定下来；1988年设立海南省。全国共有23个省。