上海市最早的市区是在原南市区(现被并入黄浦区)部分，上海市民俗称“老城厢”。这个范围为今天中华路人民路的区域里面，即上海县城。城墙于1912年，由沪军都督府及上海乡绅进行筹款拆除，并填护城河，筑成中华路以及民国路（1949年以后改称人民路）。
咸淳年间（1267年前后），上海建镇，镇上以市舶司署（即后来的县署，位于今光启路北段）为基点，市容逐渐繁华起来。它们都集中在今上海市区中华路以西、以北，河南南路以东和方浜路以南的范围内，因此可以说是南市区的渊源。至元二十七年（1292年），因商务日益发展，经元政府批准，上海镇升格为上海县。
明嘉靖三十二年（1553年），倭寇勾结地方海盗大举入侵，，直闯上海镇市中心，大肆掳掠杀伐，连县衙门也遭焚烧洗劫，变成一片废墟。为了防止倭寇劫掠，，松江府知府方廉下令兴筑上海城池，经过两个多月的日夜抢筑，上海城墙全部建成。新筑成的县城城墙共长九里，有朝宗门（大东门）、宝带门（小东门）、朝阳门（小南门）、晏海门（老北门）等8座城门。
清代嘉庆年间，城内有桥梁五十座，桥梁的附近店肆商铺林立。随着经济的日趋繁荣，县城开始吸引更多的人口入境定居。明代中叶开始，上海县城出现了一批私家园林，其中以"豫园"、"露香园”"日涉园"等颇为著名，街巷也从建城之初的10余条，增到嘉庆年间的63条，知名的有花衣街、彩衣街等。
鸦片战争以后，上海被迫开放为通商口岸。1861年，法租界的东南方延伸到十六铺，于是小东门外的十六铺桥成为租、华两界的分界线，上海出现“南、北市”之称，十六铺以南地方即成为南市，随着商业渐形繁华，其范围一直向南延伸到了高昌庙（今江南造船厂附近）。
清末民初，城内进行了大规模的填浜筑路工程，肇嘉浜等河流被填没后相继建成了肇嘉路（今复兴东路），方浜路（今为方浜中路），守署街（今为尚文路）河南路、小桃园路等路段。上海县城的城墙因阻碍交通，1909年地方官加开尚文门（小西门）、拱辰门（小北门）、福佑门（新东门）等四个新城门，1912年民国成立后，城墙被拆。
国民政府设立上海特别市，接收上海县和宝山县属部分市乡，成立17个区，其中沪南区包括原南市地区，还包括了正在开发的新西区，即高昌庙以西至龙华、徐家汇一带。从此南市地区不再归上海县管辖而成为上海市区的一部分。抗战爆发后，1943年汪伪政府收回租界，上海市区调整为8个区域，第七区定名南市区。
老城厢地区荟萃了众多名胜古迹。豫园、露香园、也是园、日涉园等私家园林不仅有楼台亭阁之胜，而且有山水自然之美。城隍庙、白云观、沉香阁等寺庙的殿宇建筑和佛像造型均体现了精湛的建筑技巧和雕塑艺术；书隐楼、九间楼是今上海留存不多的明清宅第建筑。
2000年，上海市人民政府宣布，国务院批准撤销南市区，将南市区黄浦江西岸地区并入黄浦区，而原南市区黄浦江东岸地区早在浦东新区建区后不久的1993年3月已经并入浦东新区。自此南市区从上海市行政区划中消失。---【上海老城厢，1988年。摄影：larry】