后赵建武二年(年)省鲖阳(治今安徽临泉鲖城)、固始(今临泉、沈丘县地)并新蔡县。后鲖、固2县自新蔡析出复置。冉魏永兴元年(年)二月冉闵夺取后赵政权，建立魏国。新蔡郡、县统归冉魏。冉魏永兴三年(年)四月前燕大举南下，冉魏国灭。新蔡郡、县俱归前燕，仍属豫州。前燕建熙十一年(年)十一月符坚灭前燕。新蔡地人前秦，属东豫州新蔡郡。前秦建元十九年(年)淝水战后，
突袭一个不留新蔡城战斗惨烈，寡不敌众全部阵亡新蔡郡、县复归东晋。省新蔡郡，县属豫州汝南郡。东晋义熙十一年(年) “四五月兵南阳。南阳太守鲁、新蔡王司马道赐等俱奔姚兴归降后秦。后秦复置新蔡郡，治新蔡县城。翌年九月，晋太尉刘裕以大将军檀道济、王镇恶为前锋伐秦，拔洛阳，所至郡县多降，唯新蔡太守董遵固守不降。道济攻破郡城，董遵被俘斩首。东东晋元熙元年(年)正月晋帝封刘裕为王，以新蔡等豫州所属郡县新增宋国。次年，刘裕废东晋，改国号宋。移新蔡郡治于鲖阳，新蔡属其管辖。南北朝宋元嘉二十七年(年)春北魏拓跋焘率步骑10万，掠抄新蔡等淮西6郡，杀戮甚众。刘义隆遣军救援，以刘康祖为前驱，驻军新蔡县城。拓跋焘大败焚营而走。宋泰始二年(年)十一月汝南新蔡(双头郡)太守常珍奇归降北魏，新蔡等淮西郡县尽失。宋泰始四年(年)常珍奇与其子超越等于谯地(今安徽亳州)杀北魏费拔等余人，叛魏归宋，淮北、淮西诸州郡复为宋有。珍奇以平北功封新蔡县侯。翌年，新蔡再度归属北魏。废新蔡郡，新蔡县改属豫州汝南郡。北魏太和十一年(年)为防御萧齐，大将军(豫州刺史)王肃于今县东四望陂南的望城寺处筑城，名“四望城”。十七年(年)复置新蔡郡治此。北魏太和十九年(年)于今息县设立东豫州。今息县包信镇别置新蔡郡。新蔡县地汝河以南划归包信县，以北仍为新蔡县，前者属东豫州新蔡郡所领，后者属豫州新蔡郡所辖。后东豫州移治新蔡，新蔡郡合而为一，俱治今新蔡县城。北魏景明元年(年)七月大水，沿河地带水深1丈5尺(约3.67米)，居民保全生命者十之四五。北魏景明四年(年)萧衍侵魏，新蔡郡、县皆没于梁。后一度为北魏所收复。北魏孝昌元年(年)正月州刺史裴攻破四望城，汝、颍之间皆响应，新蔡复没于梁。部分县民流徙今安徽霍山县东北下埠桥一带，并侨置新蔡县。梁大通元年(年)九月废东豫州及新蔡郡，于今息县白土店置西淮州及淮川郡，新蔡县隶属其辖。后东魏取梁淮北地，复置新蔡郡，仍治今新蔡县城，属梁州。东魏天平二年(年)新蔡县改属北扬州。不久，新蔡复归于梁，郡再废，新蔡县仍属淮州淮川郡。
现存古吕步行街，以前一夜死伤五万将士梁太清二年(年)豫州刺史羊鸦仁，因东、西2魏交逼，弃悬瓠(今汝南县城)奔义阳(今信阳市)，以夏绍等驻四望城防备。东魏武定七年(年)新蔡县地复失于东魏。东魏置蔡州兼置新蔡郡，俱治今新蔡县城。北齐天保元年(年)高洋代东魏称帝，改国号齐(北齐)。今新蔡县城仍为蔡州、新蔡郡治所。北齐天保二年(年)而去。梁将裴之高配合侯景叛乱，率众万余与鄱阳王萧范自合肥西上进抵新蔡，无获而去。