公元217年斗兽场遭雷击引起大火，受到部分毁坏，但是很快在238年又修复，继续举行人与兽或人与人之间的搏斗表演，这样的活动一直到公元523年才被完全禁止。公元442年和508年发生的两次强烈地震对斗兽场结构本身造成了严重的损坏，在中世纪时期该建筑物并没有受到任何保护，因此损坏进一步加剧，后来干脆被用来当作碉堡。15世纪时教廷为了建造教堂和枢密院，竟然拆除了斗兽场的部分石料。1749年罗马教廷以早年有基督徒在此殉难为由才宣布其为圣地，并对其进行保护。约翰·保罗二世教皇生前每年都会在此举行仪式纪念这些殉难的烈士，但是却没有历史证据显示确曾有基督徒在此殉道。