拆迁工作通常归市、县级人民政府的房屋征收部门管理。这些部门负责组织实施本行政区域的房屋征收与补偿工作，并依照相关法规和政策进行监督和管理。