乡村违法建设的管理涉及多个部门，具体职责分工如下：

自然资源部门：

负责查处违法占用农用地进行建设的违法建筑。对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除违法建筑，恢复土地原状；对符合土地利用总体规划的，没收违法建筑，可以并处罚款。

农业农村部门：

负责查处农村村民违法占用农村宅基地建住宅的行为。非法占用土地建住宅的，由农业农村主管部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。

乡、镇人民政府：

对于拥有合法宅基地，但是没有取得建设规划许可证的违法建筑，由乡镇人民政府负责查处。责令停止建设、限期改正；逾期不改正的，可以拆除。

住房城乡建设主管部门：

根据乡村建设工程具体类别不同，分别进行质量安全管理。

其他监管部门：

对于违反法律、法规及其他规定的违法建设行为，由其他监管部门依法查处。

综合以上信息，乡村违法建设的管理涉及自然资源、农业农村、乡镇人民政府、住房城乡建设等多个部门，各部门根据各自职责进行查处和管理。具体分工如下：

自然资源部门：查处违法占用农用地进行建设的行为。

农业农村部门：查处农村村民违法占用宅基地建住宅的行为。

乡、镇人民政府：查处未取得建设规划许可证的违法建筑。

住房城乡建设主管部门：负责乡村建设工程的质量安全管理。

其他监管部门：依法查处其他违反法律、法规的违法建设行为。

建议村民或相关部门在发现乡村违法建设行为时，及时联系上述部门进行举报和投诉，以便及时采取措施予以纠正。