私自拉土的行为涉及多个管理部门，具体如下：

自然资源主管部门

县级以上人民政府自然资源主管部门负责监管土地使用情况，包括非法占用土地、采矿、取土等行为。对于非法占用耕地或其他土地的行为，可责令其限期改正或治理，并可能处以罚款，严重者将追究刑事责任。

农业农村主管部门

农业农村主管部门也参与土地资源的保护和管理，特别是耕地保护。对于破坏耕地、非法取土等行为，会依法进行处罚。

交通运输部门

交通运输部门负责监管道路运输经营，包括渣土车的运输行为。无证拉渣土是违法行为，交通运输部门可对其进行罚款等处罚。

城市管理部门

城市管理部门（如城管执法局、城管特勤队）负责整治城市建筑垃圾的乱倾乱倒、运输建筑弃土的车辆不覆盖篷布、不密闭运输等行为。

公安机关

公安机关对渣土车无证驾驶、非法采矿等违法行为进行处罚，包括罚款、治安拘留甚至追究刑事责任。

乡镇土地管理所

乡镇土地管理所是基层的举报和管理部门，对于私自卖土、非法取土等行为，受害人或知情人士可以向其举报。

建议：

如果您发现有人私自拉土，可以根据具体情况向上述部门进行举报。如果涉及非法采矿等严重违法行为，建议直接报警，并提供相关证据以便公安机关迅速介入调查。