楼号设置通常归 公安部门负责。具体规定如下：

广州市：

根据《广州市地名管理条例》和国家有关规定，门楼号牌的设置、维护、更换行为由市公安机关负责组织实施。

洛阳市：

根据《洛阳市地名管理办法》，城镇的楼、门牌由地名管理部门或会同公安部门负责。

因此，楼号设置一般由公安部门负责，具体实施可能会会同地名管理部门或其他相关部门。建议您根据所在地区的具体规定，咨询当地公安部门或地名管理部门获取更详细的信息。