根据《中华人民共和国劳动法》规定，用人单位搬迁或者改变经营范围等需要裁减人员的情形下，应当提前三十日向工会或者全体职工说明情况，并听取工会或者职工的意见，进行协商，达成协议后，依法办理解除劳动合同手续。

如果用人单位未提前告知工会或者职工，或者未与工会或者职工协商一致，解除劳动合同的，应当依法支付经济补偿，并承担法律责任。

因此，如果公司搬离需要裁减人员，必须提前三十天向工会或者全体职工说明情况，并进行协商，达成协议后才能解除劳动合同。如果公司未履行上述义务，导致劳动者的合法权益受到损害，劳动者可以向劳动仲裁部门申请仲裁。