解除劳动合同是不一定需要赔钱的，还应当看解除合同的一方是否存在违约解除，若是违约解除就应当承担起相应的赔偿责任。单位可以随时解除劳动合同的情形是在试用期内被证明不符合录用条件的、严重违反劳动纪律或单位规章制度等。

根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的规定，用人单位解除劳动合同应当支付经济补偿。具体的经济补偿标准根据劳动合同的不同情况而定，包括但不限于以下几种情况：

1. 用人单位依法解除劳动合同的，应当支付劳动者一个月及以上一个月工资的经济补偿。

2. 用人单位未依法与劳动者约定解除劳动合同的，应当支付劳动者一个月工资的经济补偿。

3. 用人单位违反法律、法规或者劳动合同的约定解除劳动合同的，应当支付劳动者一个月至两个月工资的经济补偿。

法律依据：

《中华人民共和国劳动法》第四十四条、第四十五条、第七十九条；《中华人民共和国劳动合同法》第三十六条、第四十条、第四十一条。