当您遇到催收人员频繁拨打您单位电话，而您实际上并未借款的情况时，您可以礼貌地告知对方，您并未进行任何借款行为，要求停止不适当的催收行为，如果对方继续骚扰，您可以收集相关证据，如通话记录、短信记录等，并向有关部门投诉，如银保监会、中国人民银行等金融监管机构，或者直接向公安机关报案，指控对方进行骚扰和侵犯个人隐私的行为。

建议参考：

在处理此类问题时，建议您保持冷静，不要采取过激行为，确保您的个人信息安全，不要泄露给任何未经验证的第三方，如果您认为自己的权益受到了侵害，应立即采取法律手段维护自己的权益。

相关法条：

《中华人民共和国治安管理处罚法》第四十二条：“有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：

（一）写恐吓信或者以其他方法威胁他人人身安全的；

（二）公然侮辱他人或者捏造事实诽谤他人的；

（三）捏造事实诬告陷害他人，企图使他人受到刑事追究或者受到治安管理处罚的；

（四）对证人及其近亲属进行威胁、侮辱、殴打或者打击报复的；

（五）多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的；

（六）偷窥、偷拍、窃听、散布他人隐私的。”

小编总结：

面对催收人员的不当行为，您有权要求对方停止骚扰，并且可以采取法律手段维护自己的权益，保护个人信息安全，不要轻易透露给未经验证的第三方，如果您的权益受到侵害，及时采取法律措施，如向有关部门投诉或向公安机关报案，以确保您的合法权益得到保障。