高空抛物致人损害责任人的确定通常较为复杂，一般由侵权人承担责任。若难以确定侵权人的，可能由可能加害的建筑物使用人给予补偿，除非能够证明自己不是侵权人。物业服务企业等管理人若未履行安全保障义务的，也可能承担相应责任。

在高空抛物致人损害的案件中，责任人的确定需要综合多方面的因素和证据来判断。首先，最直接的责任人是实施高空抛物行为的侵权人。这需要通过现场勘查、物证收集、监控录像、证人证言等多种方式来锁定具体的侵权行为人。

然而，在实际情况中，有时很难直接确定具体的侵权人。此时，根据《民法典》的相关规定，经调查难以确定具体侵权人的，除能够证明自己不是侵权人的外，由可能加害的建筑物使用人给予补偿。这是基于公平原则，让可能实施侵权行为的建筑物使用人共同承担补偿责任，以保障受害人得到一定的救济。

另外，物业服务企业等建筑物管理人如果未采取必要的安全保障措施防止高空抛物行为的发生，例如未安装必要的监控设备、未对业主进行相关的安全教育和警示、未及时发现和处理建筑物存在的安全隐患等，那么在一定程度上也需要承担相应的责任。

法律在确定责任人时，旨在平衡受害人的合法权益和可能责任人的合理利益。一方面要让受害人能够得到及时有效的和救助，另一方面也要避免无辜的人被错误地认定为责任人。这就需要在具体的案件中，司法机关严格依据法律规定和证据规则，进行全面、细致、公正的调查和判断，以准确确定高空抛物致人损害的责任人。

高空抛物致人损害的责任人应这样来确定：如果能够确定具体侵权人的，该侵权人为损害赔偿的责任人，如果无法确定具体的侵权人的，可能加害的小区业主为损害补偿的责任人。

法律依据：

《民法典》第一千二百五十四条

禁止从建筑物中抛掷物品。从建筑物中抛掷物品或者从建筑物上坠落的物品造成他人损害的，由侵权人依法承担侵权责任；经调查难以确定具体侵权人的，除能够证明自己不是侵权人的外，由可能加害的建筑物使用人给予补偿。可能加害的建筑物使用人补偿后，有权向侵权人追偿。

物业服务企业等建筑物管理人应当采取必要的安全保障措施防止前款规定情形的发生；未采取必要的安全保障措施的，应当依法承担未履行安全保障义务的侵权责任。