解除收养协议不一定算违约，需要根据具体情况来判断。

收养关系是一种法律关系，当收养协议成立后，各方都应当遵守协议的约定。在某些特定情况下，解除收养协议并不一定构成违约。

如果解除收养协议是基于法律规定的情形，例如收养人或送养人存在严重侵害被收养人权益的行为，或者存在欺诈、胁迫等导致协议无效或可撤销的情形，那么这种解除是合法的，不算违约。

若双方在收养协议中明确约定了在某些特定条件下可以解除协议，并且解除的条件成就时，按照约定解除协议也不构成违约。

但是，如果没有法定或约定的事由，一方随意解除收养协议，可能就会构成违约。此时，违约方可能需要承担相应的违约责任，如对方因此遭受的损失等。

需要注意的是，收养关系的解除涉及到未成年人的权益和福祉，法律对此有严格的规定和程序。解除收养协议通常需要通过法定的程序进行，如向相关部门申请、经过审查等。在处理收养关系问题时，应当充分考虑到未成年人的最佳利益，确保其权益得到妥善保障。

总之，解除收养协议是否算违约不能一概而论，需要综合考虑各种因素。在涉及收养关系的处理时，建议当事人咨询专业，以获得准确的法律建议和指导。

《中华人民共和国民法典》 第一千一百一十四条

收养人在被收养人成年以前，不得解除收养关系，但是收养人、送养人双方协议解除的除外。养子女八周岁以上的，应当征得本人同意。收养人不履行抚养义务，有虐待、遗弃等侵害未成年养子女合法权益行为的，送养人有权要求解除养父母与养子女间的收养关系。送养人、收养人不能达成解除收养关系协议的，可以向人民法院提起诉讼。