夫妻离婚时，要回孩子的抚养权是一个敏感且复杂的问题。为了确保孩子的权益得到保障，以下是一些应该考虑的因素：

双方父母应该以孩子的最佳利益为出发点，而不是个人的私利。他们应该共同协商并达成一致，以确保孩子得到稳定和健康的成长环境。

孩子的意愿也应该被尊重。如果孩子已经达到了一定的年龄和心智发展水平，他们应该有权利表达自己的意见，并且这些意见应该被认真考虑。

第三，父母的抚养能力和关爱能力也是决定孩子抚养权的重要因素。法庭通常会考虑父母的经济状况、家庭环境、教育背景等因素，以确定孩子在哪个父母的监护下能够得到更好的成长。

如果双方父母之间存在暴力或虐待行为，法庭通常会倾向于将孩子的抚养权交给没有暴力行为的一方，以确保孩子的安全。

如果双方无法就孩子抚养权达成一致，可以考虑通过调解或咨询专业人士来解决争议。专业人士可以根据具体情况提供建议和指导，帮助双方达成共识。

夫妻离婚时要回孩子的抚养权是一个复杂的问题，需要综合考虑孩子的最佳利益、孩子的意愿、父母的抚养能力和关爱能力等因素。通过合作和妥协，双方父母可以为孩子创造一个稳定和健康的成长环境。