我在某大学旁边有一闲置的房屋，该房属于危房但是因为经济原因我一直没有大修。今年有个外地人找到我想要租该房居住。我将房子的情况告知了他，说明要想居住要他自己先出钱修整再行使用。他当时同意了并与我订立了租赁合同，在合同中我们约定如果他不修整，造成的损失由他自己承担。他在该房居住了两个月后并未对房子进行整修，现在他以房子危险无法居住要求取消合同。他有权取消合同吗？如果取消合同他应该承担怎样的违约责任？