集資建房買賣-我是四川德陽人，以前是農村戶口，由于高速公路的修建，我家修建為農轉非居民點，

我是四川德陽人，以前是農村戶口，由于高速公路的修建，我家修建為農轉非居民點，現在由于開發(fā)商開發(fā)我處，要求我們拆除，且有兩種住房方案，我們執(zhí)行的為自己集資建房，4人，每套房屋107平方米，開發(fā)商要求修建為5層半的樣式，且每套將近交付8萬元，一共40幾萬，統(tǒng)一交于銀行管理，在開發(fā)區(qū)登記后，然后再劃土地為我們修建，且建筑時可自己找建筑商修建，建筑商修建完成后，由開發(fā)區(qū)為其撥款，開發(fā)區(qū)統(tǒng)一管理，由于我們本地大多數人無40幾萬巨款，于是便集資建房，提前售于買房人以集資。但我家一買方，賣于其一套，共12萬5千，交付1萬元定金，且簽訂協(xié)議，違約者雙倍賠償違約金。在開發(fā)區(qū)通知繳款時，買方支付全部房款，交于我方將全部40萬交于銀行。但交房款時，買方卻忽然說不購買，待現在我房修建完成后，買方要求我退其定金，并說我房屋屬集資房，無權買賣，當時簽訂其合同無效。請問，我方是否應退其？買方違約否？