Změna zástavy u hypotéky, Hypoteční poradna

Dobrý den, měl bych dotaz ohledně zástavního práva k nemovitosti, respektive nemovitostí. Před třemi lety jsem koupil byt za 3,5 mil. Kč. Do zástavy jsem dal tento byt a svůj domek, abych nemusel složit 20% z celkové částky. Byt byl před rekonstrukcí. Po třech letech je zrekonstruovaný a ceny bytů jsou také úplně jinde. Na hypotéku by mi stačila pouze zástava na byt. Fixaci mám ještě 3 roky s dobrým úrokem. Chtěl bych vyvázat nemovitost (domek) ze zástavy a převést zástavní právo pouze na byt. Je to možné bez refinancování? Mám na to nárok, nebo je to na bance? Děkuji