правильно ли я понимаю,что дом может забрать только хозяин и я сам не могу его
передать ему?

Можешь

а как?

еще управляющий забрать может, если я не ошибаюсь

нашел)