Spätestens bei der Zwangsräumung sind Sie dazu verpflichtet, da darf er sich auch gewaltsam Zutritt verschaffen.
Auch wenn ein Gerichtsvollzieher vorher in der Türe steht würde ich unbedingt mit ihm sprechen. Ansonsten wissen Sie doch nicht was er von Ihnen will und die Sache wird nur aufgeschoben und/oder verschlimmert sich.