Abnahmeverweigerung Bauträger

Schönen guten Tag an das Forum
Ich habe im Moment folgendes Problem
Das Haus ist praktisch fertig, die letzten beiden Raten sind noch nicht gezahlt warten aber auf das Go. Am nächsten Mittwoch soll die Abnahme vollzogen werden. Es wird Mängel geben für die ich einen Einbehalt plane (wie gesetzlich vorgesehen) und da der Hausbau etwa ein halbes Jahr Verzug hat (alle rechtlichen Schritte meinerseits wurden eingehalten) plane ich die festgesetzte Vertragsstrafe ebenfalls nicht auszuzahlen.
Das Problem wird sein, der Bauträger sieht sich nicht in Verzug und erkennt auch die Mängel nicht an. Ich werde ihm die entsprechende Summe überweisen (abzüglich mängeleinbehalt und Vertragsstrafe) und dann auf Schlüsselübergabe bestehen.
So wird das Szenario aussehen
Der Bauträger wird das Protokoll nicht unterschreiben und damit die Mängel und den Verzug (der ja eigentlich nicht im Protokoll steht soweit ich weiß) nicht anerkennen. Ich werde die Summe überweisen.
Jetzt stellt sich die Frage, gehört mir das Haus in dem Moment in dem er das Geld erhalten hat, und kann ich es beziehen (im notfall indem ich mir zutritt verschaffe).
Er spekuliert natürlich darauf das ich meine Ansprüche fallen lasse da ich durch die extreme Verzögerung gezwungen bin noch diesen Monat in das Haus einzuziehen.

Abnahmeverweigerung Bauträger