Es ist wie Unlimiter schon sagt. Du selber kannst nichts dagegen machen.
Ich hatte mal ziemlich exakt denselben Fall und uns als Mietern sowie dem Hausverwalter waren die Hände gebunden (welcher selbst Anwalt ist). Solange er als Besuch bei der besagten Person ist kann er nicht des Hauses verwiesen werden. Theoretisch ist das beschränkt auf 6 Wochen, praktisch ist das nicht kontrollierbar da er nach kurzer Zeit außerhalb sofort behaupten kann er ist neu zu Besuch > Frist startet von vorne.

Bei mir war die Lösung das besagte Person(en) nach einer Weile ausgezogen sind sonst wäre es wahrscheinlich eher böse ausgegangen da es zwischen den versch. Mietparteien schon deftig geknirscht hatte.