Mi chiedo se sia possibile, in modo da poter usare qualche window manager X11 per tutto.
No. Le app native di OS X non richiamano il protocollo X11 e nessuno (Apple o altro) ha implementato alcun tipo di shim / translation layer / conversion tool per effettuare il porting sull'API.
Ciò implicherebbe sicuramente rallentamenti, accelerazione ridotta, possibilmente perdita di fedeltà e perdita di funzionalità.
Potresti avere un accesso alternativo a X11, ma usare un client VNC non X11 di Apple per chiamare la condivisione dello schermo Apple.
Leggi altre domande sui tag desktop window-manager x11 xquartz