XQuartz è la continuazione del deprecato X11.app di Apple, che faceva parte di OS X:
X11 is no longer included with OS X, but X11 server and client libraries for OS X are available from the XQuartz project: http://xquartz.macosforge.org. You should use the latest available version of XQuartz.
Fonte: Informazioni su X11 per Mac - Supporto Apple
X11 è un sistema di finestre molto vecchio per Unix che non è richiesto per quasi tutto ciò che farai sul tuo Mac. L'unico uso diffuso di X11 per cui lo uso è Wine che consente di eseguire il software Windows sul tuo Mac.
XQuartz è molto simile a X11, ma è uno 'sforzo della comunità per sviluppare ulteriormente' X11:
Apple created the XQuartz project as a community effort to further develop and support X11 on OS X. The XQuartz project was originally based on the version of X11 included in Mac OS X v10.5. There have been multiple releases of XQuartz with fixes, support for new OS X features, and additional refinements to the X11 experience. Apple is a contributor to the XQuartz project and has worked to ensure that X11 works as expected in OS X with the latest available versions of XQuartz.
XQuartz non "rovina" il display Retina. Non sostituisce nessuna gestione delle finestre di OS X. $ DISPLAY è usato solo con e per XQuartz per quanto ne so.