Ho visto quel termine usato principalmente in un contesto Oracle. Dai documenti Oracle :
A database instance is a set of memory structures that manage database
files. A database is a set of physical files on disk created by the
CREATE DATABASE statement. The instance manages its associated data
and serves the users of the database.
Quindi in questo contesto, il termine database significa semplicemente i file che contengono lo schema e i dati effettivi, mentre istanza del database si riferisce ai processi del server e alle relative strutture di memoria che effettivamente gestiscono quei file.
Microsoft, ad esempio, usa il termine "istanza" per "una copia dell'eseguibile sqlservr.exe che funziona come un servizio di sistema operativo ", quindi il significato è molto simile, anche se in quel contesto un'istanza può gestire più database.
Non sono sicuro che altri venditori utilizzino i termini esattamente in uno dei significati sopra indicati, ma non sarei troppo sorpreso.