Se hai deciso in anticipo di consentire i polinomi con grado al massimo n, allora la "regressione sul set di dati" equivale a trovare un polinomio più adatto con tale restrizione. Evita di "sovrastare" il set di dati, scegliendo un grado n superiore a quanto giustificato dall'estensione e dalla qualità dei punti dati.
L'approccio più comune è un adattamento dei minimi quadrati , riducendo al minimo la somma dei quadrati di errori nei punti dati. La soluzione viene trovata risolvendo un sistema lineare di equazioni per i coefficienti polinomiali. Il montaggio in linea (dove è presente una variabile indipendente) comporta la risoluzione di un sistema di due equazioni per la pendenza e l'intercetta (termine costante).
Altri due metodi sono riducendo al minimo la somma degli errori assoluti e minimizzazione dell'errore assoluto massimo (in qualsiasi punto dati). Questi metodi hanno soluzioni che possono essere ottenute dagli algoritmi di programmazione lineare.
Ciascuno di questi metodi ha una variazione in cui vengono utilizzati errori relativi (proporzioni di dati diversi da zero) piuttosto che errori assoluti. Più in generale i pesi non negativi possono essere assegnati a priori ai punti dati al fine di rappresentare una maggiore sicurezza in alcuni punti dati (misurazioni) rispetto ad altri.
La scelta del metodo dovrebbe essere basata sulla qualità dei dati (quanta varianza presentano gli errori) e sui limiti di tempo per trovare una soluzione. Poiché la soluzione è un'approssimazione dei dati che contengono errori, la ricerca di una soluzione estremamente accurata al problema dell'approssimazione potrebbe rapidamente trasformarsi in un minore sforzo di restituzione.