Continuo a leggere questo termine quando leggo sull'apprendimento rinforzato, per esempio in questa frase:
If the problem is modelled with care, some Reinforcement Learning algorithms can converge to the global optimum
o qui:
For any fixed policy Pi, the TD algorithm described above has been proved to converge to VPi
La mia comprensione della parola converge è che significa che diverse cose si uniscono nello stesso punto, ma come può una singola cosa (l'algoritmo) farlo?
Si dice che un algoritmo iterativo converge quando, mentre procede l'iterazione, l'output si avvicina sempre più ad uno specifico valore. Più precisamente, indipendentemente da quanto piccolo valore di errore si sceglie, se si continua abbastanza a lungo la funzione alla fine rimarrà più vicino di quel valore di errore da qualche valore finale.
In alcune circostanze, un algoritmo non convergerà; potrebbe persino divergere, dove la sua uscita subirà oscillazioni sempre più grandi, senza mai avvicinarsi a un risultato utile. Più precisamente, indipendentemente da quanto tempo continui, il valore della funzione non si stabilirà mai entro un intervallo di qualsiasi valore "finale".
La frase "convergere in un globale ottimale" nella tua prima frase è un riferimento ad algoritmi che possono convergere, ma non al valore "ottimale" (ad esempio un algoritmo di salita che, a seconda delle condizioni iniziali, può convergere in un massimo locale, non raggiungendo mai il massimo globale.
Leggi altre domande sui tag algorithms machine-learning