Non ho esperienza di serio sviluppo di sistemi esperti, ma ho giocato con alcuni algoritmi correlati.
Il teorema di Bayes è interessante per quando le tue informazioni contengono le probabilità sbagliate - la probabilità di x data y quando hai bisogno della probabilità di y data x, in pratica.
ID3 è un modo facile da capire per decidere quale domanda porre per prima, in modo da poter trasformare una grande tabella di fatti in un albero decisionale. Rigorosamente, non penso che ID3 possa far fronte ad un esclusivo tipo di decisione, ma non è così difficile adattarsi.
Fondamentalmente, utilizza i calcoli "entropia" - la media ponderata della quantità di informazioni che si otterrebbe se si ricevesse una risposta particolare, data la probabilità di tale risposta (sia per il calcolo delle informazioni che per il peso). In una o-scelta, una risposta molto improbabile ti dà molte informazioni - se ottieni quella risposta. Una volta ponderate le risposte, le domande che danno la maggior parte delle informazioni in media tendono ad avere probabilità di risposta bilanciate. Un problema è che una domanda con molte risposte (ben bilanciate) ha più entropia di una con poche risposte possibili. Questo in realtà funziona bene per la mia attività di dispacciamento multiplo, ma potrebbe significare che un vero sistema esperto tenderebbe a porre domande scomode prima piuttosto che semplici.
Uso una variazione sul tema per un'utilità di generatore di codice per la gestione di più dispatch. Sì, è eccessivo, ma avevo già scritto che il codice non era interessante, quindi era logico utilizzarlo.
Il problema delle funzioni di invio multiple, però, è che ci sono solo poche "che tipo di tempo di esecuzione è quel parametro?" domande da considerare. Nella vita reale, ID3 dovrebbe essere un po 'lento, quindi ci sono un sacco di alternative. Un classico credo sia chiamato CN4.5. Non ho mai speso il tempo per capirlo, però.
ID3 e algoritmi simili per la costruzione di alberi decisionali sono spesso chiamati algoritmi di "induzione di regole". Penso di aver visto ID3 per la prima volta in un vecchio numero di PC World, in cui l'esempio stava identificando una moneta per le sue proprietà (rotonda o poligonale, argento o bronzo, ecc.).
Naturalmente algoritmi e frammenti di teoria della probabilità, di per sé, non si sommano a molto. Anche se conosci gli algoritmi di base, questo sembra essere solo il primo piccolo passo per capire come applicarli. Ad esempio, la mia modalità di invio multiplo è molto accurata: la tabella delle domande (parametri), le risposte (tipi di runtime) e le conclusioni (l'implementazione) sono completamente definite dalle regole dello strumento. Non devo preoccuparmi di cose come fare troppe domande, e quindi di ripetere a pappagalli specifici esempi di formazione piuttosto che principi di apprendimento. E sono molto contento di non avere questo problema soggettivo di cui preoccuparsi.