Dubito che esista un libro del genere, e il più vicino che otterresti sarebbe da un libro su Haskell.
Il problema è che Haskell fa un uso superficiale dei concetti da una vasta gamma di matematica relativamente profonda. Per chiunque non sia già un matematico, imparare abbastanza matematica per aiutare a capire Haskell è molto improbabile che sia più facile che imparare semplicemente Haskell.
Questo è particolarmente vero per la teoria delle categorie, in cui le introduzioni rivolte ai matematici tendono a utilizzare esempi motivanti che presuppongono una conoscenza pregressa sostanziale di altri campi della matematica, e le presentazioni rivolte ai programmatori Haskell, ovviamente, utilizzano esempi motivanti in Haskell.
Raccomando di continuare con Haskell. Puoi consultare termini non familiari su Wikipedia: spesso le definizioni sono abbastanza accessibili da poter almeno riportare le cose alla programmazione. Se rimani bloccato e hai bisogno di aiuto su qualcosa di specifico, chiedi informazioni su Stack Overflow o il canale #haskell IRC su Freenode.
In breve, tratta la matematica come un gergo opaco - non è come se la programmazione non fosse già piena di questo, buon dolore - e impari cosa significa quando vai. Puoi tornare alla stessa matematica più tardi, se sei interessato, per ottenere una comprensione più approfondita delle astrazioni sottostanti.