Sembra che tu stia usando i punti della storia in modo errato. I punti storia sono relativi l'uno con l'altro solo per questa squadra e nient'altro. Per il primo sprint non hai nulla per confrontare i punti, quindi devi fare ipotesi plausibili. Dopodiché, dovrebbe diventare più facile e più facile essere coerenti nel dimensionamento.
Con ogni sprint tranne il primo, scegli una storia precedente che sembrava essere approssimativamente giusta ed è vagamente "media" per quanto tu voglia definire questo. Se non hai storie stimate correttamente, scegli una storia "tipica" del passato e decidi quali punti avrebbe dovuto usare con il senno del 20/20. Qualunque sia la tua storia diventa il tuo nuovo standard.
Quindi scegli una nuova storia e chiedi semplicemente a te stesso se questo considerevolmente è più facile, più o meno lo stesso, o considerevolmente più difficile di questa storia precedente. Non pensare affatto su quanto tempo ci vuole per completare la storia. Non pensare "bene, ci vorranno altre due ore", pensa "questo è mezzo duro" o "questo è il doppio più duro". Questo è tutto quello che devi fare.
Se hai stimato qualcosa come 5 punti e ci sono volute 4 ore in più rispetto alla precedente storia a 5 punti, non preoccuparti. Se ci sono volute poche ore in meno, non preoccuparti. Queste sono tutte storie a 5 punti. Puoi iniziare a preoccuparti di ciò quando ridimensiona una storia come 5 ma ci vuole più tempo della maggior parte degli 8.
Quando diventi migliore a riconoscere storie di dimensioni simili, la stima diventa più facile e più facile. Sarai fuori di testa per alcune storie, ma resterai a corto di alcune e a lungo sulle altre, e per lo più andrà a pareggiare.
TL; DR: è importante ricordare che i punti non significano nulla e la velocità è un indicatore. Ciò che conta è la coerenza. Praticamente ogni storia di 5 punti dovrebbe richiedere più tempo di un 3 e meno di 8, ma se una storia di 5 punti richiede 8 ore e un'altra richiede 12 o addirittura 16, probabilmente è ok se è ancora inferiore a 8 punti storia.