n! / (k! * (n-k)!) - см. сочетание. Т.е. есть 8 позиций, и нужно выбрать 5 из них, занятые строчными буквами. Эта формула даёт число таких способов - xxxxxYYY, xxxxYxYY, и т.д.

Для каждого фиксированного положения строчных букв считаем скольким способами можно выбрать конкретные символы:

26 * 26 * 26 * 26 * 26 * (26 + 10) * (26 + 10) * (26 + 10) == 26^5 * 36^3