гласная или согласная определяется тем, можно ли её вслух сказать протяжно по типу еееееее ааааааааа ууууу, а "Й" нельзя так протянуть. типа того.

Буква Й обозначает неслоговой гласный звук [и] и близкий к нему звонкий согласный [j]