Cela provient d'une analogie avec les jeux de cartes...
Les brêles sont les cartes chiffrées (1 à 9), qui ne valent généralement rien par rapport aux figures (valet, dame, roi) et atouts (pour l'exemple du tarot).

Ces cartes ne servent donc quasiment à rien, vu qu'elles ne rapportent rien...

un joueur inutile peut donc être considéré comme une brêle...