Cela provient d'une analogie avec les jeux de cartes.
Les brêles sont les cartes chiffrées (1 à 9), qui ne valent généralement rien par rapport aux figures (valet, dame, roi) et atouts (pour l'exemple du tarot).
Ces cartes ne servent donc quasiment à rien, vu qu'elles ne rapportent rien. Un joueur inutile peut donc être considéré comme une brêle, ce qui explique cette utilisation.