Pourquoi dit-on ''nom d'un chien'' pour pester ?

Parce qu'au moyen âge le fait même de prononcer le nom de Dieu était un blaspheme et était punit d'un chatiment corporel.
Les expressions courantes comme ''par le nom de Dieu'', ''par la mort de Dieu'', ''par le sacre de Dieu''. ont été modifiées dans l'usage courant par ''sacre bleu'', ''mort bleu'', ''nom d'un chien'' etc. pour ne pas subir les foudres de l'église.

Complement internaute :
(Voir l'exemple d'Ovide dans la phrase ci-dessous) ''Encore une fois je me suis vu dire que, si l'on voulait élever un bâtiment qui pût tenir lieu d'autel, il faudrait, en commençant par le nom de Dieu, élever un haut mur autour de l'endroit où nous allons bâtir cet autel. J'ai pris ma tête à deux mains et je me suis dit que, si le ciel m'avait fait voir une pareille idée, il y aurait eu là une énormité qui me ferait éprouver un tel choc que, même à me pencher de tout mon poids sur les genoux, je ne la verrais pas. '' (Ovide, Métamorphoses, livre VIII, chant III, vers 1-9) Si vous êtes en train de lire ces lignes, vous avez déjà fait votre partie du jeu.