Il semblerait que l'origine de cette phrase provienne des chasseurs :

L'ouverture de la chasse aux canards s'effectue généralement en fin d'automne ou début d'hiver, c'est-à-dire pendant les périodes migratoires de ces derniers.

Les chasseurs expliquaient leurs ''coups manqués'' par le fait qu'il faisait froid et donc qu'ils ne pouvaient rester immobiles face à la cible, d'où un froid de canard !

Cette expression est désormais sortie de son contexte et employée par nous tous.