Cette expression s'utilise dans le cas où l'on discute de façon détendue dans un moment ou tous les intervenants ont le temps.
Elle nous vient du XVIIème siècle. A cette époque, le fromage était consommé après les fruits dont les plus courants étaient les poires et les pommes.

Elle était utilisée pour signifier que vers la fin du repas, les gens étaient plus détendus et le moment était donc plus propice à la discussion. Aujourd'hui, elle est utilisée de la même façon sauf que le fromage se consomme avant les fruits.