Cet oratoire fut construit en 1895 par le colonel Gasquet qui était légataire universel de son épouse “à charge pour lui d’élever une chapelle où tout le monde pourrait venir la prier”.
On invoquait cette “Notre Dame de la pitié” pour la guérison des fièvres. Ce rôle protecteur se vit renforcé dans l’esprit 
des habitants au cours de la Grande Guerre puisque Varennes est le seul hameau de Monlet, avec Beyssac, à ne pas avoir eu de tué durant ce carnage (alors que 67 monlètois, soit 5 % de la population et 
22% des mobilisés ont été tués), puis des suivants, deuxième guerre mondiale, guerre d’Indochine etc. En témoignent de nombreux ex voto.
Une touchante piéta naïve du XVième siècle en pierre 
polychrome, trône sur l’autel. Son arrivée est romanesque puisqu’elle fut découverte dans un bois pendant la Révolution par des bucherons de Varennes qui la ramenèrent au village. Son origine est totalement inconnue.
La tradition voulait que les mariées du
hameau fassent don de leur bouquet à la chapelle.
Un pèlerinage a lieu tous les ans en août et une crèche y est aménagée pour Noël.
