Le château de Sales, première demeure thorennaise de la famille de Sales, était situé à environ 200 mètres au-dessus du château de Thorens. C'est dans cette demeure que naquit saint François de Sales, le 21 août 1567. A peine 63 ans plus tard, Sales fut détruit pendant l'occupation française du duché de Savoie.
Au printemps de 1630, le roi de France, Louis XIII, intima l'ordre à ses troupes d'envahir le duché de Savoie. En arrivant sous les remparts d'Annecy, l'armée royale, commandée par Gaspard III de Coligny (1584-1646), maréchal de Châtillon, se heurta à la résistance du baron Louis de Sales (1577-1654), capitaine-gouverneur d'Annecy, à la tête de sa garnison.Ainsi, du 23 au 25 mai 1630, le baron de Sales, frère cadet de saint François, entrepris de résister à l'ost royal. Cependant, la garnison annecienne n'était pas de taille à lutter à armes égales contre l'armée du roi de France. Louis capitula le troisième jour, en se rendant avec les honneurs de la guerre.
Grâce à cette reddition, le baron de Sales permit à la fois d'éviter une issue sanglante de ce siège d'Annecy et d'épargner la vie de ses habitants. Néanmoins, la réaction de Louis XIII et de Richelieu ne se fit pas attendre : afin de laver ce qu'ils considérèrent comme un affront, mais qui n'était pourtant autre chose que la bravoure de Louis de Sales, il fut ordonné au maréchal de Châtillon de se rendre à Thorens afin de démanteler le château de Sales. Il n'est pas fait mention de quelconques représailles à l'encontre de la personne du baron. En revanche, par gratitude envers Louis de Sales qui su préserver la vie des Anneciens, et en dédommagement de la destruction du château de Sales, le duc de Savoie, Victor-Amédée 1er, éleva le baron de Sales au titre de comte (1632). Louis de Sales et sa famille s'installèrent ensuite au château de Thorens.
C’est dans ce même château de Thorens, acquis par saint François de Sales pour le compte de sa famille, en 1602, que les descendants de Louis (la famille de Roussy de Sales) résident encore actuellement. En 1672, trois des fils de Louis de Sales, construisirent une chapelle sur les ruines du château de Sales, précisément à l'emplacement de la chambre natale de leur oncle saint François. Cette chapelle fut restaurée par le comte François de Roussy de Sales (1860-1943). Il fit ajouter un caveau dans lequel ont été déposées les cendres de ses ancêtres, inhumés jadis dans l'église paroissiale de Thorens (chapelle saint Sébastien). La chapelle de Sales est depuis lors la nécropole de la famille de Roussy de Sales.
Le dernier comte de Thorens, Jean-François de Roussy de Sales (1928-1999), petit-fils du comte François, repose désormais dans cette chapelle auprès de ses ancêtres. Le site est classé depuis 1982. Le décor de la chapelle est principalement constitué d’un retable baroque daté de 1677, maladroitement restauré au XIXème siècle. Dans la chapelle de l’ancien château de Sales saint François reçu de Dieu l'inspiration de créer l’ordre de la Visitation. La croix de pierre du XIXème siècle située en face de l'actuelle chapelle de Sales indique ce lieu précis.
