У входа в санаторий "Крепость" видны остатки крепости, которая упоминается в повести "Княжна Мери": " Я ехал через слободку. Огни начинали угасать в окнах; часовые на валу крепости и казаки на окрестных пикетах протяжно перекликались...''

Остатки Кисловодской крепости - ворота, часть стены с бойницами, угловая башня - относятся к середине XIX в. Первая крепость на этом же месте, возведенная в 1803 г., была довольно примитивным укреплением, окруженным валом и рвом. Позже внутри появляются каменные строения: пороховой погреб, казармы, дома для приезжих. При наместничестве М.С. Воронцова в середине XIX в. крепость перестраивали. Остатки реконструированной крепости и сохранились.

С окончанием Кавказской войны в начале 60-х гг. XIX столетия крепость у Кислого колодца потеряла свое значение и была упразднена. Все сохранившиеся ее части отреставрированы и используются краеведческим музеем.