Здание галереи расположено в центре города, до него недолго пройти пешком от железнодорожного вокзала.

Прежде галерея называлась Воронцовской и предназначалась для прогулок в ненастье после питья нарзана. В южной части галереи находится колодец нарзана, над которым в крыше устроили световой фонарь. Здесь торговали минеральными водами с других курортов, кумысом, купальными билетами. Рядом разливали нарзан в бутылки.

Южный и западный фасады здания прорезаны арками, а между ними стилизованные под готику контрфорсы, над которыми возвышаются пирамидальные башенки. Весь архитектурный облик галереи выражает традиции "готического романтизма", имевшие распространение в Англии с конца XVIII в. (автор проекта галереи - С. Уптон).

К 1880 г. к галерее с восточной стороны сделали пристройку ванн военного ведомства. В 1884 году над источником был сооружен каптаж в виде круглого колодца, глубиной 6,5 и диаметром больше 4 метров. Изнутри он облицован кафелем, снаружи - мрамором. Сверху водружен стеклянный колпак, позволяющий видеть источник. Колпак также предохраняет источник от загрязнения, а помещение галереи - от излишнего поступления свободной углекислоты, бурно выделяющейся из нарзана. Каптаж стоит своим основанием на том самом твердом известняке-ракушечнике, из разломов которого, самоизливаясь, поступает минеральная вода.

В 1894 г. был изменен и южный фасад. Позже турлучную пристройку заменили с юга кирпичной кладкой, облицованной плитами доломита. Внутри, убрав перегородку и зрительный зал, продлили питьевой зал и украсили его стены мраморными плитами. Кафельный пол заменили гранитным. 

Сейчас галерея - это главный питьевой центр (здесь 16 бюветов), где отпускается нарзан трех разновидностей - общий, доломитный и сульфатный.

Когда-то пили нарзан из Кислого колодца, давшего жизнь и название городу. Сейчас вода из колодца нарзана идет только на ванны.