Имя его неразрывно связано с Пятигорском. Здесь он положил начало широкому государственному строительству. В 1822 году по его инициативе была создана Строительная комиссия, руководившая строительными работами на Водах, приглашены из Петербурга талантливые зодчие братья Джузеппе и Джиованни Бернардацци. Здесь особенно широко развернулась их архитектурная деятельность.

В 1820 году по распоряжению Ермолова под обрывом Горячей горы вместо убогой и ветхой купальни было построено новое здание на шесть ванн, получившее название Ермоловских ванн.

В 1880 году вместо этого здания было воздвигнуто новое, более значительное по размерам (к сожалению, имя архитектора неизвестно). В плане здание имеет форму соединенных между собой крестов, с башенками-фонарями и узкими окнами. Фасад наряден, отделан рустом. У здания каменный цоколь, над окнами по крыше широкие козырьки из плит. Каменные ступеньки ведут к двум дверям главного входа, над которым расположено окно-роза. Вход оформлен в виде изящного портика. Здание удачно входит в архитектурный ансамбль Пятигорска.

В конце XIX столетия в Ермоловских ваннах находилось 7 обыкновенных кабин с одной серной ванной и 10 грязевых с двумя ваннами в каждой. Хорошо отзывался о лечебных качествах тамбуканской грязи лечившийся здесь осетинский поэт К.Л. Хетагуров.