История этого поистине красивого дома уводит нас в далекий XVII век. Предположительно дом был построен купцом и промышленником Афанасием Фирсовичем Олисовым. Но к сожалению достоверных сведений об этом до нашего времени не дошло. В те далекие времена фамилия Олисова служила для горожан синонимом состоятельности и богатства. Честолюбивый человек Афанасий Олисов в 1666 году стал таможенным главой города. А два года спустя известным поставщиком хлеба в Москву. Когда Олисова назначили доверенным лицом правительства, он поехал в Астрахань, заведовать рыбным и соляным промыслом. Вернувшись в Нижний Новгород, он пробыл дома лишь год, за который успел стать земским старостой.