Қазалы тарихи мекен, шежіреге толы қойнауы жергілікті тұрғындар мен талай ұлт өкіліне құтты қоныс болған. Тарихи деректерде 1847 жылы Орынбор әскери губернаторы В.А.Обручев қазақ халқы мен Орта Азияда орыс ықпалын тарату үшін Сырдарияның төменгі саласындағы Райым шатқалынан №1 бекіністі салдырды. 1853 жылы В.А.Перовский №1 фортты Қазалы шатқалында салуға бұйрық берді. Яғни, Қазалы қаласының іргетасы осы жылдан қаланды. Қаланың бас жоспары жасалды. 1867 жылы Түркістан генерал-губернаторлығы құрылып, Қазалы қаласының №1 форт атауы өзгеріп, Сырдария облысының уездік Қазалы қаласы болып, осы генерал-губернаторлықтың құрамына кірді. Уезге Арал, Қазалы, Қармақшы аймағы бағындырылды. Қазалы қаласы уезд орталығы болғаннан кейін, мұнда сырттан көшіп келушілер көбейді. Себебі, Қазалы өңірі Сырдарияның бойында орналасқан көлі мен балығы көп, бір жағы Қызылқұм, біржағы Қарақұм, солтүстігінде Арал теңізі байлығы мол жер еді. Осыны жақсы түсінген, байлыққа қызыққан орыс, еврей, Бұхара, Хиуа саудагерлері Қазалыға біржола көшті. Алғашқы орыс саудагерлері Деев және Путаловтар болатын. Содан соң Қазан татары ағайынды Ахмет және Ғани Ғалиұлы Хусайыновтар келді делінген.

Бұлар мал, егін өсіріп, арақ-шарап, сыра және басқа тағамдар сатып, сауданы барынша өрістетті. Ғани Хусайынов шамамен 1869 жылдары күйдірілген кірпіштен үлкен үй салады. «П» әрпі тәріздес үйдің солтүстікке қараған алдыңғы бетінде арба, мал кіруге ыңғайлы кең дарбазасы бар. Дарбазаның үстіңгі қабатына көлеңкелеп отырып қонақтар демалатын жай салынған. Кірпіштің қалануы, астыңғы және үстіңгі жағындағы өрнектер сәулет өнерінің бірегей үлгісі іспеттес.

Сәулетті әрі көне керуен сарайымен қалалықтар мақтанады. «Бала күнімде әкем осы көне ғимараттың жанынан өтіп бара жатқанда: «Бұл Қазаннан келіп, осында саудасы жүріп, шаруасы нығайып, ел арасында Ғанибай атанып кеткен Ғани Хусайыновтың соқтырған үйі. Сол заманда Бұхарадан, Хиуа мен Қоқаннан Ресейге өтетін саудагерлер жолай осы үйге тоқтап, түйесін шөгеріп, аттарын суытып отырған. Ғанибай оларға қолайлы жағдай жасаған. Сондықтан бұл үй «Ғанибайдың керуен сарайы» деп аталып кеткен деп айтатын», – дейді қала тұрғыны Р.Орынбасарұлы.

Қаладағы республикалық санаттағы архитектуралық ескерткішке жататын Ғанибай үйін (керуен сарайы) есепке алу үшін Казпроектреставрация институты 1980 жылы есепке алып, құжаттарын дайындаған. Керуен сарайын салдырады. Көнекөз қариялардың айтуына қарағанда, Казаннан келген көпес Ғанибай Хусайынов салдырған керуен сарайына 1937 жылы Ақтөбе облысының Мартөк ауданынан көшіріп әкелінген ауылшаруашылығы техникумы орналастырылған. Техникум 1971 жылға дейін жұмыс істеді. 1971 жылы Сырдария ауданына көшірілген деген мәлімет бар.

Ғанибай архив деректері бойынша 1894 жылы үйінің жанынан мешіт салдыртады. Бұл мешіт Ғанибайдың мешіті деп аталады. Қазіргі уақытта ғимаратта Қазалы қалалық кітапханасы орналасқан. Бұрын ғимарат түрлі мақсаттарға пайдаланылған. 1900 жылдың 2 желтоқсанында ескі Қазалы қаласында Сыр бойындағы ең алғашқы кітапхана оқырмандарға есігін айқара ашты. Осы орайда Ресейден жер аударылып, қазақ даласында жүрген орыстың социал-демократтары көмекке келді. Кітапхана қорына қолда бар әдебиеттерін беріп, қазақ жастарының ұйымдасып ойын-сауық қоюына, одан түскен қаржыға кітаптар сатып алуына мұрындық болды. Кітапхананың қазақ халқы үшін таптырмас білім көзі екенін түсінген қазақ зиялылары кітапхана қорын толықтыруға өзіндік үлестерін қоса бастайды. Сөйтіп, алғашқы жылы 437 дана кітап қорымен Қазалы кітапханасы өз оқырмандарын қабылдайды. Сол жылдарда кітапхананың тұрақты 113 оқырманы болған. Орта Азияға сапар шеккен атақты саяхатшы П.П.Семенов-Тянь-Шаньский де Қазалы қаласында болып кітапхана жұмысын жақсарту туралы кітапханашыларға ақыл-кеңес беріп, өзінің жеке кітапханасынан 200-дей кітапты қолтаңбасымен сыйға тартқан. Бұл кітаптар әлі күнге қалалық М.Горький атындағы кітапхананың жанынан ұйымдастырылған «Алтын қор» мұражайында сақтаулы.