Областной краеведческий музей основан в 1923 году. Первоначально он размещался в небольшом доме на улице Карима Сутюшева, в 30-х годах находился в Вознесенском соборе, а затем был переведен на улицу Советскую. В 1968 году музей получил новое здание. Группой художников Карагандинского и Целиноградского художественных фондов под руководством художника А.М.Чудова была осуществлена перепланировка и реконструкция двухэтажного особняка, принадлежавшего ранее коммерсанту Туба Лейбовичу Аркелю (строение 1891 года). Об Аркеле известно немного, из воспоминаний петропавловца Кочнева М.С. «Я заказал себе сшить фирменный костюм еврею Аркелю за 25 рублей. Этот самый Аркель имел в то время маленький домик в одну комнату, сам портняжил и помогала жена. А через 20 лет построил на главной улице громадный двухэтажный дом, внизу был магазин готового платья, мастерская и квартира. Верх здания занимал окружной суд и меблированные комнаты».
Здание особняка Аркеля (основное здание музея) – двухэтажное, имеет сложную форму. Фасад украшен декоративными элементами кирпичной кладки. По первому этажу оконные проемы завершает «лучковая» форма кладки. По второму этажу оконные проемы украшены архитектурными элементами. Имеется два выносных балкона, расположенных на главном фасаде, огражденных кованой металлической решеткой. Стилевое направление данного здания свойственно распространенному в конце XIX века, начале ХХ века стилевому течению — эклектика. Архитектура здания отражает архитектурное наследие города конца ХIХ века.
В советское время в этом здании 21 ноября 1920 года с речью о помощи голодающим Москвы и Ленинграда выступил М.И.Калинин, о чем свидетельствует мемориальная доска, укрепленная у центрального входа в здание.
В 1982 году музею передали двухэтажный особняк купца М.Ф.Стрелова, построенный в конце Х1Х века. В советское время в этом здании находился военкомат. Первый этаж одно время занимал промтоварный магазин.
В комплекс здания музея входит здание фондохранилища и библиотеки (бывшие склады Стрелова). Построено в конце 19 в. Оно служило подсобными и складскими помещениями для дома купца. Здание одноэтажное, прямоугольное, из кирпича. Фундамент кирпичный. Очень необычен фасад здания по улице Жамбыла (бывшая Кирова) Присутствуют элементы стиля «модерн» в сочетании с деталями русской архитектуры. Между двумя зданиями есть въезд во двор строений купца Стрелова, представляющий из себя арочные ворота, укрепленные на кирпичные столбы шестигранной формы. Здания входят в комплекс с основными и представляют один из типов замкнутой застройки города.
Краеведческий музей сегодня — это комплекс зданий-памятников, расположенных в центре города и занимающих площадь более 2.7 тыс.кв.м