Понятно, что с момента основания нижегородской крепости её территория постепенно застраивалась жилыми домами, первыми деревянными соборами, княжеским двором и монастырскими строениями. Конечно же, здесь находились и административные учреждения, которые в течение веков меняли свои названия. Со временем жилые строения перемещались в посад, но некоторые задержались в кремле до середины XVIII века. Позже, к XIX веку, кремль «захватили» чиновники, и он стал административным центром. Здесь же располагался гарнизон, кадетский корпус. Сохранились и жилые дома, в которых обитали семьи офицеров гарнизона.
Но главным жильцом кремля был губернатор. В его доме с 1992 года располагается Нижегородский художественный музей.