Историята на галерията може да се проследи от кунсткамерата /кабинет за редки вещи/ на император Август (1526–1586). От 1560 г. той събира любопитни вещи, вариращи от природни предмети до произведения на изкуството, занаятчийски предмети и инструменти. Август II, увеличава тази колекционерска дейност до безпрецедентна степен. Освен римски антики, източноазиатски порцелан и шедьоври на изкуството, той закупува и скъпоценни картини, които получава чрез агенти от Италия и Холандия. Например картината „Спящата Венера“, нарисувана от Джорджоне и завършена от Тициан е една от 15те творби, закупени от кунсткамерата през 1699 г. чрез търговеца на изкуство в Амстердам -Чарлз Ле Рой.

През 1718 г. Август II притежава стая, оборудвана специално като картинна галерия. Благодарение на променените нужди и условия през 19-ти век, архитектът Готфрид Семпер (1803-1879) е повикан през 1838 г. да проектира нова сграда за музея. Сградата на галерията до Цвингер, която е построена в съответствие с плановете на Семпер, е открита през 1855 г. като тогавашна ултрамодерна музейна сграда. Архитектурата и художествените съкровища се комбинират и образуват едно цяло, което е било необичайно в онези дни. Този ефект е постигнат благодарение на целенасочената колекционерска дейност на Август II и неговия син Август III, както и на усещането на Семпер към музейното представяне. Модерната сграда на музея има огромно влияние върху последващата музейна архитектура в цяла Европа.

От 2013 г. сградата на Семпер в Цвингер е цялостно реновирана в непрекъсната поредица от строителни фази. Структурните фактори и износването, свързани с възрастта, наложиха цялостното саниране на сградата. Въпреки интензивните дейности по реконструкция, достъпът до шедьоврите на галерията е поддържан през цялото време чрез частичното възобновяване на източното крило, което беше реновирано и ремонтирано през първата фаза на строителството до 2015 г.

В последната фаза на строителните работи сградата на Семпер отново трябва да бъде напълно затворена от 4 ноември до 6 декември 2019 година. Реставрираната сграда ще отвори на 7 декември 2019 г.