萨凯蒂的收藏主要是16到17世纪的古典大师作品，到了1750年，又补充了大量来自吉尔贝托·庇护·迪·萨沃亚王子的收藏。王子在搬到马德里之前，曾请求教皇本尼迪克特十四世允许他出口自己的艺术收藏。教皇的反应很得体，他同意了王子的请求，不过要求交换“一些作品……表示对我们的支持”。因此，教皇的画廊中又多了126件作品。

本尼迪克特十四世的兴趣不仅限于文艺复兴和巴洛克时期的大师，同时也收集所谓的“原初”或中世纪艺术品。除了资助卡匹托尔画廊，他还在梵蒂冈教廷图书馆中设立了圣物博物馆。在那里，他不仅收集13、14世纪意大利大师的作品，还有拜占庭的圣像，这些后来都成为绘画馆的立根之本。

梵蒂冈绘画陈列馆于1790年正式成立。当年7月，庇护六世颁令：奎里纳尔宫的教皇绘画收藏将要移至梵蒂冈，目标是在这里建立永久陈列馆。1790年6月10日，当时的意大利杂志《平民日报》报道：“大量珍贵的绘画，包括著名的新老大师原作”，要用于补充庇护-克雷芒博物馆中现有的古典雕塑收藏。奎里纳尔宫的118幅绘画，包括此前提到的圭多·雷尼、普桑、瓦萨里等人的杰作，当时被放在三个房间中展示，如今这三个房间属于“挂毯展厅”。

在1796年的拿破仑远征意大利战役中，教皇国被占领后，梵蒂冈绘画陈列馆的建设工程突然终止。拿破仑的行为与其在其他地方一样，他没收了重要的艺术作品，并将其运回法国，以丰富卢浮宫中拿破仑博物馆的收藏。除了从绘画馆选出的作品外，他还掠夺了大量罗马各个教堂以及意大利其他地区归罗马教宗所有的祭坛画和其他画作，带回巴黎。其中包括：卡拉瓦乔的《下十字架》，拉斐尔的《基督变容》《圣母加冕》《福利尼奥的圣母》，以及佩鲁吉诺的《十人行政团祭坛画》。1815年，拿破仑失败之后，这些作品被还给了意大利，但是没有放在最初的地方，而是容身于梵蒂冈，与其他卡匹托尔画廊的藏品一起展出；同时展出的还有新藏品，比如托马斯·劳伦斯的《英王乔治四世肖像》（1816），它们都被放在波吉亚寓所的五个房间中。

后来的几十年中，梵蒂冈绘画陈列馆的地点在梵蒂冈宫内多次调整，但是藏品数量不断增加，可用空间始终受限，一直是个问题。比如在1833年，藏品搬到了庇护五世位于宫殿二层的寓所中，但那里只能展出35幅画作。15世纪初期形制较大的作品，比如菲利波·利比的《圣母加冕》、安东尼奥·维瓦里尼的《圣安东尼修道院院长多联祭坛画》、卡罗·克里韦利的《圣母子》，这三幅画只能放在曾是教皇住地的拉特兰宫中，拉特兰绘画陈列馆的三个房间内。另外一些作品，比如帕里斯·博尔多内的《圣乔治屠龙》，继续放在奎里纳尔宫。

这种藏品分散在不同地点，尤其很多存储地光线昏暗的情况，长期以来不能令人满意。只是在教皇圣庇护十世在位时，绘画收藏才得以在梵蒂冈教廷图书馆的一层获得足够空间，这就是新的绘画馆，其中包含了从多个地点收集来的277件绘画作品，同时也首次涵盖了181幅中世纪的绘画和圣像。1909年3月28日，庇护十世将它们从圣物博物馆捐出，赠给绘画馆。