乾隆最宠爱的妃子是香妃，香妃所住的宝月楼，现如今已经西长安街的中南海正门——新华门。在清朝的时候，宝月楼还是红墙之内一栋上下各七间的两层小楼。袁世凯在窃取大总统职务后，便以中南海为总统府，将宝月楼改为了大门。

　　宝月楼建成于清朝乾隆二十三年。《北京传统文化便览》中关于宝月楼建造的原因是这样写的：(宝月楼)是乾隆帝为讨香妃的欢心所建。香妃，回族和卓氏女，为乾隆宠妃。她深居宫禁，思念故乡。乾隆得知，下令将新疆回民迁来一部，在长安街以西建房而居……俗称回民营。每当香妃思念故土，她便登楼相望云云。

　　西长安街以南曾确有回民营和清真寺。但宝月楼是否为了香妃而建则大可质疑。按照史料记载，乾隆皇帝后宫只有一个来自新疆维吾尔族的容妃。她于乾隆二十五年(1760)入宫封为和贵人，乾隆二十六年(1761)晋封为容嫔，乾隆三十三年晋升为容妃。清朝平定大小和卓木是乾隆二十四年秋天的事。而乾隆帝纳一个维吾尔族女子为妃，应该是在此之后，这时，宝月楼已经建成一年多了。

　　乾隆帝为什么要建这座宝月楼?按照乾隆《御制宝月楼记》中所说，西苑(即中南海)中的建筑都是明朝遗留的，清朝只是“岁时修葺增减，无大营造”。但是乾隆皇帝觉得南海南岸长长一道皇城过于空旷，“每临台南望，嫌其直长鲜屏蔽”，于是命工程部门根据地形位置添一建筑。最初设计为三层，乾隆觉得“太侈”，减了一层。建成之后，“池不觉其窄，岸不觉其长”，高矮大小合适。

　　为什么叫宝月楼呢，“池与月适当其前，抑亦有乎广寒之亭也”，就是说，看到月亮正临液池(南海)之上，因而联想到月中的广寒宫，所以叫宝月楼。乾隆二十四年御制《题宝月楼》诗说：“南岸嫌长因构楼，楼临直北望瀛洲。”注解说：瀛台皆前明所建，惟南岸向无殿宇，顾为楼以配之。这是乾隆帝自己做的注解，为建造宝月楼原因的最有力证明。

　　至于说宝月楼南的回民营，大约出现在宝月楼建成的十年之后。乾隆三十三年御制《宝月楼》诗中有“西宇向南凭”之句，意思是，向南眺望可见西域(风格的)房屋。

  注释说：“(宝月)楼临长安街，街南俾移来西域回部居之，室宇即肖其制。”回民营中的礼拜寺也是这个时候修建的。乾隆三十四年御制《宝月楼》诗中说：“鳞次居回部，安西系远情”。注释说：墙外长安街内属回人，衡宇相望，人称回民营，新建礼拜寺正与(宝月)楼相望。

　　史记中记载，乾隆乾隆只有一个维吾尔族的妃子，是容妃。其实容妃就是香妃。容妃是她的封号，“香”只是她的名字。香妃原名叫伊帕尔汗，伊帕尔汗也作“包尔汉”就是“香”的意思。她叫香，并非身上有香味儿。宝月楼之建也与香妃毫无关系。