乾隆最寵愛的妃子是香妃，香妃所住的寶月樓，現如今已經西長安街的中南海正門——新華門。在清朝的時候，寶月樓還是紅牆之內一棟上下各七間的兩層小樓。袁世凱在竊取大總統職務後，便以中南海為總統府，將寶月樓改為了大門。
寶月樓建成於清朝乾隆二十三年。《北京傳統文化便覽》中關於寶月樓建造的原因是這樣寫的：(寶月樓)是乾隆帝為討香妃的歡心所建。香妃，回族和卓氏女，為乾隆寵妃。她深居宮禁，思念故鄉。乾隆得知，下令將新疆回民遷來一部，在長安街以西建房而居……俗稱回民營。每當香妃思念故土，她便登樓相望雲雲。
西長安街以南曾確有回民營和清真寺。但寶月樓是否為了香妃而建則大可質疑。按照史料記載，乾隆皇帝後宮只有一個來自新疆維吾爾族的容妃。她於乾隆二十五年(1760)入宮封為和貴人，乾隆二十六年(1761)晉封為容嬪，乾隆三十三年晉升為容妃。清朝平定大小和卓木是乾隆二十四年秋天的事。而乾隆帝納一個維吾爾族女子為妃，應該是在此之後，這時，寶月樓已經建成一年多了。
乾隆帝為什麼要建這座寶月樓？按照乾隆《御製寶月樓記》中所説，西苑(即中南海)中的建築都是明朝遺留的，清朝只是“歲時修葺增減，無大營造”。但是乾隆皇帝覺得南海南岸長長一道皇城過於空曠，“每臨台南望，嫌其直長鮮屏蔽”，於是命工程部門根據地形位置添一建築。最初設計為三層，乾隆覺得“太侈”，減了一層。建成之後，“池不覺其窄，岸不覺其長”，高矮大小合適。
為什麼叫寶月樓呢，“池與月適當其前，抑亦有乎廣寒之亭也”，就是説，看到月亮正臨液池(南海)之上，因而聯想到月中的廣寒宮，所以叫寶月樓。乾隆二十四年御製《題寶月樓》詩説：“南岸嫌長因構樓，樓臨直北望瀛洲。”註解説：瀛台皆前明所建，惟南岸向無殿宇，顧為樓以配之。這是乾隆帝自己做的註解，為建造寶月樓原因的最有力證明。
至於説寶月樓南的回民營，大約出現在寶月樓建成的十年之後。乾隆三十三年御製《寶月樓》詩中有“西宇向南憑”之句，意思是，向南眺望可見西域(風格的)房屋。
註釋説：“(寶月)樓臨長安街，街南俾移來西域回部居之，室宇即肖其制。”回民營中的禮拜寺也是這個時候修建的。乾隆三十四年御製《寶月樓》詩中説：“鱗次居回部，安西系遠情”。註釋説：牆外長安街內屬回人，衡宇相望，人稱回民營，新建禮拜寺正與(寶月)樓相望。
史記中記載，乾隆乾隆只有一個維吾爾族的妃子，是容妃。其實容妃就是香妃。容妃是她的封號，“香”只是她的名字。香妃原名叫伊帕爾汗，伊帕爾汗也作“包爾漢”就是“香”的意思。她叫香，並非身上有香味兒。寶月樓之建也與香妃毫無關係。
