武則天以為張氏兄弟是公卿之後、世家子弟，大臣們該沒人説閒話了，但忠心耿耿的內史狄仁傑偏偏不買賬。狄仁傑先前就曾力諫武則天撤除穢亂深宮的“控鶴監”，現在又梗着脖子對武則天説：“昔臣請撤‘控鶴監’，不在虛名而在實際，今‘控鶴監’之名雖已除去，但二張仍在陛下左右，實在有累皇上的盛名。皇上志在千秋，留此污點，殊為可惜，願罷去二張，離他們越遠越好。”右補闕朱敬也勸諫武則天：“志不可滿，樂不可極。嗜慾之情，愚智皆同，賢者能節之，不使過度，則前賢格言也……”
武則天煞有介事地解釋道：“我嬖倖二張，實乃為了修養身體。我過去躬奉先帝，生育過繁，血氣衰耗已竭，因而病魔時相纏繞，雖然經常服食蔘茸之類的補劑，但效果不大。沈南璆告訴我：‘血氣之衰，非藥石所能為力，只有採取元陽，以培根本，才能陰陽合而血氣充足。’我原也以為這話虛妄，試行了一下，不久血氣漸旺，精神漸充，這絕不是騙你的，我有兩個牙齒重新長出來就是證明。”狄仁傑一時無話可説，只得順着台階就勢而下：“遊養聖躬，也宜調節適度，恣情縱欲，適足貽害，希望陛下到此為止，以後不能再加添男侍了。”朝堂之上，君臣之間竟討論起男侍的事情，真是千古少見。不過，武則天晚年因保養得法，年高而不衰，卻也是事實，她還為此專門下詔改元為“長壽”呢。
神龍元年(705)，宰相張柬之等五位大臣趁武則天病重，在玄武門發難，迎太子李哲斬關而入，斬殺張易之、張昌宗兄弟，逼令武則天退位，把皇位傳給李哲，即唐中宗。這年冬天，武則天病死。她以皇后身份預政24年，以太后身份臨朝稱制7年，稱帝15年，前後共掌政46年。她死後諡號“大聖則天皇后”，以高宗皇后的名義和高宗埋在一起，故後人稱她為武則天。
清朝着名史學家趙翼在《廿二史札記》中説：“人主富有四海，妃嬪動千百，後既為女王，而所寵幸不過數人，固亦未足深怪，故後初不以為諱，而且不必諱也。”意即歷代皇帝都可以嬪妃成羣，而武則天身為女皇，寵幸的男侍前後不過數人，即使與歷史上不荒淫的皇帝相比，也是少之又少，沒什麼好指責的。應該説，這算是比較公正的評論。
武則天具有治國才能，統治了數千萬臣民，成為中國歷史上空前絕後的女皇帝，當然便有足夠的理由去追求奢華生活，她要的是和男性皇帝平等的情愛。另一方面，這也和當時的社會風氣開放有很大關係。唐代時理學尚未盛行，封建禮教還沒有完全建立，兩性關係並不像後世那麼禁錮與封閉，有些後人認為荒淫無恥的事情，當時人可能並不以為恥。
例如，當時像韋后和太平、高陽、襄陽、安樂、郜國、永嘉等公主以及上官婉兒等人，在私生活方面都非常放縱，畜養着一羣男寵。因此，我們在談論武則天寵幸男侍時，應該更加客觀地將她放在當時的環境中來評判。
