大曆年間，隴西有個叫李益的書生，二十歲，考中了進士。到第二年，參加拔萃科考試，等着由吏部來主持複試。六月盛夏，到達長安，住宿在新昌裏。李益門第清高華貴，年輕時就有才氣，麗詞嘉句，時人都説無雙;前輩尊長，全都推崇佩服。他常自誇耀其風流才情，希望得到佳偶。四處尋求名妓，很久未能如願。
長安有個媒婆叫鮑十一姐，是從前薛駙馬家的婢女，贖身嫁人，已有十多年了。秉性靈活乖巧，着於花言巧語。富豪之家皇親國戚的住處，沒有一處不曾去打聽消息，出謀畫策，人們都推她做領頭。她常受李益誠心的委託和豐厚的禮品，心裏很感激他。幾個月後，李益正閒住在房舍的南亭。下午時前後，忽然聽到急促的敲門聲，僕人説是鮑十一娘到了。李益撩起衣服跟着跑出來，迎上去問道：“鮑媽媽今天為什麼忽然來了？”鮑十一娘笑着説：“蘇姑子作了好夢沒有？有個仙人，被放逐在人間，不追求財物，只愛慕風流人物。像這樣的角色，和您十郎正好匹配啊。”李益聽説後驚喜踴躍，神氣飛揚，身體輕飄飄的，拉着鮑十一孃的手邊拜邊謝道：“一輩子做你的奴僕，死了也不怕”。
於是問她的姓名和住處。鮑十一娘詳細説道：“她是從前霍王的小女兒，字小玉，霍王很喜愛她。母親叫淨持。-淨持，就是霍王寵愛的婢女。霍王剛死的時候，眾兄弟因為她是低賤的人所生，不太願意收留。於是分給她些資產，叫她住在外面，改姓鄭氏，人們也不知道她是霍王的女兒。她姿質豔美，我一輩子也沒有看見過這樣漂亮的人;情趣高雅，神態飄逸，處處都超過別人;音樂詩書，沒有不精通的。前些時託我尋找一個好郎君，品格情調都要能相稱的。我詳細介紹了十郎。她也知道李十郎的名字，非常高興稱心。她家住在勝業坊古寺巷裏，剛進巷口有個車門的宅子就是。已經和她約好時間，明天午時，只要到巷口找到一個叫桂子的婢女，就可以了。
鮑十一娘走後。李益就準備前去的計劃。於是派家僮秋鴻，從堂兄京兆參軍尚公那裏借青黑色的小馬和黃金馬籠頭。晚上，李益換洗衣服沐浴，修飾容貌儀表，高興得手舞足蹈，整夜睡不着覺。天剛亮，戴上頭巾，拿過鏡子照照，只怕還不合適。猶豫之間，已到了中午。便命備馬疾奔向去，直達勝業坊。到了約會的地方，果然看見一個婢女站着等候，迎上來問道：“莫非是李十郎嗎？”李益隨即下馬，讓她牽進屋後，急急鎖上門。看見鮑十一娘果然從裏面出來，遠遠笑着説：“何等兒郎，冒冒失失到這裏來。”李益開玩笑的話還沒説完，就被引進中門。庭院間有四株櫻桃樹，西北角掛着一個鸚鵡籠，看見李益進來，便説道：“有人進來，快快放下簾子！”
李益本來生性雅靜，心裏還在疑懼，忽然聽見鳥説話，驚訝得不敢向前走了。正在躊躇，鮑十一娘已領着淨持走下台階來迎候他了。 進屋後對面坐下。淨持年紀大約四十多歲，綽約多姿，談笑很迷人。她於是對李益説：“一向聽説十郎有才情又風流，如今又看到容貌雅秀，果然名不虛傳。我有一個女兒，雖然缺少教訓，但容貌還不至醜陋，如能配給郎君，甚為相稱。鮑十一娘屢次都接到您的心意，今天就讓她永遠來服侍您。”李益答謝道：“我笨拙平庸，想不到承您看重，倘蒙收留，生死為榮。”於是命令擺上酒宴，隨即讓霍小玉從廳堂東面的閨房裏出來。李益連忙起來拜迎。頓時只覺得整座堂屋，像瓊林玉樹一樣。相互照耀，眼光轉動神采照人。隨後就坐在母親身邊。母親對她説：“你經常喜歡吟詠的“開簾風動竹，疑是故人來”，就是這位李十郎的詩呀。你整天吟想，怎麼比得上見一面呢。”
霍小玉便低下頭微笑，輕聲説道：“見面不如聞名。才子怎麼能沒有漂亮的相貌。”李益也就接着站起來下拜。道：“小娘子愛才情，鄙人重視美色。雙方愛好相互映襯，才貌便兼有了。”母親和女兒相現而笑，便舉起杯來勸了幾回酒。李益起身，請霍小玉唱歌。開始時她不肯，母親再三勉強她唱，她才答應，發聲清亮，曲調精奇。
酒宴結束，已到天黑，鮑十一娘引着李益到西院安息。清靜的庭院深邃的房子，簾帳都很華麗。鮑十一娘讓小了頭桂子和浣砂替李益脱靴解帶。不一會，霍小玉來了，言談温柔和順，辭氣婉轉迷人。脱下羅衣的時候，體態更顯得美麗，放下帳子枕上相親，極其歡愛。李益自認為宋玉提到的巫山神女、曹植遇到的洛水神女也不會超過。夜半之時，霍小玉忽然流淚看着李益説：“我本是娼妓人家，自己知道不能與你匹配。如今因為姿色而受到你的愛戀，託身給仁賢君子，只怕我一旦年老色衰，君的恩情隨即轉移衰退。使我像女蘿一樣沒有大樹可以你靠，像秋天的扇子一樣被拋棄。在歡樂到極點的時候，不覺悲從中來。”李益聽了她的話，不勝感歎。於是伸過手臂去讓她枕着，慢慢地對霍小玉説;“生平的願望，今天得以實現，即使粉身碎骨，我發誓絕不丟開你。夫人為什麼説出這些話！請拿出白絹來，我寫上盟約。”
霍小玉也就止住眼淚，讓婢女櫻桃挑起帳子拿着蠟燭，遞給李益筆硯。霍小玉在吹禪之餘，很喜歡詩書，筐子裏箱子裏的筆硯，都是霍王家的舊物。便拿出錦鏽的口袋，取出越地女子織有黑絲直格的三尺白色細絹交給李益。李益一向富有才思，拿過筆來就寫成文句，引用山河作比喻，指看日月表示誠心，句句懇切，聽了這些話很感動人。書寫完畢，便讓她收藏在珍寶箱襄。從此之後相親相愛，好像翡翠鳥在雲中一樣。這樣過了兩年，日夜相隨。後一年的春天，李益因為書判拔萃登科，被授予鄭縣主簿的官職。到了四月，將要去上任，乘便到東都洛陽探親報喜。長安的親戚很多來設宴餞則。當時春天的景色還未消盡，夏天的景色初放光彩，酒席結束賓客散去，離別之情縈繞胸中。
霍小玉對李益説：“以您的才學和名聲，多為人仰慕，願意和您結婚的人，一定是很多的。何況您堂上有嚴厲的雙覲，室內沒有正妻，您這次回家，一定去締結美滿的姻緣。當初盟約上的話，只是空談罷了。然而我有個小小的願望，想立即當面陳述，願它永遠記在您心上，不知您還能聽取嗎？”李益驚怪地説：“我有什度罪過，你忽然説出這些話？你有話就説，我一定敬記在心。”霍小玉説;“我年齡方十八，郎君也才二十二歲，到您三十而立的，時候，還有八年。一輩子的歡樂愛戀，希望在這段時期內享用完。然後您去挑選名門望族，結成秦晉之好，也不算晚。我就拋棄人世之事，剪去頭髮穿上黑衣，過去的願望，到那時也就滿足了。”李益又慚愧又感動，不覺流下眼淚，於是對霍小玉説：“我巳對天發誓，不論生死都會信守。和您白頭到老，還怕不能滿足平生願望，怎敢就有"一心兩意。務必求你不要疑慮，只管安心在家等待我。到了八月份，我一定會回到華州，隨即派人前來接你，相見的日子不會遙遠的。”又過了幾天，李益就告假東去了。
上任後十天，李益請假到東都洛陽去省親。還未到家時，太夫人已替他和表妹盧氏議親，婚約都已定好了。太夫人一向嚴厲固執，李益躊躇不敢推切，便前去行禮答謝，隨即約定好了在近期內成婚。盧家也是名門望族，嫁女兒到他家，聘娶的財禮定要訂為百萬之數，不滿這數目，照理無法辦成。李益家中一向貧窮，辦這事一定要借貸，於是找個藉口請假，到遠地去投奔親戚朋友，渡過長江、淮水，從秋天一查奔到夏天。李益因為自己背棄盟約，長期拖延回去的期限，什度消息也不帶給小玉，就想斷絕她的希望，遠託親戚朋友，不讓泄漏這事。
霍小玉自從李益過期不歸，屢次打聽音信。虛詞詭説，天天不同。她廣求巫師，遍訪占卦的人，內心憂恨，一年有餘。小玉憔悴瘦損獨卧空閨，憂鬱成疾。雖然李益的書信完全斷絕了，但霍小玉的思念盼望卻始終不變，送錢財給親戚朋友，讓他們告訴消息。尋訪之情這樣急切，資財多次用空，經常暗自讓婢女偷偷去賣掉箱子裏的衣服和珍寶，多數賣給西市寄售店裏的侯景先家。一次讓婢女浣紗拿了一隻紫玉釵，到侯景先家去賣。
路上遇見皇家老玉工，看見浣紗拿的釵，上前辨認道：“這隻釵是我製作的。當年霍王的小女兒將要梳髮環加笄，讓我製作了這隻釵，酬謝我一萬文錢。我一直不曾忘記。你是什麼人，從哪裏得到的？”浣沙説：“我家的小娘子，就是霍王的女兒。家道衰敗，淪落嫁了人。夫婿前些時到東都去，再也沒有消息了。她抑鬱成病，現在快有兩年了。讓我賣了它，把錢送人，託他們打聽夫婿的音信。”玉工悽然流淚説：“顯貴人家的子女，落魄失機，竟然到了這般地步：我殘年將盡，看到這種盛衰變化，也忍不住傷感萬分。”於是帶她到延光公主的府上，詳細説了這件事。公主也為此悲歎了很久，送了她十二萬文錢。這時李益定親的盧姓姑娘正在長安，李益已經湊足了聘娶的財用，回到鄭縣。
這年臘月，又請假進京城來成親。祕密地找了一處幽靜的住所，不讓別人知道。有一個考取了明經科的人叫崔允明，是李益的表弟。很厚道，前些年常和李益一同在小玉家歡聚，吃喝談笑，彼此親密無間。每次得到李益的音信，必定老實告訴小玉。小玉常拿些柴草、衣服幫助他。崔允明很感激她。
李益已經到了京城，崔允明原原本本地告欣了小玉。小玉怨恨地歎息道：“世上竟有這樣的事情麼！”遍請親朋好友，千方百計叫李益來。李益自認為拖延歸期違背了盟約，又得知小玉病重，慚傀羞恥，索性狠心割愛，始終不肯前去。他早出晚歸，想以此迴避。小玉日夜哭泣，廢寢忘食，一心想見李益一面，竟沒有任何機會。冤苦悲憤越來越深。困頓地病倒在牀上。這時長安城中逐漸有人知道了這件事。風流人士與豪傑俠客，無不感歎霍小玉的多情，憤恨李益的薄倖。時節已到三月，人們大多出去春遊。李益和同夥五六個人到崇敬寺裏去欣賞杜丹花，漫步於西廊，輪番吟詠詩句。京兆人韋夏卿，是李益的親密朋友，這時也在一起遊玩。他對李益説：“風光非常美麗，草木繁榮茂盛。可憐鄭家姑娘，含冤獨守空房！足下竟會把她拋棄，實在是狠心的人。
大丈夫的心胸，不應當如此。您應當為她着想！”正在歎息責備的時候，忽然有個豪士，穿着淡紫色的麻布衫，挾着弓禪，丰姿神情雋美，穿的服裝輕鬆華麗，只有一個剪成短髮的胡族小童跟在後面，暗暗跟着他們，聽他們説話。一會兒上前對李益作揖説：“您不是叫李十郎的嗎？我的家族本在山東，和外戚結了姻親。我雖然沒有什麼文才，心裏卻一向喜歡賢能的人。仰慕您的聲譽，常想一見。今天幸會，得以一賭風采。我簡陋的住處，離這裏不遠，也有樂隊歌妓，足以娛悦性情。美女八九個，駿馬十多匹，隨您怎歷玩樂都行。只願您光臨一次。”李益一夥人聽到這話，互相騖歎讚美。便和這個豪俠策馬同行，很快繞過幾個坊，就到了勝業坊。李益因為靠近霍小玉的住處，心裏不想過去，就推託有事，想回馬而去。豪俠説：“敝處近在咫尺，能狠心撇下不去麼？”便挽着李益的馬，牽引着往前走。拖拖拉拉之時，已到了鄭家住的小巷。李益神情恍惚，鞭打着馬想回去。豪俠當即命令奴僕好幾個人，抱着架着往前走。快步上前把李益推進了車門宅內，便讓人鎖上門，通報道：“李十郎到了！”
霍小玉全家又驚又喜，聲音傳到了外面。在這天的前一個晚上，霍小玉夢見穿紫衫的男子抱着李益來，到了牀前，讓小玉脱鞋。她驚醒之後，告訴了母親。並自己解釋道：“鞋者，諧也。是説夫妻要再次會合。脱者，解也。 已經相見了又要分開，也就是永別了。從這個徵兆看來。我們一定很快就會見面，見面之後，我就要死了。”到了清晨，請求母親為她梳粧打扮。母親認為她長期生病，神志紊亂，不怎麼相信這事，在她竭力支撐的一會兒，勉強替她梳粧。梳粧剛結束。李益果然來了。
霍小玉纏錦病榻日久，轉身都要有人幫助;突然説李益來了，飛快地自己起了牀，換好了衣服走出去，好像有神助似的。於是就和李益見面，含怒凝視，不再説什度了。虛弱的體質嬌柔，像是支撐不住的樣子，用衣袖一再掩着臉，回頭看李益。感物傷人，四座欷噓不止。不久，有幾十盤酒菜，從外面拿了進來。在座的人都吃騖地看着，忙問原由，原來這些都是豪俠送來的。於是就擺設好，相互靠攏坐下來。霍小玉便側過身，斜看眼看了李益好久，隨即舉起一杯酒，澆在地上説：“我身為女子，薄命如此。君為大丈夫，負心到這種地步。可憐我這美麗的容貌，小小的年歲，就滿含冤恨地死去。慈母還在堂上，不能供養。綾羅綢緞、絲竹管絃，從此也永遠丟下了。帶着痛苦走向黃泉，這是你造成的。李君啊李君，今天就要永別了！我死以後，一定變成厲鬼，讓你的妻妾，終日不得安寧！”
説完，伸出左手握住李益手臂，把酒杯擲在地上，高聲痛哭了好幾聲便氣絕身亡。小玉的母親抬起屍體，放到李益懷裏，讓他呼喚她，可小玉再也無法醒來了。李益為她穿上白色喪服，從早到晚哭泣得很悲衷。
安葬的頭天晚上，李益忽然看見霍小玉在靈帳當中，容貌美麗，像活着的時候一樣。穿看石榴裙，紫色罩袍，紅綠色的披肩紋巾。斜身靠着靈帳，手握繡帶，看着李益説：(慚愧蒙你送別，還有未盡的情意。我在陰曹地府，怎度能不感歎呢。”説完，就看不見了。第二天，安葬在長安御宿原。李益到了墓地，痛哭了一場才回去。一個多月以後，李益和盧氏成了婚。 睹物傷情，鬱悶不樂。夏季五月，李益和盧氏一起回到鄭縣。到縣裏過了十天，李益正和盧氏睡着，忽然帳子外面有嘀嘀咕咕的聲音。李益吃驚地一看，初見一個男子，年紀大約二十多歲，姿態温和美麗，躲藏的身影映在帳子上，連連向盧氏招手。李益驚恐地趕快起牀，繞看帳子好幾圈，身影卻忽然不見了。李益從此心懁疑惑和僧惡。猜忌萬端，夫妻之間，矛盾產生了。有些親戚百般解勸，李益的猜忌心意才慢慢平息。
過後十天左右。李益又從外面回來，盧氏正在牀上禪琴，忽然看到從門口拋入一個雜色嵌花犀牛角的盒子，方圓一寸多，中間束有輕絹，打成同心結，落在盧氏懷中。李益打開一看，見有兩顆表示相思的紅豆，磕頭蠡一個，發殺觜一個，和少量的驢駒媚。李益當即憤怒地大聲吼叫，聲音如同豺狼猛虎，奪過琴砸他妻子，盤問並命令她説實話。盧氏怎度説也辯解不清楚。從此之後李益常常粗暴地鞭打妻子，百般虐待，最後訴訟到公堂把她休掉了。 盧氏走後，李益有時同侍妾等人，偶然同一次房，就增加了對她們的嫉妒猜忌，還有因此被殺掉的。
李益曾遊歷廣陵，得到一個叫營十一孃的名姬，容貌體態玉潤珠媚，李益非常喜歡她。每當對坐時，就對營十一娘説：“我曾在某處得到某個女人，她違犯了某一件事，我用某種辦法殺了她。”天天這樣説，想讓營十一娘怕他，以此肅清閨房內淫亂的事。出門便用浴盆把營十一娘倒扣在牀上，周圍加封條，回家一定詳細查看，然後才揭開。又準備了一把短劍，很鋒利，他看着對侍婢説：“這是信州葛溪出產的鋼鐵，專門斬斷犯有罪過的人的頭！”大抵凡是李益所見到的婦女，每一個都要猜忌，直至娶了三次妻，大都像開頭一樣。
