大业十一年，隋炀帝出游江都，把长安交给司空杨素看守。杨素在长安过得悠闲自在，宛如山中猴王，半躺在胡床上，面对来访者常常爱理不理。胡床类似现在的硬皮沙发，有靠背，又像床一样舒适。周围美女环绕，沉香缭绕，生活享乐至极，让人一眼看出他毫无为国为民之心。

有一天，年轻的李靖前来拜访。当时他只是一个普通百姓，却胸怀大志。杨素依旧半躺在胡床上，显得懒散无趣。李靖见状，愤而上前抱拳，严肃说道：“天下正乱，英雄纷起。您身为朝中重臣，应以招揽贤才为己任，不宜如此散漫。”杨素见李靖言辞恳切，连忙起身，谦虚回应：“你说得对，我欣赏你的胆识。把你的情况留下，我看看安排什么合适的职位。”在李靖高谈阔论时，他没有注意到旁边有一位手持红色拂尘的美女，正若有所思地注视着他。

李靖离开后，这位美女随他走出，悄声询问门房刚才那位男子的房号，记下后回去。半夜时分，李靖在酒店睡到凌晨五点，忽闻敲门声。开门一看，一位身穿紫衣、头戴黑帽的人站在门外，背着包袱，自称就是杨素家中的红拂。李靖喜出望外，将她迎入房中。红拂脱下帽子，十八九岁的年纪，自然美丽，未施脂粉，气质惊人。

红拂直言不讳地告诉李靖，她在杨素家见过许多男子，但无人能与李靖相比，她愿意依靠他。李靖虽心生欢喜，却也因杨素权重而心生忌惮。红拂安慰他，说杨素对家妓向来不管，她一切安排周到，无需担心。李靖得知红拂姓张，并在家中排行老大，不禁心生敬意。面对如此美人，他既欢喜又忐忑，窗外常有人偷看，情景如同热闹江湖。

几日平安无事后，李靖与红拂策马离开，前往太原投奔李渊。途中，他们在旅店小憩，炖肉半熟，张红拂刚洗完头梳发。夜晚，忽然一位赤须中等身材的男子骑着小毛驴闯入，带着枕头半躺炉边。李靖心中怒意难消，但见对方气度非凡，只得忍住，继续整理马匹。张红拂见状，安抚李靖，并与来客相认，原来两人同姓张，便称其为“三哥”，关系顿时亲近。三人围炉而坐，共食羊肉，来客豪爽，用匕首大快朵颐，毛驴也吃得津津有味。

来客与张红拂交谈，关心李靖如何获得如此美人，李靖坦言自己虽贫穷，但有志向。来客表示赞赏，并询问去太原目的，李靖说明是投奔李世民，并通过朋友刘文静引荐。三人按约抵达太原，与刘文静联系后，得以见到年轻的李世民。李世民神采飞扬，气度非凡，让虬髯客心服口服。

随后，李靖、红拂一行入虬髯客宅邸拜访。豪宅门庭壮丽，侍女成群，陈设珍异，四人受到盛情款待。虬髯客慷慨赠予珍宝，寓意支持李靖将来建功立业。此后十年，李靖与红拂成为虬髯客豪宅的主人，并协助李唐建立天下。贞观十年，李靖任左丞相，曾获东南蛮夷来报战事，他知虬髯客已成大事，夫妻二人共沐东南，庆贺成功。

李靖的卫公兵法中，有半数传授自虬髯客。史书记载，虬髯客本志在天下，遇文皇后甘心退让，显示其胸怀与智慧。