李密家庭的上几代是北周和隋朝的贵族，但是到了他这一代，常常散发家产。在杨广登基没多久，就任命为宫廷的侍卫。有一次，杨广看到他，对他产生了好奇，左看右看，并问身边的宇文述说：“刚才那个黑脸小孩是个什么人?”宇文述回答他：“是已故的蒲山公之子李密。”杨广说：“刚才我看这个小孩神态很不正常，还是别让他在宫中当侍卫吧。”于是，宇文述就去跟李密说，将其免职让他回家，李密并没有因为失去职位而沮丧，而是想回家之后，好好读书，做一个有学问的人。
李密牛角挂书的故事
有一次，李密骑着个牛，出门去看一个朋友。在途中，他为了节约时间，就把《汉书》挂在牛角上，自己继续阅读。碰巧当朝宰相杨素正好路过，坐着马车从后赶上去，就看到有位少年坐在牛背上看书，觉得很好奇，便问道：“是哪位书生，这么用功读书啊?”李密转头一看，发现是当朝宰相，就慌忙下了牛背，行了一个礼，自报了名字。
杨素继续问道：“你是在看什么书呢?”
李密回答道：“我在看有关项羽的传记，觉得很有意思。”
之后，两个人就坐下来交流了一会，杨素就觉得这个年轻人非常的有意思，欣赏他的才华。回家之后，就跟自己的儿子杨玄感说：“我觉得李密这个孩子，很有才华，至少比你们这些兄弟好很多，以后有什么事情可以去找他商量。”至此之后，两个年轻人就走在，关系日益紧密。
李密
