阴世师是隋朝末年的一个重要将领，“性忠厚，多武艺”。他的父亲阴寿是隋朝的开国功臣，官至幽州总管，封赵国公，死后追赠司空。“世师自以世荷隋恩，又籓邸之旧”，阴世师认为自己父子两代都是隋朝重臣，受到隋朝皇帝的恩惠，因此对隋炀帝忠心耿耿。隋炀帝去江都时，任命阴世师为东京留守，辅佐隋炀帝之孙杨侑留守长安，可见对他也非常信任。
大业十三年（617年），李渊在太原起兵。当时只有李世民和父亲李渊在太原，李渊的长子李建成、第四子李元吉、第五子李智云都在家乡。李渊起兵后，隋朝官员搜捕李建成兄弟，李建成带着李元吉逃去了太原，李智云因是庶子出身，惨遭两个哥哥遗弃，没能逃脱，被抓住押送长安。阴世师二话不说，将14岁的李智云斩首。不仅如此，阴世师还派人“发其坟墓，毁其五庙”，挖掘了李家的祖坟，毁坏了李家的家庙。李渊得到消息，悲愤至极。这是一个隋朝忠臣对一个造反者的惩罚，虽是各为其主，但也由此结下了不共戴天的仇恨。
当年底，李渊攻打长安，阴世师拼死抵抗，最终兵败被俘。李渊为了安抚人心，尽量表现得宽大仁慈，但是对阴世师却是毫不留情。当然，阴世师也没有打算苟活，“执阴世师、骨仪等，数以贪婪苛酷，且拒义师，俱斩之”。
阴世师被杀，他的一双儿女却因年幼活了下来，被没入掖庭，“世师有子弘智等，以年幼获全”。
阴世师的女儿颇有姿色，后来被李渊赐给了秦王李世民，做了李世民的小妾。阴氏很受李世民宠爱，为李世民生下了第五子李祐。阴氏的弟弟阴弘智也因此进入秦王府，担任秦王洗马。洗马是侍从官，李世民身边的亲信。
武德九年（626年），玄武门之变后，李世民登基为帝。阴氏被封为德妃，为四妃之一，儿子李祐先封楚王，后改封齐王。阴弘智也跟着鸡犬升天，虽然没有立过多少功劳，能力也很平庸，但是作为李世民的小舅子，仍然被任命为检校吏部侍郎、御史中丞等职。一时之间可谓荣宠至极，不少勋贵子弟纷纷攀附，甚至能与李世民的正牌大舅哥长孙无忌分庭抗礼。
贞观十五年（641年），李祐已经长大成年，李世民让他前往齐州封地，并加封都督齐、青、莱等五州诸军事。李世民还专门任命阴弘智兼任齐王府长史，相当于是大管家，希望他能辅佐和监督外甥李祐，真是用心良苦。其实阴弘智身在长安，这个职务更多是挂名性质的。但原本便是舅舅，现在又有了长史的身份，阴弘智对李祐的影响力就更大了。
在阴弘智的心里，从来没有忘记与李唐皇室之间的仇恨。而这时的李祐只有20岁左右的年纪，生于深宫之中，长于妇人之手，头脑非常简单。李祐“溺群小，好弋猎”，喜欢游玩打猎，结交奸佞小人。阴弘智不仅不劝谏，反而推荐一些江湖上的游侠剑客给李祐，很快李祐的身边就聚集了一批无耻的投机分子。阴弘智还时常劝说李祐招募死士，并对李祐说：“王兄弟多，即上万岁后，何以自全？”怂恿李祐扩充势力，将来夺取皇位。在阴弘智的鼓动下，李祐越来越不安分，多次受到李世民斥责，父子关系迅速恶化。
贞观十七年（643年），李世民派人去齐州调查李祐，李祐非常恐惧，于是杀掉朝廷官员，起兵造反。要说这李祐可真是志大才疏，造反后依然沉湎于歌舞美酒之中，整天与亲信饮酒玩乐，还把亲信们都册封为拓西、拓东等王，然后什么也不干，没有任何远见。结果这场闹着玩一样的造反，等朝廷平叛大军到来后，转眼间就被平定。
李祐被押送至长安，最终以谋反罪贬为庶人，赐死于长安太极宫。而阴弘智怂恿李祐的事情自然也被查了出来，以同谋的罪名处死。李祐的母亲阴氏则受到株连，由妃贬为嫔，不久后郁郁而终。这一切，或许都是当年种下的因。