提起杨慎矜的家世，绝对称的上显赫，他曾祖就是历史上大名鼎鼎的昏君隋炀帝杨广，他祖父杨政道当年与萧皇后在隋亡之后辗转落入东突厥之手，李靖灭掉东突厥，杨政道与萧后被李世民收留，安居于长安。

李唐对这一前朝遗脉相当不错，杨政道之子杨崇礼在武周时期担任过吏部郎中，玄宗继位又改任太府少卿，替玄宗掌管国家财库，为官清廉勤俭，赢得了相当不错的政声与口碑。三个儿子杨慎矜、杨慎名、杨慎馀也相继得得重用。

杨慎矜依附李林甫，协助他扳倒了政敌皇甫惟明、韦坚，经其推荐获任户部侍郎兼御史中丞。

杨慎矜为人精明，极擅理财，而这恰恰是玄宗执政后期最为看重的才能。随着职务的提升，他与玄宗关系愈发亲近，渐有压过李林甫的势头，由此引来李林甫忌恨。

杨慎矜与户部郎中王鉷的父亲王晋是表兄弟，小时候经常与王鉷在一起玩耍，王鉷到御史台任侍御史，杨慎矜当时是御史台主事，替他出过不少力。

待王鉷升任御史中丞，成了朝廷三品大员，杨慎矜仗着有恩于他，仍然像称呼晚辈那样当众直呼他的姓名。而王鉷自认为攀上了李林甫这棵大树，对杨慎矜的倚老卖老颇有怨言。

后来杨慎矜夺占了王鉷的职田，又逢人就讲王鉷母亲地位低贱，惹恼了王鉷。杨慎矜却压根没有意识到这些，仍把王鉷当成无话不讲的发小。

杨慎矜与来自汝州的术士史敬忠往来紧密，史敬忠私下告诉他天下将乱，劝他在临汝郡（今河南平顶山境）山中购买一座庄园避难。恰在此时，杨慎矜家中发生了一次解释不清的灵异事件，他父亲坟墓周边的草木上不知什么原因有血涌出。那时的人都迷信，认为这是大凶征兆，杨慎矜恐惧之下向史敬忠请教。

史敬忠认为有妖物作祟，在杨慎矜家中设坛做法，让他赤身祼体带上枷锁坐在当中。说来也怪，一场法事下来，坟墓中的鲜血不再涌出。杨慎矜觉得史敬忠真有些本事，对他更加敬重。

杨慎矜府中有个叫春草的婢女，人长的很漂亮，但因犯下过失惹怒了杨慎矜，准备将她处死。史敬忠劝他：“不要杀，把她卖掉可以换回十头牛，每年能多耕十顷田。”

杨慎矜听从了他的建议 ，遂由史敬忠出面，把春草卖给了杨贵妃的姐姐。杨贵妃的姐姐带着春草入宫，见到了玄宗。玄宗喜欢她的聪明伶俐，把她留到宫中侍奉左右。

玄宗问她来历，春草如实回答。玄宗听后有些奇怪：“他家缺钱吗？”

春草答：“不是钱的事，本来他要处死我，幸好有位活神仙史敬忠解救才得以免死。”