很多史书和典籍上都记载关于黄精的传说和故事，其中有一则葛玄和黄精的传说颇为感人。讲的是一位名叫黄经的青年人为了救妻子的性命，在葛玄的指引下去云雾仙洞采摘黄精草。采到黄精草的时候，正好遇到了王母的天兵大将，葛玄帮助黄经打败了天兵天将，黄经的妻子的疾病就得到了治愈。他同村子里的人也纷纷来山上采摘黄精治疔疾病，黄经为了防止王母的天兵天将再来干扰，就一直把守在洞门。由于以黄精为食，黄经也变成了仙。从此以后人们就把云雾仙洞改名为“黄经洞”。
历史上对黄精的记载开始得很早，《神仙芝草经》这样记述：“黄精宽中益气，使五脏调良，肌肉充盛，骨髓坚强，其力增倍，多年不老，颜色鲜明，发白更黑，齿落更生。”张华在《博物志》中曾这样形容过黄精：“太阳之草曰黄精，饵之可以长生”，晋代名医葛洪在《抱朴子》中曾说：“昔人以本品得坤土之气，获天地之精，故名。”
黄精是延年益寿的上品，很多史料上都有记载，还有一些诗词中对黄精的益寿之功进行赞誉。《神仙传》中有这样的记载：“尹轨学道．常服黄精，年数百岁，后到太和山中。王烈常服黄精，年三百三十八岁，犹有少容，登山历险，步行如飞。”历史上很多的文人雅士都对黄精推崇有加，唐代著名的诗人杜甫曾经写过这样的诗句“扫除发黄精在，君看他年冰雪容”；明代着名的散曲家王磐有这样一首黄精诗：神州黄精，济我穷氓，代粮辟谷，且使长生。胡不食之，羽化身轻，受兹饥馁，苦志劳形。
黄精产于徽州，当地人经常把黄精当作馈赠朋友的佳品。
