東方美人茶的故事來源有多種說法。
首先是最普遍的“農婦茶飲”說，相傳在清朝乾隆年間，有個叫胡炳衡的村婦，因家中無公事，便在房後的茶山采了些芽葉，不料茶葉異香撲鼻，口感鮮美無比。訊息傳到宮中，乾隆皇帝竟把這位村婦召進宮中，並品飲了這種茶，大加讚賞。自此，東方美人茶便名揚四海。
另一種說法是“觀音託夢”說。相傳很久以前，西天如來佛前的一朵蘭花因下凡而投胎到凡間，成為一株蘭心茶樹。一日，一觀音菩薩化成村婦，將此茶樹移植到自己山上。幾年後茶樹長成，茶葉香軟甘醇，女人喝了顯青春，男人喝了精力旺，於是便有了東方美人茶的美譽之稱。
此外還有“茶葉抗蟲”說。很久以前，當地茶山有一名女子名叫小芳，是村裡的茶女。一天晚上小芳在山上放牧時，忽然看見一棵樹上掛滿了金光閃閃的茶葉蟲。第二天小芳告知村里人，並提議把茶葉蟲捉了，以免蟲吃茶葉。但是眾人都不信她的話。沒幾天果然又生蟲了，數量更多更嚴重。這時人們才意識到是天神派蟲來糟蹋茶葉。小芳聽後決定找村長去向天神謝罪祈禱。就在這時她忽然看見一位慈眉善目的老神仙飄然而去。小芳便跟著神仙來到山上並求他賜福於人間。神仙被小芳的誠心感動了，便把一些神奇的茶葉種子施了法術並放在了山上。不多久這神奇的茶葉便長成了芽頭肥碩、香軟甘醇的茶葉佳品。
這些故事都賦予了東方美人茶神秘、美麗的色彩，使其在民間更受歡迎。