Вивьен Мэри Хартли родилась в индийском городе Дарджилинг. Её отец, Эрнест Хартли, англичанин по происхождению, был офицером индийской кавалерии. Мать, Гертруда Робинсон Яки, имела неизвестное происхождение. Скорее всего она была ирландкой. Родители поженились в Кенсингтоне, Лондон, в 1912 году. В 1917 году Эрнеста Хартли перевели в Бангалор, в то время как Гертруда и Вивьен остались в Утакамунд. Вивьен Хартли в первый раз выступила на сцене в возрасте трёх лет, прочитав стихотворение «Маленький Бо Пип» в составе любительской театральной группы своей матери. Гертруда Хартли старалась привить дочери любовь к литературе и знакомила её с произведениями Ганса Христиана Андерсена, Льюиса Кэрролла и Редьярда Киплинга, а также с рассказами из греческой мифологии. Единственный ребёнок в семье, Вивьен Хартли была отправлена в Монастырь Священного Сердца в Англии в 1920 году. Её лучшей подругой в монастыре была будущая актриса Морин О'Салливан, с которой Вивьен делилась своим желанием стать «великой актрисой».

Вивьен Хартли продолжила свое образование в Европе, вернувшись в 1931 к своим родителям в Англию. Она мечтала стать актрисой, и родители оказывали ей поддержку. Отец помог ей поступить в Королевскую Академию Драматических искусств в Лондоне.

В конце 1931 году она встретила Герберта Ли Холмана, адвоката, который был старше её на 13 лет. Несмотря на то, что он не одобрял «людей, связанных с театром», они поженились 20 декабря 1932 года. Вивьен заканчила свое обучение уже находясь замужем. 12 октября 1933 года она родила ребёнка — девочку, которую назвали Сюзанна, но Вивьен задыхалась от навязанной ей роли домохозяйки. Друзья советовали её на небольшую роль в «Дела идут на лад», и эта роль стала дебютом Вивьен на киноэкране. Она наняла агента Джона Гиддона, который заверил её, что имя «Вивьен Холман» не подходящее для актрисы, и, отказавшись от предложенного псевдонима «Айприл Морн», она берет имя «Вивьен Ли». Гиддон порекомендовал её Александру Корда как возможную киноактрису, но тот счёл, что в ней нет потенциала.
Сыграв в спектакле «Маска добродетели» в 1935 году, Вивьен получила отличные отзывы, за которыми последовали интервью и статьи в газетах. Среди этих статей была одна из «Дэйли экспресс», в которой журналист заметил, как «молниеносная перемена произошла на её лице». Это был первый раз, когда публика заметила быстрые смены настроения Вивьен, выделявшие её среди других актрис. Джон Бенджаман описал её как «дух английского девичества». Корда, когда пришло время премьерного показа, понял свою ошибку и подписал с ней контракт, в котором она назвалась своим псевдонимом «Вивьен Ли». Она продолжала играть, но когда Корда перенес постановку в больший театральный зал, Ли обвинили в неумении держать в напряжении такую большую аудиторию и заставили корректировать свой голос, чтобы его было слышно во всех концах зала. Из-за этого спектакль закрыли.