Poznał swego razu Charlesa Lisanbya, który stał się kluczem do nowych znajomości. To on zabiera go na ekskluzywne przyjęcia i zabawy. W 1962 roku razem ze swoimi przyjaciółmi, jak ich nazywał „the boys and the girls”, czyli ze swoimi przyjaciółmi, kochankami, gwiazdami filmowymi przeprowadził się na 47ulicę, na strych, który od tej chwili nosi nazwę Factory. Staje się ono nowojorskim miejscem podkultury – ściany oklejony aluminową folią, muzyka „na full”, narkotyki, geje. Factory było fabryką znanych serigrafii. Technika ta polegała na przeniesieniu fotografii na jedwabną kliszę. Wizerunki z kliszy odbijano na różnych powierzchniach. Andy wybierał etykietkę Coca Coli czy fotografie Marilyn Monroe, lub Liz Taylor, a nastepnie jego asystenci wykonywali serigrafię. Dodatkowo ubarwiano kontury jaskrawymi kolorami. Prócz plakatów, które stały się popularne i wykorzystywane na szeroka skalę przemysłową, Warhola zajął się kręceniem filmów. Ustawial kamerę, która rejestrowała np. sen jego kochanka Hojna Giorno, czy dzień przed Empire State Building. Tak powstał „Sen” i „Empire”.

    Andy zaznajomił się z piękna anorektyczką Edie Sedwick, ale jego przygody miłosne nie są zupełnie piękne. Pewnego razu zostaje postrzelony przez odrzuconą przez niego feministkę Valerie Solanas. Z trudem przechodzi ciężką operację. Ledwo co jego blizny się zagoiły pozuje do zdjęć Richardowi Avedonowi, gdzie pokazuje szwy na klatce piersiowej. Lata 70. to okres pogłębiającej się z dnia na dzień fobii. Boi się kobiet, ukrywa się w Factory, rzadko, z kim się spotyka. Ma małe zlecenia dla Michaela Jacksona, Brigitte Bardot czy Micka Jaggera. Wydaje książkę „The Philosophy of Andy Warchol”, w której wyśmiewał amerykańską konsumpcję i uważał, że jest ona najlepszą maszynką do robienia pieniędzy, dlatego nazywał ją biznesem.

    Popada w nową pasję, jaka jest kolekcjonerstwo. Targuje się codziennie w antykwariacie kupując to, co go zachwyca. Po pewnym czasie nazbierał tyle rzeczy, że w jego pracowni z wielkim trudem można było przejść, nie mówiąc już o siedzeniu. W 1986 roku dowiaduje się, że ma zapalenie woreczka żółciowego. Ze strachu odwlekał operację. Kiedy jednak przyjaciele zaciągnęli go do szpitala zapytał się: „ Czy leżą tu jakieś gwiazdy?” na co recepcjonistka mu odpowiedziała „Nie, pan jest największą”. Dzień po operacji zmarł.