Josef Frank wurde im Jahr 1885 als Sohn eines jüdischen Textilwarenhändlers während eines Sommeraufenthalts der Familie in Baden bei Wien, NÖ, geboren. Nach der Matura an der Staatsoberrealschule in Wien inskribierte Frank Architektur an der Technischen Hochschule bei Karl König. Er beendete sein Studium im Jahr 1910 mit der 2. Staatsprüfung und praktizierte anschließend bei Architekt Bruno Möhring in Berlin. Nach dem Berlinaufenthalt reiste er für einige Monate nach Italien, um an seiner Dissertation mit dem Thema „Über die ursprüngliche Gestalt der Kirchenbauten des Leone Battista Alberti“ zu arbeiten. Im Jahr 1910 erlangte er sein Doktorat, im gleichen Jahr wurde er Mitglied im Deutschen Werkbund, und im Jahr 1912 war er Gründungsmitglied des Österreichischen Werkbundes. Schon ab dem Jahr 1910 erhielt Frank Aufträge für Wohnungseinrichtungen sowie für die Gestaltung von Ausstellungsräumen. Seine wichtigste Arbeit in dieser Zeit war der Entwurf des Ausstellungsmobiliars für das Museum für Ostasiatische Kunst in Köln (1944 zerstört).

Im Jahr 1913 ging Frank mit Oskar Wlach eine Arbeitsgemeinschaft ein. Wlach war bereits mit Oskar Strnad assoziiert, und die drei Architekten errichteten vor dem Ersten Weltkrieg einige Villenbauten in Wien. 1915 wurde Frank zum Kriegsdienst eingezogen. Nach dem Krieg wurde die Ateliergemeinschaft mit Wlach und Strnad aufgelöst, aber Frank arbeitete fallweise weiterhin mit diesen Architekten zusammen. Einige Projekte realisierte er auch mit Ernst A. Plischke.

Frank beschäftigte sich intensiv mit der Arbeiterwohnungsfrage und war ein glühender Verfechter der Siedlungs- bzw. Gartenstadtbewegung, bei der er u.a. in Adolf Loos, Peter Behrens und Margaret Schütte-Lihotzky Gleichgesinnte fand. Seine Ideen konnte er erstmals 1919 in der Arbeiterkolonie Ortmann, NÖ, realisieren.

Im Jahr 1919 erhielt Frank einen Lehrauftrag für Baukonstruktionslehre an der Wiener Kunstgewerbeschule. Obwohl er die – sich immer mehr durchsetzende – mehrgeschossige Blockverbauung des Wiener kommunalen Wohnbauprogramms ablehnte, errichtete er in den 20er-Jahren dennoch einige Wohnbauanlagen.

Im Jahr 1925 gründete er gemeinsam mit Oskar Wlach das Einrichtungshaus „Haus und Garten“. Das Angebot reichte von der Planung von Häusern über die Einrichtung von Wohnräumen, die Adaptierung alter Räume und Wohnungen bis zur Gestaltung von Einzelgegenständen, Möbeln und Stoffmustern etc. Alle Dinge wurden grundsätzlich individuell gestaltet und Frank bzw. Wlach trugen damit wesentlich dazu bei, dass das „Wiener Möbel“ Weltruhm erlangte.

In den 30er-Jahren ist es Frank noch einmal geglückt, die Idee einer Siedlungsanlage zu realisieren. Frank war im Jahr 1927 zur Errichtung eines Doppelhauses in der Stuttgarter Werkbundsiedlung eingeladen worden und nach einigen Anläufen gelang es ihm, auch in Wien eine Werkbundsiedlung zu verwirklichen (Wien 13, Woinovichgasse 32, 1930-1932). Die einzelnen Häuser wurden von verschiedenen Architekten, die Frank zum Teil aus dem Ausland berief, geplant, und bilden bis heute ein Manifest moderner Architektur der 1930er-Jahre.

Das zunehmend antisemitische Klima veranlasste Frank 1933/34 zur Emigration nach Schweden, der Heimat seiner Frau. Er hatte schon früher von Wien aus Villen und vor allem Wohnungseinrichtungen für Freunde in Schweden realisiert und daher bereits einen gewissen Bekanntheitsgrad auch in Skandinavien erlangt, der ihm alsbald zu einer Tätigkeit in der renommierten Möbel- und Einrichtungsfirma Svenskt Tenn in Stockholm verhalf. Frank reiste noch mehrmals nach Wien und verlegte seinen Wohnsitz offiziell erst im Jahr 1938 nach Stockholm. Das Einrichtungsgeschäft „Haus und Garten“ wurde von dem befreundeten Lampenfabrikanten Julius Kalmar übernommen.

Im Jahr 1939 entschloss sich Frank, einer Einladung der New School for Social Research in New York zu folgen. Ab dem Jahr 1942 hielt er dort Vorlesungen. Gleichzeitig begann er sich auch literarisch zu betätigen. Allerdings wurden diese Arbeiten nicht publiziert (z.B. der Roman „Das Leben des Malers Lucien Sanders“, eine Art Biografie). Frank hielt seine Kontakte mit der Firma Svenskt Tenn weiterhin aufrecht und entwarf vor allem Stoffe, häufig mit stilisierten vegetabilen Mustern. Im Jahr 1947 kehrte er nach Schweden zurück, reiste aber immer wieder in die USA, so etwa zu einer Ausstellung seiner Arbeiten in Pittsburgh.

Franks Arbeiten hatten inzwischen große Anerkennung gefunden, und es wurden in der Folge mehrere Ausstellungen organisiert, wie etwa im Jahr 1965 in Wien von der Österreichischen Gesellschaft für Architektur. Im gleichen Jahr erhielt er den Großen Österreichischen Staatspreis für Architektur. Aus gesundheitlichen Gründen konnte Frank allerdings an der Preisverleihung nicht persönlich teilnehmen. Josef Frank starb im Jahr 1967 im 82.Lebensjahr in Stockholm.