Das Ghetto in Vilnius wurde am 6. September 1941 als bewachter und abgeschlossener Bezirk installiert. Nach langem Hin und Her zwischen Militärverwaltung, Bürgerkomitee und deutscher Zivilverwaltung erfolgte die Anordnung durch den Generalkommissar für Litauen, Adrian von Renteln (Reichskommissariat Ostland). Der jüdischen Bevölkerung wurde befohlen, Wohnungen und Häuser zu verlassen und zunächst in zwei von einander durch die heutige Vokiečių-Straße (damals Deutsche Straße) getrennte Bezirke der Altstadt „umzusiedeln“. Im „kleinen Ghetto“ wurden ca. 10.000, im „großen Ghetto“ etwa 30.000 Männer, Frauen und Kinder, Alte und Kranke auf engstem Raum zusammengepfercht. Als „Habe“ durften sie mitnehmen, was sie tragen konnten. Vorausgegangen war die so genannte „Große Provokation“ am 31. August 1941, als ein von litauischen „Partisanen“ vorgetäuschter Anschlag auf deutsche Soldaten den Massenmord an jüdischen Familien in der Altstadt auslöste, der auf diese brutale Weise die Wohnungen im Gebiet des vorgesehenen Ghettos „frei“ machte. Die Opfer dieser „Aktion“ waren nach Paneriai verschleppt und dort erschossen worden. Das „kleine Ghetto“, in dem vor allem nicht mehr arbeitsfähige Menschen eingepfercht waren, wurde schon Ende Oktober 1941 wieder aufgelöst, die Bewohner, mit usnahme noch Arbeitsfähiger, wurden ebenfalls nach Paneriai geschafft und ermordet. Zunächst erhalten blieb das „große Ghetto“.
Die arbeitsfähigen Gefangenen hatten vor allem außerhalb des Ghettos Zwangsarbeit zu leisten: in Fabriken und auf Baustellen, in Torfbrüchen, im Eisenbahn- und Straßenbau oder in Dienststellen der deutschen Besatzungsverwaltung. Als Instrument der zunehmenden Dezimierung der Zahl der Ghettobewohner diente ein System in ihrer Farbe wechselnder Arbeitsscheine. Wer bei „Aktionen“ ohne gültigen Arbeitsschein angetroffene wurde, hatte mit der Deportation nach Paneriai zu rechnen.
Die Ordnung im Ghetto musste von einem eingesetzten Judenrat und einer jüdischen Polizei aufrechterhalten werden. Die jüdische Ghettopolizei hatte u.a. die Ghetto-Tore zu bewachen und die von der täglichen Zwangsarbeit Zurückkehrenden nach Schmuggelware zu kontrollieren. Manche Ghettopolizisten waren korrupt und trieben bei „Aktionen“ die von den deutschen „Herren über Leben und Tod“ angeforderten Bewohner zusammen. Andere Polizisten leisteten jedoch Hilfe für Verfolgte, einige Polizisten waren sogar Mitglieder des jüdischen Widerstandes.
Chef des Judenrats und der Ghetto-Verwaltung war ab Mitte 1942 Jakob Gens, der mit einer „Schaukelpolitik“ zwischen den Befehlen der Deutschen zur Auslieferung einer bestimmten Zahl von Juden und dem Bemühen um Rettung der Ghetto-Insassen zu lavieren versuchte – letztlich ohne Erfolg. Kurz vor Auflösung des Ghettos und der Deportation seiner Bewohner im September 1943 wurde Gens von der Gestapo ermordet.
Von den im „großen Ghetto“ unter unmenschlichen Bedingungen Eingesperrten waren Ende 1941 nur noch etwa 20.000 Häftlinge am Leben. Innerhalb von weniger als vier Monaten waren weitere zehntausend Menschen vor allem in Paneriai unter dem Kommando der SS von litauischen Hilfstruppen ermordet worden. Die Tagebücher und Chroniken u.a. von Grigorij Schur, Herman Kruk und Abraham Suzkever schildern das Grauen des alltäglichen Lebens, des Sterbens und des verzweifelten Widerstandes.