Vor allem junge Jüdinnen und Juden bereiteten sich auf einen bewaffneten Widerstand vor. Erste Nachrichten von den Massenexekutionen in Paneriai stießen im Ghetto wegen ihrer Ungeheuerlichkeit zunächst auf Unglauben. Nachdem jedoch alle Zweifel beseitigt waren, schlossen sich im Januar 1942 Aktivisten der zionistischen, bundistischen und kommunistischen Jugend zur Widerstandsorganisation FPO (Fareynikte Partizaner Organizatsie) zusammen. Der von Abba Kovner für die FPO verfasste Aufruf zum Widerstand verbreitete sich durch Boten auch in anderen Ghettos des deutschen Besatzungsgebiets: „Lassen wir uns nicht wie die Schafe zur Schlachtbank führen!“ Vorausgegangen war – nach der Ermordung von über 30.000 Juden in Vilnius und Umgebung innerhalb von nur sechs Monaten – die Entscheidung, dem kollektiven Vernichtungsplan der Deutschen und deren litauischen Helfern den bewaffneten Widerstand und zwar in einem Bündnis von Kommunisten bis zu religiösen Zionisten entgegenzusetzen. FPO-Anführer war Yitzak Witenberg, seine Stellvertreter waren Abba Kovner und Josef Glazman.  Die Mitglieder formierten sich in kleinen Gruppen, die zu Zügen bis hin zu zwei Bataillonen, angeführt von Kovner und Glazman, zusammengefasst waren. Dazu gab es Spezialeinheiten wie z.B. Information, Waffenbeschaffung und -training, Wegführung. Die FPO hatte eine Gesamtstärke von 250 bis 300 Männer und Frauen. Daneben gründete sich unter der Leitung von Yechiel Sheinbaum eine „Zweite Kampfgruppe“, die ab Sommer 1943 als eigenständige Gruppe mit der FPO zusammenarbeitete. Ihr gehörten ca. 200 Mitglieder an. Die Ziele der beiden Gruppierungen unterschieden sich insofern, als die „Zweite Kampfgruppe“ von vornherein die Vorbereitung eines bewaffneten Aufstandes im Ghetto für aussichtslos hielt und sich darauf vorbereitete, in die Wälder zu gehen und von dort aus gegen die Deutschen zu kämpfen.  

Der Widerstand fand auf mehreren Ebenen statt: während Rozka Korczak, Abraham Sutzkever, Shermke Kaczerginski und ca. 40 andere als „Papierbrigade“ versuchten, soviel Manuskripte, Bücher und Kultgegenstände aus dem YIVO vor dem Zugriff des Einsatzstabs Reichsleiter Rosenberg (Litauen) zu retten (Ghetto Kultur), gelang im Juni 1942 einer FPO-Gruppe unter Führung von Vitka Kempner ein erster Sabotageakt: die Sprengung einer Eisenbahnstrecke und ein daraufhin entgleister Wehrmachtszug, der Waffen an die Ostfront transportierte.