По приглашению Вавилова в 1934 г. Франк поступил в Физический институт им. П.Н. Лебедева АН СССР в Москве, где и работал с тех пор. Вавилов настаивал, чтобы Франк переключился на атомную физику. Вместе со своим коллегой Л.В. Грошевым Франк провел тщательное сравнение теории и экспериментальных данных, касающееся недавно открытого явления, которое состояло в возникновении электронно-позитронной пары при воздействии гамма-излучения на криптон.

Примерно в это же время Павел Черенков, один из аспирантов Вавилова в Институте им. Лебедева, начал исследование голубого свечения (позднее названного излучением Черенкова или излучением Вавилова – Черенкова), возникающего в преломляющих средах под воздействием гамма-лучей. Черенков показал, что это излучение не было еще одной разновидностью люминесценции, но он не мог объяснить его теоретически. В 1936...1937 гг. Франк и Игорь Тамм сумели вычислить свойства электрона, равномерно движущегося в некоторой среде со скоростью, превышающей скорость света в этой среде (нечто напоминающее лодку, которая движется по воде быстрее, чем создаваемые ею волны). Они обнаружили, что в этом случае излучается энергия, а угол распространения возникающей волны просто выражается через скорость электрона и скорость света в данной среде и в вакууме.

Одним из первых триумфов теории Франка и Тамма было объяснение поляризации излучения Черенкова, которая, в отличие от случая люминесценции, была параллельна падающему излучению, а не перпендикулярна ему. Теория казалась столь удачной, что Франк , Тамм и Черенков экспериментально проверили некоторые ее предсказания, такие, как наличие некоторого энергетического порога для падающего гамма-излучения, зависимость этого порога от показателя преломления среды и форма возникающего излучения (полый конус с осью вдоль направления падающего излучения). Все эти предсказания подтвердились. В знак признания этой работы Франк в 1946 г. был избран членом-корреспондентом АН СССР и вместе с Таммом, Черенковым и Вавиловым был награжден Государственной премией СССР.

Трое здравствующих членов этой группы (Вавилов умер в 1951 г.) были в 1958 г. награждены Нобелевской премией по физике «за открытие и истолкование эффекта Черенкова». В своей Нобелевской лекции Франк указывал, что эффект Черенкова «имеет многочисленные приложения в физике частиц высокой энергии». «Выяснилась также связь между этим явлением и другими проблемами, – добавил он, – как, например, связь с физикой плазмы, астрофизикой, проблемой генерирования радиоволн и проблемой ускорения частиц».

Исследование Франка эффекта Черенкова знаменовало начало его длительного интереса к влиянию оптических свойств среды на излучение движущегося источника; одна из его статей об излучении Черенкова появилась уже в 1980 г. Одним из наиболее важных вкладов Франка в эту область была теория переходного излучения, которую он сформулировал вместе с советским физиком В.Л. Гинзбургом в 1945 г. Этот вид излучения возникает из-за перестройки электрического поля равномерно движущейся частицы, когда она пересекает границу между двумя средами, обладающими разными оптическими свойствами. Хотя эта теория была позднее проверена экспериментально, некоторые из ее важных следствий не удавалось обнаружить лабораторным путем еще более десятка лет.

Кроме оптики, среди других научных интересов Франк , особенно во время второй мировой войны, можно назвать ядерную физику. В середине 40-х гг. он выполнил теоретическую и экспериментальную работу по распространению и увеличению числа нейтронов в уран-графитовых системах и таким образом внес свой вклад в создание атомной бомбы. Он также обдумал экспериментально возникновение нейтронов при взаимодействиях легких атомных ядер, как и при взаимодействиях между высокоскоростными нейтронами и различными ядрами.

В 1946 г. Франк организовал лабораторию атомного ядра в Институте им. Лебедева и стал ее руководителем. Будучи с 1940 г. профессором Московского государственного университета, Франк с 1946 по 1956 г. возглавлял лабораторию радиоактивного излучения в Научно-исследовательском институте ядерной физики при МГУ.

Год спустя под руководством Франка была создана лаборатория нейтронной физики в Объединенном институте ядерных исследований в Дубне. Здесь в 1960 г. был запущен импульсный реактор на быстрых нейтронах для спектроскопических нейтронных исследований. В 1977 г. вошел в строй новый и более мощный импульсный реактор.

Коллеги считали, что Франк обладал глубиной и ясностью мышления, способностью вскрывать существо дела самыми элементарными методами, а также особой интуицией в отношении самых труднопостигаемых вопросов эксперимента и теории. Его научные статьи чрезвычайно ценятся за ясность и логическую четкость.

В 1937 г. Франк женился на Элле Абрамовне Бейлихис, видном историке. Их единственный ребенок, Александр, стал специалистом по нейтронной физике.

Франк награжден двумя орденами Ленина, орденом Трудового Красного Знамени, золотой медалью академика Вавилова АН СССР. Государственные премии СССР (1946, 1954,1971).