Фізико-математичний факультет засновано у 1918 році в числі перших двох факультетів Кам’янець-Подільського державного українського університету. За чисельністю студентів це був найбільший факультет навчального закладу. Навіть після відкриття нових факультетів, восени 1919 року на фізико-математичному факультеті навчалося 478 осіб, що складало більше третини від усієї чисельності студентів університету.

Першим деканом факультету був відомий вчений-зоолог – професор Петро Миколайович Бучинський.

Незважаючи на матеріальну скруту та військове протистояння упродовж 1918–1921 років на фізико-математичному факультеті створювалася необхідна матеріально-технічна база. Так, для наукових цілей було збудовано обсерваторію, на закупівлю приладдя для якої було виділено чималі на ті часи кошти.

 З метою поліпшення якості знань студентів влітку 1919 р. на фізико-математичному факультеті були організовані безплатні підготовчі курси з алгебри, геометрії, фізики та тригонометрії.

Аналізуючи етап становлення університету, не можна не помітити досить великий ентузіазм творчої інтелігенції, її бажання надавати знання і займатися науковою роботою та на противагу цьому – надзвичайну скруту та бідність матеріально-технічної бази, що особливо позначалося на вивченні дисциплін фізико-математичного циклу.

Після поразки національно-визвольних змагань перший вищий навчальний заклад на Поділлі зазнав низки реорганізацій.

У січні 1921 року університет було закрито і замість нього створено інститут теоретичних наук (ІТЕН) у складі трьох автономних закладів, серед яких був також інститут фізико-математичних наук.

Постійним реорганізаціям піддавався не лише навчальний заклад, але й система навчання.

У 1963 р. завершилася відбудова і реконструкція колишнього навчального корпусу Кам’янець-Подільського державного українського університету (сьогодні це головний корпус Кам’янець-Подільського національного університету імені Івана Огієнка). Туди перемістився і фізико-математичний факультет, який був найбільшим в університеті і зайняв чи не половину приміщень. На першому та частині другого поверху розмістилися фізичні лабораторії, а половину третього поверху відвели під математичне відділення.

Навчання на фізико-математичному факультеті в ті часи було достатньо ґрунтовним. Чотири випускники факультету стали в майбутньому лауреатами Державної премії України в галузі науки і техніки: І.М. Вишневський (випускник 1960 року), Д.І. Мартинюк (випускник 1962 року), Р.Р. Кондратюк (випускник 1965 року) та Ю.В. Теплінський (випускник 1970 року).

Водночас поліпшувалися й соціально-побутові умови. У лютому 1975 року студенти фізико-математичного факультету отримали в розпорядження новий гуртожиток по вулиці Уральській, який і сьогодні закріплений за факультетом, що дозволяє стовідсотково забезпечити  потреби студентів фікультету місцями проживання.

У 1986 році від Хмельницького технологічного інституту Кам’янець-Подільський педінститут отримав три корпуси, два з яких, по вулиці Уральській, дісталися фізико-математичному факультету (один – лабораторний корпус кафедри фізики). Окрім того, в третьому корпусі (сьогодні це корпус педагогічного факультету) вирішено залишити для фізико-математичного факультету три лабораторії електро- і радіотехніки та потужний генератор постійного струму, які передано від технологічного інституту.

Відповідно до наказу Міністерства освіти в 1980 році на факультеті утворилося чотири кафедри: алгебри і математичного аналізу, геометрії і методики викладання математики, фізики, методики викладання фізики і технічних засобів навчання.

З метою оптимізації навчального процесу у 1997 році на факультеті створена кафедра інформатики та методики її викладання.

До відкриття кафедри інформатики та методики її викладання читання курсу інформатики покладалося на кафедру методики викладання фізики і технічних засобів навчання.

В 1993 році вийшов в світ перший випуск збірника наукових праць Кам’янець-Подільського державного педінституту.

Тепер до структури факультету входять три кафедри, на яких працює майже півсотні педагогічних працівників, зокрема 6 докторів наук професорів. Студенти здобувають освіту за 5 напрямами та спеціальностями. Факультет є одним із найпотужніших наукових осередків університету, в якому активно діють 5 наукових шкіл, щорічно виходять у світ 7 збірників наукових праць.