В сочинении «Анализ при помощи уравнений с бесконечным числом членов» (1669, опубликовано 1711) Н. вычислил производную и интеграл любой степенной функции. Различные рациональные, дробно-рациональные, иррациональные и некоторые трансцендентные функции (логарифмическую, показательную, синус, косинус, арксинус) Н. выражал с помощью бесконечных степенных рядов. В этом же труде Н. изложил метод численного решения алгебраических уравнений (см. Ньютона метод), а также метод для нахождения разложения неявных функций в ряд по дробным степеням аргумента. Метод вычисления и изучения функций их приближением бесконечными рядами приобрёл огромное значение для всего анализа и его приложений.
Наиболее полное изложение дифференциального и интегрального исчислений содержится в «Методе флюксий...» (1670—1671, опубл. 1736). Здесь Н. формулирует две основные взаимно-обратные задачи анализа: 1) определение скорости движения в данный момент времени по известному пути, или определение соотношения между флюксиями по данному соотношению между флюентами (задача дифференцирования), и 2) определение пройденного за данное время пути по известной скорости движения, или определение соотношения между флюентами по данному соотношению между флюксиями (задача интегрирования дифференциального уравнения и, в частности, отыскания первообразных). Метод флюксий применяется здесь к большому числу геометрических вопросов (задачи на касательные, кривизну, экстремумы, квадратуры, спрямления и др.); здесь же выражается в элементарных функциях ряд интегралов от функций, содержащих квадратный корень из квадратичного трёхчлена. Большое внимание уделено в «Методе флюксий» интегрированию обыкновенных дифференциальных уравнений, причём основную роль играет представление решения в виде бесконечного степенного ряда. Н. принадлежит также решение некоторых задач вариационного исчисления.
Во введении к «Рассуждению о квадратуре кривых» (основной текст 1665—66, введение и окончательный вариант 1670, опубликован 1704) и в «Началах» он намечает программу построения метода флюксий на основе учения о пределе, о «последних отношениях исчезающих величин» или «первых отношениях зарождающихся величин», не давая, впрочем, формального определения предела и рассматривая его как первоначальное. Учение Н. о пределе через ряд посредствующих звеньев (Ж. Л. Д'Аламбер, Л. Эйлер) получило глубокое развитие в математике 19 в. (О. Л. Коши и др.).
В «Методе разностей» (опубликован 1711) Н. дал решение задачи о проведении через n + 1 данные точки с равноотстоящими или неравноотстоящими абсциссами параболической кривой n-го порядка и предложил интерполяционную формулу, а в «Началах» дал теорию конических сечений. В «Перечислении кривых третьего порядка» (опубликована 1704) Н. приводится классификация этих кривых, сообщаются понятия диаметра и центра, указываются способы построения кривых 2-го и 3-го порядка по различным условиям. Этот труд сыграл большую роль в развитии аналитической и отчасти проективной геометрии. Во «Всеобщей арифметике» (опубликована в 1707 по лекциям, читанным в 70-е гг. 17 в.) содержатся важные теоремы о симметрических функциях корней алгебраических уравнений, об отделении корней, о приводимости уравнений и др. Алгебра окончательно освобождается у Н. от геометрической формы, и его определение числа не как собрания единиц, а как отношения длины любого отрезка к отрезку, принятому за единицу, явилось важным этапом в развитии учения о действительном числе.
Созданная Н. теория движения небесных тел, основанная на законе всемирного тяготения, была признана крупнейшими английским учёными того времени и резко отрицательно встречена на европейском континенте. Противниками взглядов Н. (в частности, в вопросе о тяготении) были картезианцы (см. Картезианство), воззрения которых господствовали в Европе (в особенности во Франции) в 1-й половине 18 в. Убедительным доводом в пользу теории Н. явилось обнаружение рассчитанной им приплюснутости земного шара у полюсов вместо выпуклостей, ожидавшихся по учению Декарта. Исключительную роль в укреплении авторитета теории Н. сыграла работа А. К. Клеро по учёту возмущающего действия Юпитера и Сатурна на движение кометы Галлея. Успехи теории Н. в решении задач небесной механики увенчались открытием планеты Нептун (1846), основанном на расчётах возмущений орбиты Юпитера (У. Леверье и Дж. Адамс).