Ближе к концу 1866 г. Шифф заключил партнерское соглашение с Генри Баджем из Гамбурга, тогда жившим в Нью-Йорке, а затем ставшим членом фирмы «Халлгартен и Кº», и с Лео Леманном, который тогда находился в Европе, но по настоятельному совету Уильяма Бонна вернулся в Америку и поступил в новую фирму. 1 января 1867 г., когда Джейкобу не исполнилось и двадцати лет, открылась посредническая контора «Бадж, Шифф и Кº». По словам Баджа, Шифф демонстрировал здравомыслие и энергию. Он добивался успеха с самого первого дня и сам вел значительную часть дел. В 1872 г., когда Бадж находился в Европе, умер его отец, и он, по просьбе матери, решил остаться в Европе, сообщив своим партнерам, Шиффу и Леманну, о решении оставить фирму, которую после ухода Баджа в конце того же года пришлось ликвидировать.
Шифф собирался обосноваться в Америке и с этой целью получил американское гражданство. Его натурализация прошла в Суде общегражданских исков в городе и округе Нью-Йорк 8 сентября 1870 г. В 1872 г. Шифф вступил в Торговую палату штата Нью-Йорк. После ликвидации фирмы «Бадж, Шифф и Кº» Шифф поехал в Европу, хотя ненадолго приезжал оттуда в Америку, чтобы помочь в ликвидации фирмы «Бадж, Шифф и Кº». В то время Мориц Варбург из гамбургской фирмы «М.М. Варбург и Кº» искал представителя для «Лондонско-ганзейского банка» (теперь Лондонский коммерческий банк). В число основателей Лондонского банка входили Гамбургский коммерческий и дисконтный банк и другие партнеры; несколько его директоров были родом из Гамбурга. Они в основном занимались акцептованием векселей для гамбургских фирм. Поскольку желательно было, чтобы банк представлял один человек, Варбург еще в 1873 г. воспользовался случаем и предложил Шиффу должность управляющего, который уполномочен был отчитываться перед банковским комитетом в Гамбурге. Назначение Шиффа зафиксировано в циркулярном письме банка от 1 мая 1873 г. Однако в Гамбурге он оставался недолго. После смерти отца Джейкоб переехал из Гамбурга во Франкфурт, чтобы быть с матерью. Его отставка зафиксирована в протоколе заседания совета директоров от 4 сентября 1873 г.
Во Франкфурте Шифф пробыл около года, а затем Абрахам Кун, старший партнер фирмы «Кун, Лёб и Кº», который тогда приезжал в гости во Франкфурт, предложил ему переехать в Нью-Йорк и вступить в фирму. Шифф согласился не сразу, так как не хотел покидать овдовевшую мать. Но она понимала настроения сына и бескорыстно посоветовала ему вернуться в Соединенные Штаты, сказав: «Ты создан для Америки». Поэтому он вернулся в Нью-Йорк и с 1 января 1875 г. приступил к работе в фирме «Кун, Лёб и Кº».
За два года до этого, во время тогдашнего пребывания в Нью-Йорке, Шифф познакомился с Терезой, старшей дочерью Соломона Лёба, хотя в то время видел ее всего один раз. После того как он вступил в фирму ее отца, молодые люди познакомились ближе и 6 мая 1875 г. поженились. Их союз можно назвать по-настоящему счастливым. Иногда Шифф бывал занят работой или поглощен собственными мыслями; но стоило жене войти в комнату, как менялись его поведение и настроение. Семья играла в его жизни главную роль. Всеми доступными ему способами он заботился об удобстве близких и старался по мере сил оградить их от трудностей и тягот жизни.
Он очень любил своих детей, старшую дочь Фриду, впоследствии миссис Феликс М. Варбург, и сына Мортимера. Неустанно заботился о здоровье, счастье и образовании дочери; внимательно следил за ее развитием, находя в ее характере и внешности сходство с собой. Случалось, днем девочка высказывала мнения, которые совпадали с мнением отца, когда он вечером возвращался домой.
Мортимер занимал в мыслях и душе Джейкоба то место, какое в любой семье отводится единственному сыну, и все же отец относился к нему довольно придирчиво. Однажды на рыбалке в Адирондакских горах тринадцатилетний Мортимер поймал лосося весом в двадцать три фунта. Шифф тут же написал о важном событии своему другу Касселю в Лондон. Предметы, которые мальчик изучал в колледже, иностранные языки, подготовка к будущей карьере в бизнесе – все становилось предметом обсуждения с друзьями и знакомыми Шиффа. Один из них, Джеймс Дж. Хилл, взял Мортимера в свою контору, где тот имел возможность увидеть, как управляется крупная железная дорога. Позже его послали в Англию и на время поручили заботам Касселя; у Мортимера появилась возможность поработать под руководством этого выдающегося финансиста. Всем своим старшим друзьям Шифф в письмах с гордостью сообщал о деловой сметке сына; он выражал надежду, что Мортимер «встанет в один ряд с добрыми и серьезными людьми своего поколения».