Докладний рік народження Мазепи й досі невідомий: дослідники означають його між 1629-1632 рр. Невідомо напевно, де він учився, є вказівки, що вчився в київській Академії, по другій версії — в єзуїтській колегії в Варшаві, а потім іще й за кордоном; В усякому разі він мав дуже гарну, як на ті часи, освіту, й пізніше, як побачимо, виявив себе великим меценатом просвіти й мистецтва. Найкращу школу життя пройшов Мазепа при дворі польського короля Яна Казимира, куди був узятий як паж десь між 1649-52 роками, в числі кількох молодих козаків, яких король хотів виховати при собі, в прихильній до Польщі атмосфері. В 1659 р. Мазепа возив лист від короля до гетьмана Виговського, а в 1662 до гетьмана Юрія Хмельницького; в 1663 р. відвозив клейноди до гетьмана Тетері. Але, коли король пішов у свій відомий похід на Україну 1663 р., Мазепа, як каже Величко, прибувши до своєї рідної Білоцерківщини, «подякував королеві за службу» й залишився приватною людиною. Ол. Лазаревський думає, що причиною залишення Мазепою служби було те, що він невдало виконав свою місію до Тетері. В 1669 р. Мазепа стає на службу гетьмана Дорошенка.
Спочатку був він лише ротмістром «надворної корогви» — гвардії гетьмана, але його здібності, знання світу й людей швидко були оцінені Чигиринським гетьманом, і за кілька років він став ґенеральним осавулом, а потім і писарем. Перебуваючи на службі в Дорошенка, Мазепа одружився з дочкою білоцерківського полковника Половця, вдовою по полковнику Фридирикевичу, але дітей ніколи не мав. У 1674 р., в липні місяці, коли справи Дорошенка стояли дуже погано, він був висланий своїм гетьманом до Криму й до Туреччини прохати військової допомоги проти москалів і Самойловича, але по дорозі попав у полон до запорожців, трохи не загинув, але, врятований Сірком, був висланий ним до Самойдовича. Він зумів дуже вподобатися Самойловичеві, і той, висилаючи його до Москви, ґарантував йому вільний поворот на Україну. Мазепа вважав діло Дорошенка вже за пропаще й отверто розповів у Москві про всі його турецько-татарські зносини. Мазепу справді пустили назад на Україну, і він вступив на службу до Самойловича. Службову каріеру довелося починати наново: колишній ґенеральний писар починає її в скромній ролі «гетьманського дворянина»; його матеріяльні достатки були в цей час такі невеликі, що для того, щоб виорати подарований йому гетьманом Самойловичем шматок поля, він мусів спрягатися з сусідом, заможним козаком. Одначе й у Самойловича Мазепа висунувся в перші ряди старшини і в 1682 році став ґенеральним осавулом. Усе це говорить не тільки за великі здібності Мазепи, але й за його особливе вміння сходитися з людьми й подобатися їм. На службі в Самойловича виконував Мазепа важливі дипльоматичні доручення, їздив кілька разів у Москву, і це дало йому змогу близько придивитися до московських урядових кругів та до їх політики.
Тяжко сказати, наскільки сам Мазепа був причетний до упадку Самойловича: одні історики, як Костомарів і Лазаревський, уважають його трохи чи не за головного привідцю в усій справі, хоча він сам не підписав доносу. Інші, от як Уманець, кажуть, що Самойлович упав жертвою своєї загальної непопулярности серед війська, що Мазепі не було потреби прикладати рук, щоб його погубити, а що сам Мазепа став гетьманом тому, що він був найпопулярнішою людиною, коли не по всій Україні, то принаймні в таборі над Коломаком. У всякому разі не підлягає сумніву, що в виборі Мазепи відіграв дуже ловажну ролю князь Ґоліцин, який потім дістав від нового гетьмана величезну суму грошей.
Звістка про події над Коломаком послужила немов гаслом для розрухів по цілій Україні: скрізь поспільство та прості козаки кинулися бити й грабувати старшину і взагалі людей заможних, виявляючи цим свій протест проти старшинського панування, проти ненависних оренд і ріжних, звязаних із війною тягарів. Зразу зпід Коломака новий гетьман мусів рушити з компанійськими полками приборкати ці розрухи. Найбільше винних і провідців карали, а одночасно гетьман розіслав універсал, щоб ніхто не смів за свої кривди самовільно мститись, а щоб доходили правди судом, і оповіщав, що касує оренди. Трохи згодом у 1691 році він розіслав універсали в усі полки, щоб ніхто з державців не важився обтяжати посполитих великими роботами й вигаданими поборами і не чинив їм кривди в володінні полями, лісами й сіножатями, та щоб узагалі не чинили насильств і «нічого нового й понад міру не вигадували».
Заспокоївши народне хвилювання, Мазепа мусів братися знову за воєнні приготування до нової боротьби з Кримом. Насамперед треба було побудувати укріплені пункти понад Самарою й заселити їх. Весною 1688 року було зібрано 20.000 козаків, вибраних із усіх полків, і почалася будова кріпостей, із яких головною була Новобогородська на березі Самари. Мазепа сам на місці кермував справою й, побудувавши «городки», зараз же позаселював їх околиці, пераважно колишніми переселенцями з правого берега Дніпра. Самі ці фортеці мали служити базою для нового будучого наступу на Крим, і рівночасно боронити гетьманщину від несподіваних татарських наскоків. Будовою фортець були дуже незадоволені запорожці. Вони вважали, що цим порушується їх права на присамарські степи й боялися, що гетьман буде їх тепер держати в руках. Але Мазепа післав запорожцям у подарунку тисячу червоних і запевнив, що ці фортеці збудовані зовсім не проти них, а на те, щоб улегшити майбутній новий похід на Крим. Запорожці, як каже один історик, зробили вигляд, що повірили гетьманові, й на якийсь час затихли.
Новий похід дійсно відбувся весною 1689 року. Успіхи австрійців і венеціян у боротьбі з турками спонукали й московський уряд організувати новий похід на Крим. 112-тисячна московська армія (у склад її входили й слобідські українські полки) вирушила в березні 1689 року під проводом тогож князя Ґоліцина. В кінці квітня до неї прилучився Мазепа з цілим своїм військом. На цей раз устигли дійти до Перекопа в кінці травня. Хан напав на союзників із усіма своїми силами, але був відбитий. Одначе Ґоліцин не пішов далі Перекопа: татари знищили кругом усю місцевість, не ставало води й корму для такого великого війська; Ґоліцин боявся йти далі і в початку червня наказав відворот. За два тижні військо було вже на берегах Самари й скоро по тому москалі пішли до себе на Московщину, а Мазепа з українським військом — на Гетьманщину. Вся справа обмежилася грандіозною воєнною демонстрацією. Ґоліцин представляв похід, як свій великий успіх, його покровителька, царівна Софія, обсипала його й усіх учасників походу похвалами й нагородами, мов за справжню побіду. Але дні її панування були вже пораховані.
В початку серпня 1689 р. Мазепа приїхав до Москви з величезним почотом представитися царям Іванові й Петрові, які правили номінально, та царевні Софії, яка була реґенткою після революції стрільців у травні 1682 р. З Мазепою прибула майже вся ґенеральна старшина й пять полковників, а всього асистенції гетьмана було понад 300 людей. Мазепу зустріли з великими почестями, як зустрічали звичайно чужоземних послів або суверенів. Почалися були врочисті авдієнції й приняття. Але тут вибухла палацова революція: молодий цар Петро повів рішучу боротьбу з своєю сестрою Софією, нарешті усунув її від реґентури, засадив до манастиря й проголосив, що сам бере владу в свої руки. Софіїного фаворита Ґоліцина заслано на далеку північ; йому між іншим поставлено в провину невдалі кримські походи, а головного прихильника Софії Шакловитого, що їздив недавно в посольстві до Мазепи, страчено. Поки тяглася ця боротьба між Кремлем, де сиділа Софія, й Троїцько-Сергіївським манастирем, де засів Петро, Мазепа перебував у дуже непевному й небезпечному становищі: він прибув, як прихильник Софіїного режиму, його вважали за креатуру Ґоліцина, й можна було сподіватися, що він розділить долю Софіїного фаворита. Мазепа приїхав до Петра в манастир, і ось тут зумів так уподобатися молодому цареві, що не тільки не зазнав ніякої неприємности, але навпаки, придбав його довіря й приязнь, яка тяглася мало не 20 років, аж до того часу, коли дороги царя й гетьмана так рішуче розійшлися. Становище Мазепине було зміцнене й, вертаючися на Україну, він міг тепер спокійніше провадити свою політику.