Agárd-pusztán született 1863-ban. A sárospataki kollégiumban (1874–1876) és a pesti Kálvin téri református gimnáziumban (1876–1878) folytatott tanulmányok után 1878-ban beiratkozott az Egri Érseki Tanítóképzőbe. Tizennyolc éves korában már első tanítói állását töltötte be Karádon. Tanítóként dolgozott még Devecserben, Sárváron és Dabronyban. 1885. október 28-án kötött házasságot Csányi Molnár Máriával. Négy gyermekük született, de házasságuk 1907-ben válással végződött. A tanítói hivatást 1885-ben hagyta el, újságíróként dolgozott Győrben (Hazánk, Győri Hírlap), Szegeden (Szegedi Híradó, Szegedi Napló), Aradon (Arad és Vidéke) majd Pesten (Magyar Hírlap). Ebben az időben vette föl a Gárdonyi nevet.
Gárdonyi Egerbe költözésének egyik fontos oka volt, hogy megfelelő alkotói közeget találjon elmélyült munkájához. Új utakat keresett, gondosan formálta írói arculatát, kereste önálló hangját. A csendes, nyugodt környezet, a sok gondolkodás, elmélkedés, a fáradhatatlan olvasás, folyamatos önművelés hozták létre azt az írói magatartást, ami Gárdonyi műveinek is részévé vált. Élete fontos eleme volt a vallásosság, a „szeretet filozófiája”, melyet maga keresett és épített föl.
Az Egri csillagok, a Láthatatlan ember és az Isten rabjai című történelmi regényeivel nagy sikert aratott. Kisregényei közül néhány történelmi témájú (A kékszemű Dávidkáné), de foglalkoztatta őt az egyszerű városi és falusi emberek élete is (Az öreg tekintetes, Aggy Isten Biri!, Ki-ki a párjával). Ars poétikáját az Ida regényében fogalmazta meg. Novellái először Győrben jelentek meg 1888-ban Száz novella címmel, a Figurákhoz Mikszáth Kálmán írt előszót 1890-ben. Legismertebb elbeszéléskötete Az én falum és a Hosszúhajú veszedelem.
A bor című színdarabja több mint száz előadást élt meg a Nemzeti Színházban.
Tagja volt a Petőfi Társaságnak, a Kisfaludy Társaságnak, majd 1910-ben a Magyar Tudományos Akadémiának is. 1922-ben halt meg Egerben. Sírja az egri várban zarándokhellyé vált.