Zo súčasnej fauny patria žraloky k najstarším skupinám živočíchov. Prvé žraloky boli vo fosílnych záznamoch nájdené už vo vrstvách ordoviku, čiže vo vrstvách z doby pred 450 – 420 miliónmi rokov, teda skôr ako sa objavili prvé suchozemské stavovce a pred kolonizáciou kontinentov rastlinami. Z prvých žralokov boli objavené len čeľuste a nie všetci paleontológovia sú presvedčení, že išlo o pravé žraloky. Najstaršie všobecne uznávané žraločie čeľuste boli objavené vo vrstvách starých 420 miliónov rokov, teda zo silúru. Vtedajšie žraloky boli však odlišné od súčasných žralokov. Väčšinu súčasných žralokov možno vysledovať späť až do doby pred 100 miliónov rokov.
Medzi najstarší primitívny druh žraloka patrí Cladoselache, žralok žijúci zhruba pred 370 miliónmi rokov v oblasti prvohorného Ohia, Kentucky a Tennessee (USA). Najznámejším vyhynutým druhom žraloka je žralok veľkozubý (lat. Otodus megalodon) známy pod ľudovým názvom megalodon. Bol to obrovský prehistorický žralok žijúci pravdepodobne pred 20/15,9 – 2,6 miliónmi rokov a bol najväčším predátorom svojich čias. Ide o najväčší zdokumentovný druh žraloka. Na Slovensku sa našli zuby tohto žraloka v oblasti Novohradu, kde sa pred 20 až 15 miliónmi rokov nachádzalo plytké subtropické more Paratéthys. Objavujú sa aj ojedinelé názory, že tento žralok môže stále žiť aj v súčasnosti niekde v hlbokých vodách. Najstaršie nájdené zuby žraloka modrého sú datované do doby pred 60 – 65 miliónmi rokov, z obdobia vymretia dinosaurov. Moderné žraloky sa začali objavovať približne pred 100 miliónmi rokov.
Moderné žraloky sa začali objavovať približne pred 100 miliónmi rokov. Jedna z najmladších skupín žralokov sú kladivohlavé žraloky (čeľaď Sphyrnidae), ktoré sa objavili v eocéne - 56 miliónov rokov p.n.l. . Najväčší súčasný druh žraloka je žralok biely (Carcharodon carcharias). Medzi ďalšie známe druhy žralokov patria žralok mako, žralok tigrí, žralok kladivohlavý či žralok modrý.