Op 8 augustus 1786 beklom bergsport pionier Jacques Balmat met Michel-Gabriel Paccard de Mont Blanc. Op een tekening van deze prestatie is te zien hoe Jacques Balmat gebruikt maakte van een bijl met een lange puntige stok. Dit stuk gereedschap noemt men de “alpenstock”. In deze periode ontstond de bergsport waardoor de vraag naar speciaal klimmateriaal steeg. Hierdoor ontstond in 1840 de ijsbijl.
In de eerste instantie zat het slaggedeelte van de bijl verticaal aan de steel, zoals bij een conventionele bijl het geval is. Dit was echter niet handig bij het houwen van treden waardoor rond 1860 dit stuk werd vervangen door een schoffel waarbij het scherpe gedeelte haaks staat op de steel.
Toen men steeds vaker stijgijzers ging gebruiken was het houwen van treden steeds minder noodzakelijk waardoor de steel van de ijsbijl kon worden verkort. Hieruit ontstonden de meer technische ijsbijlen.
Tot de tweede helft van de 20e eeuw bestond een ijsbijl uit een houten steel met metalen slaggedeelte. In de tweede helft van de 20e eeuw ontwierp Hamish Mcinnes de eerste ijsbijl welke volledig van metaal was gemaakt.
De steel van hedendaagse ijsbijlen is vaak gemaakt van aluminium of carbonfiber en de houw wordt tegenwoordig vaak gemaakt van chroommolybdeenstaal. Deze moderne ijsbijlen zijn onderhevig aan strenge Europese veiligheidsnormen. Deze veiligheidsnormen zijn identiek aan de normen van de Union International des Associations d’Alpinisme.