Se tienen indicios de uso del hierro desde el cuarto milenio antes de Cristo, por parte de los sumerios y egipcios.
En el segundo y tercer milenio antes de Cristo, van apareciendo cada vez más objetos de hierro (que se distingue del hierro procedente de meteoritos por la ausencia de níquel) en Mesopotamia, Anatolia y Egipto. Sin embargo, su uso parece ser ceremonial, siendo un metal muy caro, más que el oro. Algunas fuentes sugieren que tal vez se obtuviera como subproducto de la obtención de cobre.
Entre 1600 a. C. y 1200 a. C. va aumentando su uso en Oriente Medio, pero no sustituye al predominante uso del bronce.
Entre los siglos a. C. y a. C. se produce una rápida transición en Oriente Medio desde las armas de bronce a las de hierro. Esta rápida transición tal vez fuera debida a la falta de estaño, antes que a una mejora en la tecnología en el trabajo del hierro. A este periodo, que se produjo en diferentes fechas según el lugar, se le denomina Edad de Hierro, sustituyendo a la Edad de Bronce. En Grecia comenzó a emplearse en torno al año 1000 a. C. y no llegó a Europa occidental hasta el siglo a. C. La sustitución del bronce por el hierro fue paulatina, pues era difícil fabricar piezas de hierro: localizar el mineral, luego fundirlo a temperaturas altas para finalmente forjarlo.
En Europa Central, surgió en el siglo a. C. la cultura de Hallstatt (sustituyendo a la cultura de los campos de urnas, que se denomina «primera Edad de Hierro», pues coincide con la introducción de este metal).
Hacia el 450 a. C. se desarrolló la cultura de La Tène, también denominada «segunda Edad de Hierro». El hierro se usa en herramientas, armas y joyería, aunque siguen encontrándose objetos de bronce.
Junto con esta transición del bronce al hierro se descubrió el proceso de «carburización», consistente en añadir carbono al hierro. El hierro se obtenía como una mezcla de hierro y escoria, con algo de carbono o carburos, y era forjado, quitando la escoria y oxidando el carbono, creando así el producto ya con una forma. Este hierro forjado tenía un contenido en carbono muy bajo y no se podía endurecer fácilmente al enfriarlo en agua. Se observó que se podía obtener un producto mucho más duro calentando la pieza de hierro forjado en un lecho de carbón vegetal, para entonces sumergirlo en agua o aceite. El producto resultante, que tenía una superficie de acero, era más duro y menos frágil que el bronce, al que comenzó a reemplazar.
En China el primer hierro que se utilizó también procedía de meteoritos, habiéndose encontrado objetos de hierro forjado en el noroeste, cerca de Xinjiang, del siglo a. C. El procedimiento era el mismo que el utilizado en Oriente Medio y Europa. En los últimos años de la dinastía Zhou (550 a. C.) se consigue obtener hierro colado (producto de la fusión del arrabio). El mineral encontrado allí presenta un alto contenido en fósforo, con lo que funde a temperaturas menores que en Europa y otros sitios. Sin embargo durante bastante tiempo, hasta la dinastía Qing (hacia 221 a. C.), no tuvo una gran repercusión.
El hierro colado tardó más en Europa, pues no se conseguía la temperatura suficiente. Algunas de las primeras muestras de hierro colado se han encontrado en Suecia, en Lapphyttan y Vinarhyttan, del 1150 a 1350.
En la Edad Media, y hasta finales del siglo , muchos países europeos empleaban como método siderúrgico la forja catalana. Se obtenía hierro y acero bajo en carbono empleando carbón vegetal y el mineral de hierro. Este sistema estaba ya implantado en el siglo , y se conseguían alcanzar hasta unos 1200 °C. Este procedimiento fue sustituido por el empleado en los altos hornos.
En un principio se usaba carbón vegetal para la obtención de hierro como fuente de calor y como agente reductor. En el siglo , en Inglaterra, comenzó a escasear y hacerse más caro el carbón vegetal, y esto hizo que comenzara a utilizarse coque, un combustible fósil, como alternativa. Fue utilizado por primera vez por Abraham Darby, a principios del siglo , que construyó en Coalbrookdale un «alto horno». Asimismo, el coque se empleó como fuente de energía en la Revolución industrial. En este periodo la demanda de hierro fue cada vez mayor, por ejemplo para su aplicación en ferrocarriles.
El alto horno fue evolucionando a lo largo de los años. Henry Cort, en 1784, aplicó nuevas técnicas que mejoraron la producción. En 1826 el alemán Friedrich Harkot") construye un alto horno sin mampostería para humos.
Hacia finales del siglo y comienzos del se comenzó a emplear ampliamente el hierro como elemento estructural (en puentes, edificios, etc). Entre 1776 a 1779 se construye el primer puente de fundición de hierro, construido por John Wilkinson y Abraham Darby. En Inglaterra se emplea por primera vez en la construcción de edificios, por Mathew Boulton y James Watt, a principios del siglo . También son conocidas otras obras de ese siglo, por ejemplo el Palacio de Cristal construido para la Exposición Universal de 1851 en Londres, del arquitecto Joseph Paxton, que tiene un armazón de hierro, o la Torre Eiffel, en París, construida en 1889 para la Exposición Universal, en donde se utilizaron miles de toneladas de hierro.