O Arquivo Histórico do Exército foi criado na Cidade do Rio de Janeiro em 7 de abril de 1808  por D. João, Príncipe Regente, que veio com a Família Real portuguesa para o Brasil. Com a denominação inicial de "Real Archivo Militar", tinha a incumbência de conservar em bom estado todas as cartas gerais, particulares, geográficas e topográficas do Brasil e dos Domínios Ultramarinos; igualmente, as cartas marítimas para o uso do Ministério da Guerra e Negócios Estrangeiros, bem como dos demais Ministérios.

Em 8 de março de 1934, transformado em Organização Militar (OM) e recebeu o nome de Arquivo do Exército; em 5 de setembro de 1986, passou a ser Arquivo Histórico do Exército, sua atual denominação.
Por meio de sucessivas mudanças, a OM foi incorporando riquíssimos acervos de documentos, oriundos dos antigos Ministérios, sendo, hoje, responsável pela preservação desse patrimônio.

O AHEx tem por missão conservar e manter a memória institucional do Exército Brasileiro.