Poco es lo que se sabe de sus orígenes. Sin embargo, los cronistas relatan que sus primeros habitantes fueron tribus de diversas zonas que tuvieron su origen en la cultura Quechua. En la región de Andahuaylas, tuvieron su asiento los legendarios Chancas; un conjunto de tribus que por su belicosidad, ha pasado a la historia como uno de los pueblos más aguerridos y rebeldes del Perú antiguo. Nos cuentan los cronistas que los Chancas llegaron a prepararse durante años para conquistar la Ciudad Imperial del Cusco y que de no haber sido por la gran figura y estrategia del Inca Pachacútec, el Imperio Incaico hubiera sucumbido.
Cuando los conquistadores establecieron la primera organización política de la Colonia, casi toda la extensión del actual departamento, estaba bajo la jurisdicción de las autoridades de Huamanga. Sin embargo, no se conservan recuerdos sobre la fundación de ciudades y pueblos. Durante la lucha por la Emancipación y la Independencia, Apurímac aportó a sus mejores hijos para esta causa. Uno de ellos fue Mateo Pumacahua quien lideró un movimiento que se extendió hasta Andahuaylas. Especial mención merece Micaela Bastidas quien, junto a su esposo José Gabriel Condorcanqui (Túpac Amaru II), enfrentó la tortura del opresor español y dio su vida por la libertad del Perú, al iniciarse la República.