Nació en Zaragoza, ciudad en la que cursó Filosofía y Letras. En 1895 fue ordenado sacerdote; en 1896 obtuvo el doctorado en Madrid. Catedrático de lengua árabe en la Universidad de Madrid desde 1903, fue miembro de las Academias de Ciencias Morales y Políticas en 1914; de la Lengua en 1919, y de la de Historia en 1924. Cofundador del Centro de Estudios Históricos y de la revista Cultura Española, presidió la Real Academia Española de la Lengua en 1943. Dirigió la Escuela de Estudios Arabes de Madrid y creó, en 1933, la revista Al-Andalus , que dirigió hasta su muerte.
Todas sus obras constituyen un gran aporte al conocimiento de la filosofía y el pensamiento musulmán en sus relaciones con la cultura cristiana . En 1901 publicó la refundición de su tesis doctoral, Algazel: dogmática, moral y ascética , que fue prologada por don Marcelino Menéndez y Pelayo. En 1904, El averroísmo teológico de Santo Tomás de Aquino, monografía que provocó controversias en los círculos tomistas.
Dentro del espíritu de perfecta comprensión de musulmanes y cristianos recopiló los Logia et Agrapha Domini Jesu. Con ocasión de su ingreso en la Real Academia de Ciencias Morales, disertó sobre Abenmasarra y su escuela, orígenes de la filosofía hispano-musulmana. Su obra de mayor resonancia mundial fue el discurso de ingreso en la Real Academia Española, La escatología musulmana en la Divina Comedia, donde demostró con genial intuición que Dante utilizó para su viaje a ultratumba un texto árabe.
Con El cordobés Abenhazam, primer historiador de las ideas religiosas, inició los trabajos sobre este polígrafo, que habían de culminar en una magnífica biografía y la traducción completa del Fisal . En 1931 publicó El Islam cristianizado y en 1941, Huellas del Islam, texto en que reunió sus monografías sobre santo Tomás, Francisco Turmeda, Pascal y san Juan de la Cruz. Realizó un estudio sobre la revivificación de las ciencias religiosas, La espiritualidad de Algazel y su sentido cristiano. Sus últimas obras son Glosario de voces romances registradas por un botánico anónimo hispano-musulmán y Contribución a la toponimia árabe de España.
Falleció en San Sebastián. Su biógrafo P. Chalmeta Gendrón dice: "Aparte del valor científico de Asín Palacios hay otra faceta de su carácter, la humana, que conviene destacar. En efecto, características suyas fueron la bondad y paciencia con sus alumnos que, unidas a sus extraordinarias dotes pedagógicas, hacían de él un incomparable maestro."