Durante el conflicto en torno al canal de Suez, se unió al ejército egipcio como oficial del cuerpo de ingenieros. En 1957 se estableció en Kuwait y fundó su propia empresa de construcción. No obstante el éxito que obtenía, abandonó el ejercicio de la ingeniería, movido por un mayor interés en los acontecimientos políticos.
En 1959 fue miembro fundador de al-Fatah, la principal organización militar de la Organización para la Liberación de Palestina (OLP), y presidió su comité ejecutivo en 1969. Tras unos primeros años en los que nunca escondió sus prácticas terroristas en contra de Israel, fue acercándose paulatinamente a posiciones más moderadas, orientadas al diálogo. Ello hizo posible que la ONU lo invitara a participar en el debate sobre Palestina en 1974. Ante la Asamblea General se presentó llevando en una mano una rama de olivo (símbolo de la paz que anhelaba para Palestina), y en la otra un fusil (expresión de la decisión que tenía su pueblo de defender sus derechos).
Su liderazgo al frente de la OLP se puso en entredicho tras la invasión israelí del Líbano y la derrota de las facciones armadas palestinas. En 1989 fue elegido presidente de un hipotético Estado palestino. Como líder de la OLP, en 1993, reconoció al Estado de Israel e inició, junto a Isaac Rabin y Shimon Peres, -máximos dirigentes israelíes- el proceso de paz que permitió el autogobierno de Palestina en 1994. Por sus esfuerzos para encontrar una solución pacífica al conflicto, los tres políticos fueron galardonados con el premio Nobel de la Paz.
En 1996 fue elegido presidente de la Autoridad Palestina encargada de gobernar los territorios autónomos de Gaza y Cisjordania. Con el fin de salvaguardar el proceso de paz, a instancias del presidente estadounidense Bill Clinton, en 1998 firmó con el primer ministro Netanyahu, el tratado por el cual Israel se comprometió a respetar y aumentar progresivamente la autonomía de las zonas ocupadas, y la Autoridad Palestina, a multiplicar los esfuerzos para poner fin a la ola de atentados terroristas perpetrados por la organización palestina Hamas.