Naceu na vila de Safed, que naquel entón era parte do Mandato británico de Palestina. Xunto á súa familia converteuse en refuxiado durante a guerra de 1948, marchando finalmente a Siria. Alí Mahmud foi á escola e se graduou na Universidade de Damasco antes de ir a Exipto, onde estudou dereito.

Estivo entre os fundadores de Fatah; o seu nome na clandestinidade era Abu Mazen. Durante a década dos 70 foi un membro activo do FDLP. Entra no Consello Nacional Palestino en 1968. En 1981 é elixido membro da OLP. Participou nas conversacións de paz de Madrid e Oslo en 1991 e 1993, respectivamente. En 1996 accede ao posto de Secretario Xeral do Comité Executivo da OLP. Máis adiante, en 2003, é nomeado primeiro ministro, pero dimite pouco despois por discrepancias coas faccións radicais e con Arafat.

Mahmud Abbas advertiu á organización Hamas o 8 de outubro de 2006 que el chamará a novas eleccións lexislativas se Hamas non acepta un goberno de coalición. Coa condición de recoñecer a Israel que el presentou para unha coalición. Pero non é claro se Abbas ten o poder de chamar a novas eleccións.