Primero desinstale el php 5.1:
yum erase php php-common php-cli
Esto removera php y todas sus dependencias. Una vez desinstalado instale php 5.3:
php install php53*
El comando anterior instala todos los paquetes php53, si desea sólo instalar algunos, especifique los nombres de ellos en lugar de php53*.
Espero y le sea útil.