… or donc on apprend lors de sa première upgrade d'un postgres (install des paquets, wheezy ⇒ jessie) que c'est pas si simple, qu'il peut y avoir plusieurs versions qui tournent en même temps etc.

Entre la page liée ici, le readme du paquet (zless /usr/share/doc/postgresql-common/README.Debian.gz) et le message à l'upgrade, pour moi ça a donné ça :
apt-get install postgresql-9.4
pg_dropcluster 9.4 main --stop
service postgresql stop
pg_upgradecluster 9.1 main
(vérif que tout est ok)
aptitude purge postgresql-9.1 postgresql-client-9.1

On peut faire des "pg_lsclusters" à tout va pour savoir qu'est-ce qui est dispo et qui tourne, et sur quel port.