UbuntuにpostgreSQL9をインストールします。

 sudo add-apt-repository ppa:pitti/postgresql
 sudo apt-get update
 sudo apt-get install postgresql
 sudo apt-get install libpq-dev
 sudo apt-get autoremove
 sudo service postgresql restart

postgreSQL9のためのpgadminの最新版はここからダウンロードしました。
http://www.enterprisedb.com/products-services-training/pgdownload

chmod a+x postgresql-9.1.0-1-linux.bin
sudo ./postgresql-9.1.0-1-linux.bin

postgresql8に戻したい場合

cd /etc/apt/sources.list.d/
sudo rm pitti-postgresql-natty.list
sudo apt-get update
sudo apt-get autoremove