Есть
Беспроводной маршрутизатор ASUS WL-520gC

Есть комп

Есть ноут

Есть PSP

И есть Телефон с WIFI

Можно ли чтоб при выключенном компе PSP или Телефон видели интернет %)

если маршрутизатор сам поднимает соединение, то ответ ДА

520gC поднимает и держит vpn сам по себе.
Включен комп или выключен, ему глубоко наплевать. 
 

а как?

Что как, правильно заданный вопрос, это половина ответа.