Можно загружать компьютер (windows) и выходить в интернет с флешки или CD?

Можно.

Для этого есть множество разнообразных Live-CD. Образы этих дисков можно успешно запускать и с "флешек".

В основном там разнообразные Линуксы, но есть Лайф-СиДи и на Windows-PE, Hiren's BootCD, например.