п≈п╟пЁя─я┐п╥п╨п╟ п╠п╣п╥ п╠я─п╬я┐п╥п╣я─п╟
 
п░п╡я┌п╬я─: (C) Adrian J Chung
п÷п╣я─п╣п╡п╬п╢: (C) п░п╩п╣п╨я│п╟п╫п╢я─ п║п╟п╡п╡п╦п╫


п▓я▀ п╨п╬пЁп╢п╟-п╫п╦п╠я┐п╢я▄ п©я─п╬п╠п╬п╡п╟п╩п╦ я│п╨п╟я┤п╦п╡п╟я┌я▄ п©п╬ п╪п╣п╢п╩п╣п╫п╫п╬п╪я┐ п╨п╟п╫п╟п╩я┐ я┌п╟п╨п╬п╧ п╬пЁя─п╬п╪п╫я▀п╧ я└п╟п╧п╩, я┤я┌п╬ п©я─п╦я┘п╬п╢п╦п╩п╬я│я▄ п╢п╣я─п╤п╟я┌я▄ п╡п╣п╠-п╠я─п╬я┐п╥п╣я─ п╬я┌п╨я─я▀я┌я▀п╪ я┤п╟я│я▀ п╦п╩п╦ п╢п╟п╤п╣ п╢п╫п╦ п╫п╟п©я─п╬п╩я▒я┌? п░ п╣я│п╩п╦ п╫п╟ web-я│я┌я─п╟п╫п╦я├п╣ п╫п╟я┘п╬п╢я▐я┌я│я▐ я│я│я▀п╩п╨п╦ п╫п╟ 40 п╫я┐п╤п╫я▀я┘ п╡п╟п╪ я└п╟п╧п╩п╬п╡ - п╡я▀ п╠я┐п╢п╣я┌п╣ п╫я┐п╢п╫п╬ я┴п╣п╩п╨п╟я┌я▄ п©п╬ п╨п╟п╤п╢п╬п╪я┐ п╦п╥ п╫п╦я┘? п╖я┌п╬, п╣я│п╩п╦ п╠я─п╬я┐п╥п╣я─ "я┐п©п╟п╢я▒я┌" п╢п╬ я┌п╬пЁп╬, п╨п╟п╨ п╬п╫ п╥п╟п╨п╬п╫я┤п╦я┌ я│п╨п╟я┤п╦п╡п╟п╫п╦п╣? п░ п╡п╣п╢я▄ GNU/Linux п©п╬я│я┌п╟п╡п╩я▐п╣я┌я│я▐ п╡п╪п╣я│я┌п╣ я│ я┐п╢п╬п╠п╫я▀п╪ п╫п╟п╠п╬я─п╬п╪ п╦п╫я│я┌я─я┐п╪п╣п╫я┌п╬п╡ п╢п╩я▐ п╫п╣п╥п╟п╡п╦я│п╦п╪п╬п╧ п╬я┌ п╠я─п╬я┐п╥п╣я─п╟ я└п╬п╫п╬п╡п╬п╧ п╥п╟пЁя─я┐п╥п╨п╦. п·п╫п╦ п©п╬п╥п╡п╬п╩я▐я▌я┌ п╡я▀я┘п╬п╢п╦я┌я▄ п╦п╥ я│п╦я│я┌п╣п╪я▀, п╡п╬п╥п╬п╠п╫п╬п╡п╩я▐я┌я▄ п©я─п╣я─п╡п╟п╫п╫я▀п╣ п╥п╟п╢п╟п╫п╦я▐ п╦ п╢п╟п╤п╣ п©п╩п╟п╫п╦я─п╬п╡п╟я┌я▄ п╡я▀п©п╬п╩п╫п╣п╫п╦п╣ п╥п╟п╢п╟п╫п╦п╧ п╡ п©п╣я─п╦п╬п╢я▀ п╪п╟п╩п╬п╧ п╥п╟пЁя─я┐п╥п╨п╦ я│п╣я┌п╦.

п п╬пЁп╢п╟ п╦п╫я┌п╣я─п╟п╨я┌п╦п╡п╫п╬я│я┌я▄ я│я┌п╟п╫п╬п╡п╦я┌я│я▐ п╫п╟ п©я┐я┌п╦

п²п╟п╥п╫п╟я┤п╣п╫п╦п╣ Web-п╠я─п╬я┐п╥п╣я─п╬п╡ п╡ п╦п╫я┌п╣я─п╟п╨я┌п╦п╡п╦п╥п╟я├п╦п╦ Web'п╟ - я┴п╣п╩п╨п╟п╣п╪ п╪я▀я┬п╨п╬п╧ п╦ п╤п╢я▒п╪ п╫п╣я│п╨п╬п╩я▄п╨п╬ я│п╣п╨я┐п╫п╢ я─п╣п╥я┐п╩я▄я┌п╟я┌. п²п╬ п╪п╫п╬п╤п╣я│я┌п╡п╬ я└п╟п╧п╩п╬п╡ п╢п╟п╤п╣ п©я─п╦ я│п╟п╪п╬п╪ п╠я▀я│я┌я─п╬п╪ я│п╬п╣п╢п╦п╫п╣п╫п╦п╦ я┌я─п╣п╠я┐я▌я┌ п╢п╩я▐ п╥п╟пЁя─я┐п╥п╨п╦ пЁп╬я─п╟п╥п╢п╬ п╠п╬п╩я▄я┬п╣, я┤п╣п╪ п╫п╣я│п╨п╬п╩я▄п╨п╬ я│п╣п╨я┐п╫п╢. п²п╟п©я─п╦п╪п╣я─, п╬п╠я─п╟п╥я▀ ISO, п©п╬п©я┐п╩я▐я─п╫я▀п╣ я│я─п╣п╢п╦ я┌п╣я┘, п╨я┌п╬ я│п╟п╪п╬я│я┌п╬я▐я┌п╣п╩я▄п╫п╬ п╥п╟п©п╦я│я▀п╡п╟п╣я┌ CD-ROM'я▀ я│ п╢п╦я│я┌я─п╦п╠я┐я┌п╦п╡п╟п╪п╦ GNU/Linux. п²п╣п╨п╬я┌п╬я─я▀п╣ web-п╠я─п╬я┐п╥п╣я─я▀, п╬я│п╬п╠п╣п╫п╫п╬ п©п╩п╬я┘п╬ п╫п╟п©п╦я│п╟п╫п╫я▀п╣, п©я─п╦ п╢п╩п╦я┌п╣п╩я▄п╫п╬п╪ п╦я│п©п╬п╩я▄п╥п╬п╡п╟п╫п╫п╦ п╫п╣п╫п╟п╢я▒п╤п╫я▀, "я┌п╣я─я▐я▐" п©п╟п╪я▐я┌я▄ п╦п╩п╦ "п©п╟п╢п╟я▐" п╡ я│п╟п╪я▀п╧ п╫п╣п©п╬п╢я┘п╬п╢я▐я┴п╦п╧ п╪п╬п╪п╣п╫я┌. п²п╣я│п╪п╬я┌я─я▐ п╫п╟ п╦п╫я┌п╣пЁя─п╟я├п╦я▌ п╫п╣п╨п╬я┌п╬я─я▀я┘ п╠я─п╬я┐п╥п╣я─п╬п╡ я│ я└п╟п╧п╩п╬п╡я▀п╪п╦ п╪п╣п╫п╣п╢п╤п╣я─п╟п╪п╦, п╪п╫п╬пЁп╦п╣ п╦п╥ п╫п╦я┘ п╡я│п╣ п╣я┴п╣ п╫п╣ п©п╬п╢п╢п╣я─п╤п╦п╡п╟я▌я┌ п╬п©п╣я─п╟я├п╦п╦ п╪п╫п╬п╤п╣я│я┌п╡п╣п╫п╫п╬пЁп╬ п╡я▀п╠п╬я─п╟ п╦ "я─п╣п╥п╦п╫п╬п╡п╬п╧ п╫п╦я┌п╦" [п╦п╪п╣п╣я┌я│я▐ п╡ п╡п╦п╢я┐ п╡я▀п╠п╬я─ п╫п╣я│п╨п╬п╩я▄п╨п╦я┘ пЁя─п╟я└п╦я┤п╣я│п╨п╦я┘ п╬п╠я┼п╣п╨я┌п╬п╡, п╫п╟п©я─п╦п╪п╣я─ я└п╟п╧п╩п╬п╡, п╫п╟я─п╦я│п╬п╡п╟п╡ п╡п╬п╨я─я┐пЁ п╫п╦я┘ п╪я▀я┬п╨п╬п╧ "я─п╟я│я┌я▐пЁп╦п╡п╟я▌я┴п╦п╧я│я▐" п©я─я▐п╪п╬я┐пЁп╬п╩я▄п╫п╦п╨ -- п©я─п╦п╪. я─п╣п╢п╟п╨я┌п╬я─п╟], п╨п╬я┌п╬я─я▀п╣ п╬п╠п╩п╣пЁя┤п╟я▌я┌ п©п╣я─п╣я│я▀п╩п╨я┐ п╫п╣я│п╨п╬п╩я▄п╨п╦я┘ я└п╟п╧п╩п╬п╡. п я─п╬п╪п╣ я┌п╬пЁп╬, п©я─п╦я┘п╬п╢п╦я┌я│я▐ п╬я│я┌п╟п╡п╟я┌я▄я│я▐ п╥п╟я─п╣пЁп╦я│я┌я─п╦я─п╬п╡п╟п╫п╫я▀п╪ п╡ я│п╦я│я┌п╣п╪п╣ п╢п╬ я┌п╣я┘ п©п╬я─, п©п╬п╨п╟ я└п╟п╧п╩ п╫п╣ п╠я┐п╢п╣я┌ я│п╨п╟я┤п╟п╫ п©п╬п╩п╫п╬я│я┌я▄я▌. п²п╟п╨п╬п╫п╣я├, п╢п╩я▐ я┌п╬пЁп╬, я┤я┌п╬п╠я▀ я┴п╣п╩п╨п╫я┐я┌я▄ п©п╬ п╩п╦п╫п╨я┐, п╦п╫п╦я├п╦п╟п╩п╦п╥п╦я─я┐я▌я┴п╣п╪я┐ п╥п╟пЁя─я┐п╥п╨я┐, п╡я▀ п╢п╬п╩п╤п╫я▀ п╫п╟я┘п╬п╢п╦я┌я▄я│я▐ п╡ п╬я└п╦я│п╣, п╨ п╫п╣я┐п╢п╬п╡п╬п╩я▄я│я┌п╡п╦я▌ п╦я│п©п╬п╩я▄п╥я┐я▌я┴п╦я┘ я┌п╬я┌ п╤п╣ п╨п╟п╫п╟п╩ п╨п╬п╩п╩п╣пЁ.

п■п╩я▐ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ п╠п╬п╩я▄я┬п╦я┘ я└п╟п╧п╩п╬п╡ п╠п╬п╩п╣п╣ п©я─п╦пЁп╬п╢п╫я▀ п╫п╟п╠п╬я─я▀ п╦п╫я│я┌я─я┐п╪п╣п╫я┌п╟п╩я▄п╫я▀я┘ я│я─п╣п╢я│я┌п╡. п▓ п╢п╟п╫п╫п╬п╧ я│я┌п╟я┌я▄п╣ п╬п╠я│я┐п╤п╢п╟п╣я┌я│я▐, п╨п╟п╨ я│п╨п╬п╪п╠п╦п╫п╦я─п╬п╡п╟я┌я▄ я─п╟п╥п╫я▀п╣ GNU/Linux я┐я┌п╦п╩п╦я┌я▀ -- я┌п╟п╨п╦п╣ п╨п╟п╨ lynx, wget, at, crontab п╦ я┌.п©. -- п╢п╩я▐ я─п╣я┬п╣п╫п╦я▐ я─п╟п╥п╩п╦я┤п╫я▀я┘ п╥п╟п╢п╟я┤ п©п╬ п©п╣я─п╣п╢п╟я┤п╣ я└п╟п╧п╩п╟(п╬п╡). п╒п╟п╨п╤п╣ п╠я┐п╢п╣я┌ п╦я│п©п╬п╩я▄п╥п╬п╡п╟п╫п╬ п╫п╣п╠п╬п╩я▄я┬п╬п╣ п╨п╬п╩п╦я┤п╣я│я┌п╡п╬ я│п╨я─п╦п©я┌п╬п╡, п©п╬я█я┌п╬п╪я┐ п╠я┐п╢п╣я┌ п©п╬п╩п╣п╥п╫п╬ п╥п╫п╟п╫п╦п╣ п╬п╠п╬п╩п╬я┤п╨п╦ bash.

пёя┌п╦п╩п╦я┌п╟ wget

п≤п╫я│я┌я─я┐п╪п╣п╫я┌ п╥п╟пЁя─я┐п╥п╨п╦ wget п╡п╨п╩я▌я┤п╣п╫ п╡п╬ п╡я│п╣ п╬я│п╫п╬п╡п╫я▀п╣ п╢п╦я│я┌я─п╦п╠я┐я┌п╦п╡я▀.

  bash$ wget http://place.your.url/here

wget я┌п╟п╨п╤п╣ п╪п╬п╤п╣я┌ п╬п╠я─п╟п╠п╟я┌я▀п╡п╟я┌я▄ FTP, п╡я─п╣п╪п╣п╫п╫я▀п╣ п╪п╣я┌п╨п╦ (date stamps), я─п╣п╨я┐я─я│п╦п╡п╫п╬ п╬я┌я─п╟п╤п╟я┌я▄ п©п╬п╩п╫п╬п╣ п╢п╣я─п╣п╡п╬ п╨п╟я┌п╟п╩п╬пЁп╬п╡ web-я│п╟п╧я┌п╟, п╟ п╣я│п╩п╦ п╡я▀ п╫п╣ п╠я┐п╢п╣я┌п╣ п╬я│я┌п╬я─п╬п╤п╫я▀, я┌п╬ п╡п╣я│я▄ web-я│п╟п╧я┌ п╦ п╢я─я┐пЁп╦п╣ я│п╟п╧я┌я▀, п╫п╟ п╨п╬я┌п╬я─я▀п╣ п╦п╪п╣я▌я┌я│я▐ я│я│я▀п╩п╨п╦:

  bash$ wget -m http://target.web.site/subdirectory

п≤п╥-п╥п╟ п©п╬я┌п╣п╫я├п╦п╟п╩я▄п╫п╬ п╡я▀я│п╬п╨п╦я┘ п╫п╟пЁя─я┐п╥п╬п╨, п╨п╬я┌п╬я─я▀п╣ п╪п╬п╤п╣я┌ я│п╬п╥п╢п╟п╡п╟я┌я▄ wget, п©я─п╦ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟п╫п╦п╦ п╬п╫ я─п╟п╠п╬я┌п╟п╣я┌ п╡ я│п╬п╬я┌п╡п╣я┌я│я┌п╡п╦п╦ я│ п©я─п╬я┌п╬п╨п╬п╩п╬п╪ "robots.txt". п║я┐я┴п╣я│я┌п╡я┐я▌я┌ п╫п╣я│п╨п╬п╩я▄п╨п╬ п╨п╬п╪п╟п╫п╢п╫я▀я┘ п╬п©я├п╦п╧ я┐п©я─п╟п╡п╩п╣п╫п╦я▐ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟п╫п╦п╣п╪, п╬пЁя─п╟п╫п╦я┤п╦п╡п╟я▌я┴п╦я┘ п╡п╦п╢я▀ п╬я┌я│п╩п╣п╤п╦п╡п╟п╣п╪я▀я┘ я│я│я▀п╩п╬п╨ п╦ я┌п╦п©я▀ п╥п╟пЁя─я┐п╤п╟п╣п╪я▀я┘ я└п╟п╧п╩п╬п╡. п²п╟п©я─п╦п╪п╣я─: я│п╩п╣п╢п╬п╡п╟я┌я▄ я┌п╬п╩я▄п╨п╬ п©п╬ п╬я┌п╫п╬я│п╦я┌п╣п╩я▄п╫я▀п╪ я│я│я▀п╩п╨п╟п╪ п╦ п©я─п╬п©я┐я│п╨п╟я┌я▄ п╦п╥п╬п╠я─п╟п╤п╣п╫п╦я▐ GIF:

  bash$ wget -m -L --reject=gif http://target.web.site/subdirectory

п я─п╬п╪п╣ я┌п╬пЁп╬, wget п©п╬п╥п╡п╬п╩я▐п╣я┌ п╡п╬п╥п╬п╠п╫п╬п╡п╩я▐я┌я▄ п©я─п╣я─п╡п╟п╫п╫п╬п╣ п╥п╟п╢п╟п╫п╦п╣ (п╬п©я├п╦я▐ -"c"), п╣я│п╩п╦ п╥п╟п╢п╟п╫ п╫п╣п╥п╟п╡п╣я─я┬п╣п╫п╫я▀п╧ я└п╟п╧п╩, п╨ п╨п╬я┌п╬я─п╬п╪я┐ п╢п╬п╠п╟п╡п╩я▐я▌я┌я│я▐ п╬я│я┌п╟п╡я┬п╦п╣я│я▐ п╢п╟п╫п╫я▀п╣.

  bash$  wget -c http://the.url.of/incomplete/file

п■п╬п╨п╟я┤п╨я┐ п╦ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟п╫п╦п╣ п╪п╬п╤п╫п╬ п╬п╠я┼п╣п╢п╦п╫п╦я┌я▄, п©п╬п╥п╡п╬п╩я▐я▐ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟я┌я▄ п╠п╬п╩я▄я┬я┐я▌ п╨п╬п╩п╩п╣п╨я├п╦я▌ я└п╟п╧п╩п╬п╡ п╥п╟ п╫п╣я│п╨п╬п╩я▄п╨п╬ п╬я┌п╢п╣п╩я▄п╫я▀я┘ я│п╣я│я│п╦п╧ п╥п╟пЁя─я┐п╥п╨п╦. п░п╡я┌п╬п╪п╟я┌п╦п╥п╟я├п╦я▌ я█я┌п╬пЁп╬ п©я─п╬я├п╣я│я│п╟ п╪я▀ я─п╟я│я│п╪п╬я┌я─п╦п╪ п©п╬п╥п╤п╣.

п∙я│п╩п╦ я┐ п╡п╟я│ п©я─п╬я├п╣я│я│ п╥п╟пЁя─я┐п╥п╨п╦ п©я─п╣я─я▀п╡п╟п╣я┌я│я▐ я│я┌п╬п╩я▄ п╤п╣ я┤п╟я│я┌п╬, п╨п╟п╨ п╦ я┐ п╪п╣п╫я▐ п╡ п╬я└п╦я│п╣, п╡я▀ п╪п╬п╤п╣я┌п╣ п╥п╟я│я┌п╟п╡п╦я┌я▄ wget п©п╬п╡я┌п╬я─я▐я┌я▄ URL п╫п╣я│п╨п╬п╩я▄п╨п╬ я─п╟п╥:

  bash$ wget -t 5 http://place.your.url/here

п╒я┐я┌ п╪я▀ п╢п╣п╩п╟п╣п╪ 5 п©п╬п©я▀я┌п╬п╨. п╖я┌п╬п╠я▀ я│п╬п╡я│п╣п╪ п╫п╣ п©я─п╣я─я▀п╡п╟я┌я▄я│я▐, п╦я│п©п╬п╩я▄п╥я┐п╧я┌п╣ "-t inf".

п п╟п╨ п╫п╟ я│я┤п╣я┌ п©я─п╬п╨я│п╦-я└п╟п╧я─п╡п╬п╩п╩п╬п╡? п╖я┌п╬п╠я▀ я┐п╨п╟п╥п╟я┌я▄ п©я─п╬п╨я│п╦, я┤п╣я─п╣п╥ п╨п╬я┌п╬я─я▀п╧ п╫я┐п╤п╫п╬ я│п╨п╟я┤п╦п╡п╟я┌я▄, п╦я│п©п╬п╩я▄п╥я┐п╧я┌п╣ п©п╣я─п╣п╪п╣п╫п╫я┐я▌ п╬п╨я─я┐п╤п╣п╫п╦я▐ http_proxy п╦п╩п╦ п╨п╬п╫я└п╦пЁя┐я─п╟я├п╦п╬п╫п╫я▀п╧ я└п╟п╧п╩ .wgetrc. п∙п╢п╦п╫я│я┌п╡п╣п╫п╫п╟я▐ п©я─п╬п╠п╩п╣п╪п╟ я│ п©я─п╬п╨я│п╦я─я┐п╣п╪я▀п╪п╦ я│п╬п╣п╢п╦п╫п╣п╫п╦я▐п╪п╦ п©п╬ п╫п╣п©п╬я│я┌п╬я▐п╫п╫п╬п╪я┐ п╨п╟п╫п╟п╩я┐ п╡ я┌п╬п╪, я┤я┌п╬ п╦п╫п╬пЁп╢п╟ п╡п╬п╥п╬п╠п╫п╬п╡п╩п╣п╫п╦п╣ я│я─я▀п╡п╟п╣я┌я│я▐. п∙я│п╩п╦ п╥п╟пЁя─я┐п╥п╨п╟ я┤п╣я─п╣п╥ п©я─п╬п╨я│п╦ я│п╬я─п╡п╟п╩п╟я│я▄, я┌п╬ п╡ п╨я█я┬п╣ п©я─п╬п╨я│п╦-я│п╣я─п╡п╣я─п╟ п╬я│я┌п╟п╫п╣я┌я│я▐ п╫п╣п©п╬п╩п╫п╟я▐ п╨п╬п©п╦я▐ я└п╟п╧п╩п╟. п п╬пЁп╢п╟ п╡я▀ п©п╬п©я▀я┌п╟п╣я┌п╣я│я▄ п╢п╬п╨п╟я┤п╟я┌я▄ п╬я│я┌п╟п╡я┬я┐я▌я│я▐ я┤п╟я│я┌я▄ я└п╟п╧п╩п╟ я│ п©п╬п╪п╬я┴я▄я▌ п╨п╬п╪п╟п╫п╢я▀ "wget -c", п©я─п╬п╨я│п╦ п©я─п╬п╡п╣я─я▐п╣я┌ я│п╡п╬п╧ п╨я█я┬ п╦ п╬я┬п╦п╠п╬я┤п╫п╬ я│п╬п╬п╠я┴п╟п╣я┌, я┤я┌п╬ п╡я▀ я│п╨п╟я┤п╟п╩п╦ я┐п╤п╣ п╡п╣я│я▄ я└п╟п╧п╩. п▒п╬п╩я▄я┬п╦п╫я│я┌п╡п╬ п©я─п╬п╨я│п╦ п╪п╬п╤п╫п╬ п╥п╟я│я┌п╟п╡п╦я┌я▄ п╫п╣ п╦я│п©п╬п╩я▄п╥п╬п╡п╟я┌я▄ я│п╡п╬п╧ п╨я█я┬, п╢п╬п╠п╟п╡п╦п╡ п╡ я│п╡п╬п╧ п╥п╟п©я─п╬я│ п╫п╟ п╥п╟пЁя─я┐п╥п╨я┐ я│п©п╣я├п╦п╟п╩я▄п╫я▀п╧ п╥п╟пЁп╬п╩п╬п╡п╬п╨:

  bash$ wget -c --header="Pragma: no-cache" http://place.your.url/here

п·п©я├п╦я▐ "--header" п©п╬п╥п╡п╬п╩я▐п╣я┌ п╢п╬п╠п╟п╡п╩я▐я┌я▄ п╩я▌п╠п╬п╣ п╨п╬п╩п╦я┤п╣я│я┌п╡п╬ п╦ п╡п╦п╢я▀ п╥п╟пЁп╬п╩п╬п╡п╨п╬п╡, я│ п©п╬п╪п╬я┴я▄я▌ п╨п╬я┌п╬я─я▀я┘ п╪п╬п╤п╫п╬ п╦п╥п╪п╣п╫я▐я┌я▄ п©п╬п╡п╣п╢п╣п╫п╦п╣ web-я│п╣я─п╡п╣я─п╬п╡ п╦ п©я─п╬п╨я│п╦. п²п╣п╨п╬я┌п╬я─я▀п╣ я│п╟п╧я┌я▀ п╫п╣ п╬я┌п╢п╟я▌я┌ я└п╟п╧п╩я▀ п©п╬ я│я│я▀п╩п╨п╟п╪ п╦п╥ п╡п╫п╣я┬п╫п╦я┘ п╦я│я┌п╬я┤п╫п╦п╨п╬п╡; п╨п╬п╫я┌п╣п╫я┌ п©п╣я─п╣п╢п╟п╣я┌я│я▐ п╠я─п╬я┐п╥п╣я─я┐ я┌п╬п╩я▄п╨п╬, п╣я│п╩п╦ п╢п╬я│я┌я┐п© п╨ п╫п╣п╪я┐ п╠я▀п╩ п©п╬п╩я┐я┤п╣п╫ п╦п╥ п╢я─я┐пЁп╦я┘ я│я┌я─п╟п╫п╦я├ я█я┌п╬пЁп╬ я│п╟п╧я┌п╟. п╜я┌п╬ п╪п╬п╤п╫п╬ п╬п╠п╬п╧я┌п╦, п╢п╬п╠п╟п╡п╦п╡ п╥п╟пЁп╬п╩п╬п╡п╬п╨ "Referer:" :

  bash$ wget --header="Referer: http://coming.from.this/page" http://surfing.to.this/page

п²п╣п╨п╬я┌п╬я─я▀п╣ п╬я│п╬п╠п╬ п╫п╣п╢я─я┐п╤п╣я│я┌п╡п╣п╫п╫я▀п╣ web-я│п╟п╧я┌я▀ п©я─п╣п╢п╬я│я┌п╟п╡п╩я▐я▌я┌ п╨п╬п╫я┌п╣п╫я┌ я┌п╬п╩я▄п╨п╬ п╬п©я─п╣п╢п╣п╩я▒п╫п╫я▀п╪ п╡п╦п╢п╟п╪ п╠я─п╬я┐п╥п╣я─п╬п╡. п╜я┌п╬ п╪п╬п╤п╫п╬ п╬п╠п╬п╧я┌п╦ я│ п©п╬п╪п╬я┴я▄я▌ п╥п╟пЁп╬п╩п╬п╡п╨п╟ "User-Agent:".


  bash$ wget --header="User-Agent: Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; 
  DigExt)" http://msie.only.url/here
 

(п÷я─п╣п╢я┐п©я─п╣п╤п╢п╣п╫п╦п╣: п©я─п╦п╡п╣п╢п╣п╫п╫я▀п╣ п╡я▀я┬п╣ "я┘п╦я┌я─п╬я│я┌п╦" п╪п╬пЁя┐я┌ п╠я▀я┌я▄ я─п╟я│я├п╣п╫п╫п╣п╫я▀, п╨п╟п╨ п╬п╠п╪п╟п╫ п╪п╣я┘п╟п╫п╦п╥п╪п╟ п╩п╦я├п╣п╫п╥п╦я─п╬п╡п╟п╫п╦я▐ п╨п╬п╫я┌п╣п╫я┌п╟, п╦ я│я┐я┴п╣я│я┌п╡я┐я▌я┌ п╤п╣я│я┌п╨п╦п╣ п╥п╟п╨п╬п╫п╬п╢п╟я┌п╣п╩я▄п╫я▀п╣ я│п╦я│я┌п╣п╪я▀, п╡ п╨п╬я┌п╬я─я▀я┘ я█я┌п╦ п╢п╣п╧я│я┌п╡п╦я▐ я│я┤п╦я┌п╟я▌я┌я│я▐ п╫п╣п╥п╟п╨п╬п╫п╫я▀п╪п╦. п÷я─п╬п╡п╣я─я▄я┌п╣ я│п╡п╬п╣ п╪п╣я│я┌п╫п╬п╣ п╥п╟п╨п╬п╫п╬п╢п╟я┌п╣п╩я▄я│я┌п╡п╬. пё п╡п╟я│ п╪п╬пЁя┐я┌ п╠я▀я┌я▄ я│п╡п╬п╦ п╬я│п╬п╠п╣п╫п╫п╬я│я┌п╦.)

п▓ п╨п╬я┌п╬я─п╬п╪ я┤п╟я│я┐ п╫п╟я┤п╟я┌я▄ п╥п╟п╨п╟я┤п╨я┐?

п∙я│п╩п╦ п╡я▀ я│п╨п╟я┤п╦п╡п╟п╣я┌п╣ п╠п╬п╩я▄я┬п╦п╣ я└п╟п╧п╩я▀ п╫п╟ я│п╡п╬я▒п╪ п╬я└п╦я│п╫п╬п╪ п╨п╬п╪п©я▄я▌я┌п╣я─п╣ я┤п╣я─п╣п╥ я│п╬п╣п╢п╦п╫п╣п╫п╦п╣, я─п╟п╥п╢п╣п╩я▐п╣п╪п╬п╣ я│п╬ п╡я│п©я▀п╩я▄я┤п╦п╡я▀п╪п╦ п╨п╬п╩п╩п╣пЁп╟п╪п╦, п╨п╬я┌п╬я─я▀п╣ п╫п╣ п╩я▌п╠я▐я┌, п╨п╬пЁп╢п╟ п╦я┘ п╪п╣п╢п╦п╧п╫я▀п╧ п©п╬я┌п╬п╨ п╥п╟п╪п╣п╢п╩я▐п╣я┌я│я▐ п©п╬я┤я┌п╦ п╢п╬ п╫я┐п╩я▐, я┌п╬ п╡п╟п╪ п©я─п╦п╢п╣я┌я│я▐ п╫п╟п╥п╫п╟я┤п╦я┌я▄ п╥п╟п╨п╟я┤п╨я┐ я└п╟п╧п╩п╬п╡ п╫п╟ п╠п╬п╩п╣п╣ я│п╡п╬п╠п╬п╢п╫я▀п╣ я┤п╟я│я▀. п▓п╟п╪ п╫п╣ п╫я┐п╤п╫п╬ п╬я│я┌п╟п╡п╟я┌я▄я│я▐ п╡ п╬я└п╦я│п╣, п╬п╤п╦п╢п╟я▐ я┐я┘п╬п╢п╟ п╡я│п╣я┘ п╨п╬п╩п╩п╣пЁ п╦п╩п╦ п╡п╬я│п©п╬п╩я▄п╥п╬п╡п╟я┌я▄я│я▐ п©п╬я│п╩п╣ я┐п╤п╦п╫п╟ я┐п╢п╟п╩п╣п╫п╫я▀п╪ п╢п╬я│я┌я┐п©п╬п╪ п╦п╥ п╢п╬п╪п╟. п≤я│п©п╬п╩я▄п╥я┐п╧я┌п╣ я┌п╟п╧п╪п╣я─ п╥п╟п╢п╟п╫п╦п╧ at.

bash$ at 2300
warning: commands will be executed using /bin/sh
at> wget http://place.your.url/here
at>п╫п╟п╤п╪п╦я┌п╣ Ctrl-D

п╒я┐я┌ п╪я▀ п╥п╟п╢п╟п╣п╪ п╫п╟я┤п╟п╩п╬ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ п╫п╟ 23:00. п÷я─п╬п╡п╣я─я▄я┌п╣, я┤я┌п╬ п╡ я└п╬п╫п╣ п╢п╩я▐ я█я┌п╬пЁп╬ п╥п╟п╢п╟п╫п╦я▐ п╥п╟п©я┐я┴п╣п╫ п╢п╣п╪п╬п╫ я┌п╟п╧п╪п╣я─п╟ atd.

п≤ я│п╨п╬п╩я▄п╨п╬ п╢п╫п╣п╧ п©п╬я┌я─п╣п╠я┐п╣я┌я│я▐?

п п╬пЁп╢п╟ п╫я┐п╤п╫п╬ я│п╨п╟я┤п╟я┌я▄ п╪п╫п╬пЁп╬ п╢п╟п╫п╫я▀я┘ п╡ п╬п╢п╫п╬п╪ п╦п╩п╦ п╫п╣я│п╨п╬п╩я▄п╨п╦я┘ я└п╟п╧п╩п╟я┘, п╟ я│п╨п╬я─п╬я│я┌я▄ п╡п╟я┬п╣пЁп╬ п╨п╟п╫п╟п╩п╟ я│я─п╟п╡п╫п╦п╪п╟ я│ п©я─п╬я┌п╬п╨п╬п╩п╬п╪ пЁп╬п╩я┐п╠п╦п╫п╬п╧ п©п╬я┤я┌я▀, я┌п╬, п©я─п╦я┘п╬п╢я▐ я┐я┌я─п╬п╪ п╫п╟ я─п╟п╠п╬я┌я┐, п╡я▀ я┤п╟я│я┌п╬ п╠я┐п╢п╣я┌п╣ п╬п╠п╫п╟я─я┐п╤п╦п╡п╟я┌я▄, я┤я┌п╬ я│п╨п╟я┤п╦п╡п╟п╫п╦п╣, п╥п╟п©я┐я┴п╣п╫п╫п╬п╣ п©п╬ я┌п╟п╧п╪п╣я─я┐, п╡я│я▒ п╣я┴п╣ п╫п╣ п╥п╟п╡п╣я─я┬п╣п╫п╬. п▒я┐п╢я┐я┤п╦ я┘п╬я─п╬я┬п╦п╪ я│п╬я│п╣п╢п╬п╪, п╡я▀ я┐п╠п╦п╡п╟п╣я┌п╣ п╥п╟п╢п╟п╫п╦п╣ п╦ я│п╬п╥п╢п╟я▒я┌п╣ п╫п╬п╡п╬п╣ п╥п╟п╢п╟п╫п╦п╣ at, п╡ я█я┌п╬я┌ я─п╟п╥ я│ п©п╬п╪п╬я┴я▄я▌ "wget -c", п©п╬п╡я┌п╬я─я▐я▐ я█я┌п╬, п©я─п╦ п╫п╣п╬п╠я┘п╬п╢п╦п╪п╬я│я┌п╦, п╨п╟п╤п╢я▀п╧ п╢п╣п╫я▄. п▓я│п╣ п╤п╣, я█я┌п╬ п╩я┐я┤я┬п╣ п╟п╡я┌п╬п╪п╟я┌п╦п╥п╦я─п╬п╡п╟я┌я▄ я│ п©п╬п╪п╬я┴я▄я▌ crontab. п║п╬п╥п╢п╟п╧я┌п╣ п©я─п╬я│я┌п╬п╧ я┌п╣п╨я│я┌п╬п╡я▀п╧ я└п╟п╧п╩ я│ п╦п╪п╣п╫п╣п╪ "crontab.txt", я│п╬п╢п╣я─п╤п╟я┴п╦п╧ я┤я┌п╬-я┌п╬ я┌п╦п©п╟ я█я┌п╬пЁп╬:

0 23 * * 1-5    wget -c -N http://place.your.url/here
0  6 * * 1-5    killall wget

п╜я┌п╬ п╦ п╠я┐п╢п╣я┌ п╡п╟я┬п╦п╪ я└п╟п╧п╩п╬п╪ crontab, п╨п╬я┌п╬я─я▀п╧ п╬п©я─п╣п╢п╣п╩я▐п╣я┌ п╨п╟п╨п╦п╣ п©п╣я─п╦п╬п╢п╦я┤п╣я│п╨п╦п╣ п╥п╟п╢п╟п╫п╦я▐ п╡я▀п©п╬п╩п╫я▐я┌я▄ п╦ п╨п╬пЁп╢п╟. п÷п╣я─п╡я▀п╣ п©я▐я┌я▄ п╨п╬п╩п╬п╫п╬п╨ я│п╬п╬п╠я┴п╟я▌я┌ п╨п╬пЁп╢п╟ п╡я▀п©п╬п╩п╫п╦я┌я▄ п╨п╬п╪п╟п╫п╢я┐, п╟ п╬я│я┌п╟п╡я┬п╟я▐я│я▐ я┤п╟я│я┌я▄ п╨п╟п╤п╢п╬п╧ я│я┌я─п╬п╨п╦ я┐п╨п╟п╥я▀п╡п╟п╣я┌ я┤я┌п╬ п╫п╣п╬п╠я┘п╬п╢п╦п╪п╬ п╡я▀п©п╬п╩п╫п╦я┌я▄. п▓ п©п╣я─п╡я▀я┘ п╢п╡я┐я┘ п╨п╬п╩п╬п╫п╨п╟я┘ п╥п╟п╢п╟я▒я┌я│я▐ п╡я─п╣п╪я▐ п╢п╫я▐ -- п╡ 0 п╪п╦п╫я┐я┌ 23 я┤п╟я│п╟ п╥п╟п©я┐я│я┌п╦я┌я▄ wget, п╡ 0 п╪п╦п╫я┐я┌ 6 я┤п╟я│п╬п╡ я┐п╠п╦я┌я▄ wget. п║п╦п╪п╡п╬п╩я▀ * п╡ 3-п╧ п╦ 4-п╧ п╨п╬п╩п╬п╫п╨п╟я┘ я┐п╨п╟п╥я▀п╡п╟я▌я┌, я┤я┌п╬ я█я┌п╦ п╢п╣п╧я│я┌п╡п╦я▐ п©п╬п╡я┌п╬я─я▐я▌я┌я│я▐ п╨п╟п╤п╢я▀п╧ п╢п╣п╫я▄ п╨п╟п╤п╢п╬пЁп╬ п╪п╣я│я▐я├п╟. 5-я▐ п╨п╬п╩п╬п╫п╨п╟ я┐п╨п╟п╥я▀п╡п╟п╣я┌ п╫п╟ п╨п╟п╨п╬п╧ п╢п╣п╫я▄ п╫п╣п╢п╣п╩п╦ п╥п╟п©я─п╬пЁя─п╟п╪п╪п╦я─п╬п╡п╟п╫п╟ п╨п╟п╤п╢п╟я▐ п╬п©п╣я─п╟я├п╦я▐ -- "1-5" я│п╬п╬я┌п╡п╣я┌я│я┌п╡я┐я▌я┌ п÷п╬п╫п╣п╢п╣п╩я▄п╫п╦п╨-п÷я▐я┌п╫п╦я├п╟.

п╒п╟п╨п╦п╪ п╬п╠я─п╟п╥п╬п╪, п╨п╟п╤п╢я┐я▌ п╫п╣п╢п╣п╩я▌ п╡ я─п╟п╠п╬я┤п╦п╣ п╢п╫п╦ п╡ 11 я┤п╟я│п╬п╡ п╡п╣я┤п╣я─п╟ п╠я┐п╢п╣я┌ п╫п╟я┤п╦п╫п╟я┌я▄я│я▐ п╡п╟я┬п╟ п╥п╟п╨п╟я┤п╨п╟, п╟ п╡ 6 я┐я┌я─п╟ п╨п╟п╤п╢п╬пЁп╬ я─п╟п╠п╬я┤п╣пЁп╬ п╢п╫я▐ п╩я▌п╠п╬п╧ п╡я│я▒ п╣я┴я▒ п╡я▀п©п╬п╩п╫я▐я▌я┴п╦п╧я│я▐ wget п╠я┐п╢п╣я┌ п©я─п╣я─п╡п╟п╫. п■п╩я▐ п╟п╨я┌п╦п╡п╦п╥п╟я├п╦п╦ я█я┌п╬пЁп╬ я─п╟я│п©п╦я│п╟п╫п╦я▐ crontab п╡я▀ п╢п╬п╩п╤п╫я▀ п╡я▀п©п╬п╩п╫п╦я┌я▄ п╨п╬п╪п╟п╫п╢я┐:

  bash$ crontab crontab.txt

п·п©я├п╦я▐ "-N" п╢п╩я▐ wget п╠я┐п╢п╣я┌ п©я─п╬п╡п╣я─я▐я┌я▄ п╡я─п╣п╪п╣п╫п╫я▀п╣ п╪п╣я┌п╨п╦ (timestamp) я├п╣п╩п╣п╡п╬пЁп╬ я└п╟п╧п╩п╟ п╦ п╬я│я┌п╟п╫п╬п╡п╦я┌ я│п╨п╟я┤п╦п╡п╟п╫п╦п╣, п╣я│п╩п╦ п╬п╫п╦ я│п╬п╡п©п╟п╢я┐я┌, я┤я┌п╬ я▐п╡п╩я▐п╣я┌я│я▐ п╦п╫п╢п╦п╨п╟я┌п╬я─п╬п╪ я┌п╬пЁп╬, я┤я┌п╬ я└п╟п╧п╩ я│п╨п╟я┤п╟п╫ п©п╬п╩п╫п╬я│я┌я▄я▌. п╒п╟п╨п╦п╪ п╬п╠я─п╟п╥п╬п╪, п╡я▀ п╪п╬п╤п╣я┌п╣ п©я─п╬я│я┌п╬ я┐я│я┌п╟п╫п╬п╡п╦я┌я▄ п╣пЁп╬ п╦ п╥п╟п╠я▀я┌я▄. "crontab -r" я┐п╢п╟п╩п╦я┌ я█я┌п╬ п╥п╟п©п╩п╟п╫п╦я─п╬п╡п╟п╫п╫п╬п╣ п╥п╟п╢п╟п╫п╦п╣. п╒п╟п╨п╦п╪ я│п©п╬я│п╬п╠п╬п╪ я▐ я│п╨п╟я┤п╟п╩ п╨я┐я┤я┐ ISO п╬п╠я─п╟п╥п╬п╡ я┤п╣я─п╣п╥ я─п╟п╥п╢п╣п╩я▐п╣п╪я▀п╣ dial-up я│п╬п╣п╢п╦п╫п╣п╫п╦я▐.

п■п╦п╫п╟п╪п╦я┤п╣я│п╨п╦ пЁп╣п╫п╣я─п╦я─я┐п╣п╪я▀п╣ Web я│я┌я─п╟п╫п╦я├я▀

п²п╣п╨п╬я┌п╬я─я▀п╣ web я│я┌я─п╟п╫п╦я├я▀ пЁп╣п╫п╣я─п╦я─я┐я▌я┌я│я▐ п©п╬ п╥п╟п©я─п╬я│я┐, я┌п╟п╨ п╨п╟п╨ п╬п╫п╦ я┤п╟я│я┌п╬ п╦п╥п╪п╣п╫я▐я▌я┌я│я▐, п╦п╫п╬пЁп╢п╟ п╫п╣я│п╨п╬п╩я▄п╨п╬ я─п╟п╥ п╥п╟ п╢п╣п╫я▄. п÷п╬я│п╨п╬п╩я▄п╨я┐ я┌п╣я┘п╫п╦я┤п╣я│п╨п╦ п╫п╟я┬п╟ я├п╣п╩я▄ я└п╟п╧п╩п╬п╪ п╫п╣ я▐п╡п╩я▐п╣я┌я│я▐, я┌п╬ я┐ п╫п╣п╣ п╫п╣я┌ п╢п╩п╦п╫я▀, п╦, я│п╩п╣п╢п╬п╡п╟я┌п╣п╩я▄п╫п╬, п╢п╬п╨п╟я┤п╨п╟ я│я┌п╟п╫п╬п╡п╦я┌я│я▐ п╠п╣я│я│п╪я▀я│п╩п╣п╫п╫п╬п╧ -- п╬п©я├п╦я▐ "-c" п╫п╣ я─п╟п╠п╬я┌п╟п╣я┌. п÷я─п╦п╪п╣я─ -- PHP-я│пЁп╣п╫п╣я─п╦я─п╬п╡п╟п╫п╫п╟я▐ я│я┌я─п╟п╫п╦я├п╟ п╫п╟ Linux Weekend News:

  bash$ wget http://lwn.net/bigpage.php3

п∙я│п╩п╦ п╥п╟п╨п╟я┤п╨п╟ п©я─п╣я─я▀п╡п╟п╣я┌я│я▐ п╦ п╡я▀ п©я▀я┌п╟п╣я┌п╣я│я▄ п╢п╬п╨п╟я┤п╟я┌я▄, я┌п╬ п╡я│я▒ п╫п╟я┤п╫я▒я┌я│я▐ я│ я│п╟п╪п╬пЁп╬ п╫п╟я┤п╟п╩п╟. п▓я─п╣п╪п╣п╫п╟п╪п╦ п╪п╬п╧ я│п╣я┌п╣п╡п╬п╧ п╨п╟п╫п╟п╩ п╡ п╬я└п╦я│п╣ п╫п╟я│я┌п╬п╩я▄п╨п╬ п©п╩п╬я┘, я┤я┌п╬ п╪п╫п╣ п©я─п╦я┬п╩п╬я│я▄ п╫п╟п©п╦я│п╟я┌я▄ п©я─п╬я│я┌п╬п╧ я│п╨я─п╦п©я┌, п╬п╠п╫п╟я─я┐п╤п╦п╡п╟я▌я┴п╦п╧ п╪п╬п╪п╣п╫я┌ п©п╬п╩п╫п╬пЁп╬ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ п╢п╦п╫п╟п╪п╦я┤п╣я│п╨п╬п╧ HTML я│я┌я─п╟п╫п╦я├я▀:

#!/bin/bash

#я│п╬п╥п╢п╟п╣п╪, п╣я│п╩п╦ п╣пЁп╬ п╫п╣я┌
touch bigpage.php3

#п÷я─п╬п╡п╣я─я▐п╣п╪, п╡я│п╣ п╩п╦ п╪я▀ я│п╨п╟я┤п╟п╩п╦
while ! grep -qi '</html>' bigpage.php3
do
  rm -f bigpage.php3

  #п║п╨п╟я┤п╦п╡п╟п╣п╪ LWN п╡ п╬п╢п╫я┐ п╠п╬п╩я▄я┬я┐я▌ я│я┌я─п╟п╫п╦я├я┐
  wget http://lwn.net/bigpage.php3

done

п╜я┌п╬я┌ bash-я│п╨я─п╦п©я┌ я┐п╢п╣я─п╤п╦п╡п╟п╣я┌ п╥п╟пЁя─я┐п╥п╨я┐ п╢п╬п╨я┐п╪п╣п╫я┌п╟, п©п╬п╨п╟ п╫п╣ п╠я┐п╢п╣я┌ п╫п╟п╧п╢п╣п╫п╟ я│я┌я─п╬п╨п╟ "</html>", п╬п╠п╬п╥п╫п╟я┤п╟я▌я┴п╟я▐ п╨п╬п╫п╣я├ я└п╟п╧п╩п╟.

SSL п╦ Cookies

URL'я▀, п╫п╟я┤п╦п╫п╟я▌я┴п╦п╣я│я▐ я│ "https://", п╬п╠я▐п╥п╟п╫я▀ п©я─п╣п╢п╬я│я┌п╟п╡п╩я▐я┌я▄ п╢п╬я│я┌я┐п© п╨ я┐п╢п╟п╩я▒п╫п╫я▀п╪ я└п╟п╧п╩п╟п╪ я┤п╣я─п╣п╥ п╥п╟я┴п╦я┴п╣п╫п╫п╬п╣ я│п╬п╣п╢п╦п╫п╣п╫п╦п╣ SSL (Secure Sockets Layer). п▓я▀ п╬п╠п╫п╟я─я┐п╤п╦я┌п╣, я┤я┌п╬ п╡ я█я┌п╬п╧ я│п╦я┌я┐п╟я├п╦п╦ п╠п╬п╩п╣п╣ я┐п╢п╬п╠п╫п╟ п╢я─я┐пЁп╟я▐ я┐я┌п╦п╩п╦я┌п╟ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ п©п╬п╢ п╫п╟п╥п╡п╟п╫п╦п╣п╪ curl.

п²п╣п╨п╬я┌п╬я─я▀п╣ web-я│п╟п╧я┌я▀ п╥п╟п©п╦я┘п╦п╡п╟я▌я┌ cookies п╡ п╠я─п╬я┐п╥п╣я─ п╢п╬ п©я─п╣п╢п╬я│я┌п╟п╡п╩п╣п╫п╦я▐ п╥п╟я┌я─п╣п╠п╬п╡п╟п╫п╫п╬пЁп╬ п╨п╬п╫я┌п╣п╫я┌п╟. п²п╣п╬п╠я┘п╬п╢п╦п╪п╬ п╢п╬п╠п╟п╡п╦я┌я▄ п╥п╟пЁп╬п╩п╬п╡п╬п╨ "Cookie:" я│ п©я─п╟п╡п╦п╩я▄п╫п╬п╧ п╦п╫я└п╬я─п╪п╟я├п╦п╣п╧, п╨п╬я┌п╬я─я┐я▌ п╪п╬п╤п╫п╬ п©п╬п╩я┐я┤п╦я┌я▄ п╦п╥ cookie-я└п╟п╧п╩п╟ п╡п╟я┬п╣пЁп╬ web-п╠я─п╬я┐п╥п╣я─п╟. п■п╩я▐ lynx п╦ Mozilla я└п╬я─п╪п╟я┌ я└п╟п╧п╩п╟ cookie:

  bash$ cookie=$( grep nytimes ~/.lynx_cookies |awk '{printf("%s=%s;",$6,$7)}' )

я│п╬п╥п╢п╟п╣я┌ я┌я─п╣п╠я┐п╣п╪я▀п╧ cookie п╢п╩я▐ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ п©п╬п╢п╠п╬я─п╨п╦ я│ http://www.nytimes.com, п©п╬п╩п╟пЁп╟я▐, я┤я┌п╬ п╡я▀ я┐п╤п╣ п╥п╟я─п╣пЁп╦я│я┌я─п╦я─п╬п╡п╟п╩п╦я│я▄ п╫п╟ я█я┌п╬п╪ я│п╟п╧я┌п╣ я│ п©п╬п╪п╬я┴я▄я▌ п╠я─п╬я┐п╥п╣я─п╟. w3m п╦я│п©п╬п╩я▄п╥я┐п╣я┌ п╫п╣п╪п╫п╬пЁп╬ п╢я─я┐пЁп╬п╧ я└п╬я─п╪п╟я┌ я└п╟п╧п╩п╟ cookie:

  bash$ cookie=$( grep nytimes ~/.w3m/cookie |awk '{printf("%s=%s;",$2,$3)}' )

п╒п╣п©п╣я─я▄ я│п╨п╟я┤п╦п╡п╟п╫п╦п╣ п╪п╬п╤п╫п╬ п╡я▀п©п╬п╩п╫п╦я┌я▄ я┌п╟п╨п╦п╪ п╬п╠я─п╟п╥п╬п╪:

  bash$ wget --header="Cookie: $cookie"  
       http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

п╦п╩п╦ я│ п©п╬п╪п╬я┴я▄я▌ п╦п╫я│я┌я─я┐п╪п╣п╫я┌п╟ curl:

 
bash$ curl -v -b $cookie -o supercomp.html \
http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html

[п╥п╢п╣я│я▄ я│я┌я─п╬п╨п╟ я─п╟п╥п╬я─п╡п╟п╫п╟ (п╬п╠я─п╟я┌п╫п╬п╧ п╨п╬я│п╬п╧ я┤п╣я─я┌п╬п╧) п╦п╥-п╥п╟ п©я─п╬п╠п╩п╣п╪ я│ я└п╬я─п╪п╟я┌п╦я─п╬п╡п╟п╫п╦п╣п╪ -- п©я─п╦п╪. п©п╣я─п╣п╡.

п║п╬п╥п╢п╟п╫п╦п╣ я│п©п╦я│п╨п╬п╡ URL

п■п╬ я█я┌п╬пЁп╬ п╪п╬п╪п╣п╫я┌п╟ п╪я▀ я│п╨п╟я┤п╦п╡п╟п╩п╦ п╩п╦п╠п╬ п╣п╢п╦п╫п╦я┤п╫я▀п╣ я└п╟п╧п╩я▀, п╩п╦п╠п╬ п©п╬п╩п╫п╬я│я┌я▄я▌ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟п╩п╦ п╡п╣я│я▄ п╡п╣п╠-я│п╟п╧я┌. п≤п╫п╬пЁп╢п╟ п╫п╣п╬п╠я┘п╬п╢п╦п╪п╬ я│п╨п╟я┤п╟я┌я▄ п╪п╫п╬п╤п╣я│я┌п╡п╬ я└п╟п╧п╩п╬п╡ я│ я─п╟п╥п╫я▀п╪п╦ URL, я┐п╨п╟п╥п╟п╫п╫я▀п╪п╦ п╫п╟ п╡п╣п╠-я│я┌я─п╟п╫п╦я├п╣, п╫п╬ п©п╬п╩п╫п╬п╪п╟я│я┬я┌п╟п╠п╫п╬п╣ п╥п╣я─п╨п╟п╩п╦я─п╬п╡п╟п╫п╦п╣ п╡я│п╣пЁп╬ я│п╟п╧я┌п╟ п╫п╣ п╫я┐п╤п╫п╬. п²п╟п©я─п╦п╪п╣я─, я┌я─п╣п╠я┐п╣я┌я│я▐ я│п╨п╟я┤п╟я┌я▄ п©п╣я─п╡я▀п╣ 20 п╪я┐п╥я▀п╨п╟п╩я▄п╫я▀я┘ я└п╟п╧п╩п╬п╡ я│ я│п╟п╧я┌п╟, п╬я┌п╬п╠я─п╟п╤п╟я▌я┴п╦п╧ п©п╬ п©п╬я─я▐п╢п╨я┐ 100 я│п╟п╪я▀я┘ п©п╬п©я┐п╩я▐я─п╫я▀я┘ п©п╣я│п╣п╫. п▓ п╢п╟п╫п╫п╬п╪ я│п╩я┐я┤п╟п╣, п╬п©я├п╦п╦ "--accept" п╦ "--reject" я─п╟п╠п╬я┌п╟я┌я▄ п╫п╣ п╠я┐п╢я┐я┌, п©п╬я│п╨п╬п╩я▄п╨я┐ п╬п╫п╦ я─п╟п╠п╬я┌п╟я▌я┌ я┌п╬п╩я▄п╨п╬ я│ я─п╟я│я┬п╦я─п╣п╫п╦я▐п╪п╦ я└п╟п╧п╩п╬п╡. п▓п╪п╣я│я┌п╬ п╫п╦я┘ п╦я│п©п╬п╩я▄п╥я┐п╣п╪ "lynx -dump".

  bash$ lynx -dump ftp://ftp.ssc.com/pub/lg/ |grep 'gz$' |tail -10 |awk '{print $2}' > urllist.txt

п≈п╟я┌п╣п╪ п╡я▀п╡п╬п╢ lynx п╪п╬п╤п╫п╬ п╬я┌я└п╦п╩я▄я┌я─п╬п╡п╟я┌я▄ я│ п©п╬п╪п╬я┴я▄я▌ я─п╟п╥п╩п╦я┤п╫я▀я┘ GNU я┐я┌п╦п╩п╦я┌ п╬п╠я─п╟п╠п╬я┌п╨п╦ я┌п╣п╨я│я┌п╟. п▓ п©я─п╦п╡п╣п╢я▒п╫п╫п╬п╪ п╡я▀я┬п╣ п©я─п╦п╪п╣я─п╣ п╪я▀ п╡я▀п╢п╣п╩п╦п╩п╦ URL'я▀, п╥п╟п╨п╟п╫я┤п╦п╡п╟я▌я┴п╦п╣я│я▐ п╫п╟ "gz" п╦ я│п╬я┘я─п╟п╫п╦п╩п╦ п╡ я└п╟п╧п╩п╣ п©п╬я│п╩п╣п╢п╫п╦п╣ 10. п я─п╬я┬п╣я┤п╫п╟я▐ я│п╨я─п╦п©я┌п╬п╡п╟я▐ п╨п╬п╪п╟п╫п╢п╟ bash п╟п╡я┌п╬п╪п╟я┌п╦я┤п╣я│п╨п╦ я│п╨п╟я┤п╟п╣я┌ п╩я▌п╠я▀п╣ URL'я▀, п©п╣я─п╣я┤п╦я│п╩п╣п╫п╫я▀п╣ п╡ я█я┌п╬п╪ я└п╟п╧п╩п╣:

bash$ for x in $(cat urllist.txt)
>
do
>
wget $x
>
done

п╒п╟п╨п╦п╪ п╬п╠я─п╟п╥п╬п╪ п╪я▀ я┐я│п©п╣я┬п╫п╬ я│п╨п╟я┤п╟п╩п╦ п©п╬я│п╩п╣п╢п╫п╦п╣ 10 п╡я▀п©я┐я│п╨п╬п╡ Linux Gazette.

"п я┐п©п╟я▐я│я▄" п╡ я┬п╦я─п╬п╨п╬п╪ п╨п╟п╫п╟п╩п╣

п∙я│п╩п╦ п╡я▀ п╬п╢п╦п╫ п╦п╥ п╫п╣п╪п╫п╬пЁп╦я┘ п╦п╥п╠я─п╟п╫п╫я▀я┘, п╦п╪п╣я▌я┴п╦я┘ я┬п╦я─п╬п╨п╦п╧ п╨п╟п╫п╟п╩, п╦ я│п╨п╬я─п╬я│я┌я▄ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ я└п╟п╧п╩п╬п╡ п╬пЁя─п╟п╫п╦я┤п╦п╡п╟п╣я┌я│я▐ я┌п╬п╩я▄п╨п╬ п╫п╟ я│я┌п╬я─п╬п╫п╣ web-я│п╣я─п╡п╣я─п╟, я┌п╬ я┐я│п╨п╬я─п╦я┌я▄ п©я─п╬я├п╣я│я│ п©п╣я─п╣я│я▀п╩п╨п╦ я└п╟п╧п╩п╟ п╪п╬п╤п╣я┌ п©п╬п╪п╬я┤я▄ я│п╩п╣п╢я┐я▌я┴п╦п╧ я┌я─я▌п╨. п■п╩я▐ я█я┌п╬пЁп╬ п╡п╟п╪ п©п╬я┌я─п╣п╠я┐п╣я┌я│я▐ п©я─п╦п╪п╣п╫п╣п╫п╦п╣ curl п╦ п╫п╟п╩п╦я┤п╦п╣ п╫п╣я│п╨п╬п╩я▄п╨п╦я┘ п╥п╣я─п╨п╟п╩я▄п╫я▀я┘ п╡п╣п╠-я│п╟п╧я┌п╬п╡, п╫п╟ п╨п╬я┌п╬я─я▀я┘ я┘я─п╟п╫я▐я┌я│я▐ п╦п╢п╣п╫я┌п╦я┤п╫я▀п╣ п╨п╬п©п╦п╦ п╫я┐п╤п╫п╬пЁп╬ я└п╟п╧п╩п╟. п²п╟п©я─п╦п╪п╣я─, п╡п╟п╪ п╫я┐п╤п╫п╬ я│п╨п╟я┤п╟я┌я▄ ISO Mandrake 8.0 п╦п╥ я│п╩п╣п╢я┐я▌я┴п╦я┘ я┌я─п╣я┘ п╪п╣я│я┌:


url1=http://ftp.eecs.umich.edu/pub/linux/mandrake/iso/Mandrake80-inst.iso
url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake80-inst.iso
url3=http://ftp.wayne.edu/linux/mandrake/iso/Mandrake80-inst.iso

п■п╩п╦п╫п╟ я└п╟п╧п╩п╟ я─п╟п╡п╫п╟ 677281792, п©п╬я█я┌п╬п╪я┐ п╥п╟п©я┐я│я┌п╦п╪ я┌я─п╦ п╬п╢п╫п╬п╡я─п╣п╪п╣п╫п╫я▀я┘ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ я│ п©п╬п╪п╬я┴я▄я▌ п╬п©я├п╦п╦ curl "--range" option:


bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 &
bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 &
bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &

п║п╬п╥п╢п╟я▌я┌я│я▐ я┌я─п╦ я└п╬п╫п╬п╡я▀я┘ п©я─п╬я├п╣я│я│п╟ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐, п╨п╟п╤п╢я▀п╧ п╦п╥ п╨п╬я┌п╬я─я▀я┘ п╨п╬п©п╦я─я┐п╣я┌ я─п╟п╥п╫я▀п╣ я┤п╟я│я┌п╦ ISO-п╬п╠я─п╟п╥п╟ я│ я─п╟п╥п╫я▀я┘ я│п╣я─п╡п╣я─п╬п╡. п·п©я├п╦п╦ "-r" п╥п╟п╢п╟я▌я┌ п©п╬п╢п╢п╦п╟п©п╟п╥п╬п╫я▀ п╠п╟п╧я┌п╬п╡, п╡я▀п╠п╦я─п╟п╣п╪я▀я┘ п╦п╥ я├п╣п╩п╣п╡п╬пЁп╬ я└п╟п╧п╩п╟. п÷п╬ п╥п╟п╡п╣я─я┬п╣п╫п╦я▌ п©я─п╬я│я┌п╬ п╬п╠я┼п╣п╢п╦п╫п╦я┌п╣ я│ п©п╬п╪п╬я┴я▄я▌ cat п╡я│п╣ я┌я─п╦ я┤п╟я│я┌п╦ п╡п╪п╣я│я┌п╣ -- cat mdk-iso.part? > mdk-80.iso. (п²п╟я│я┌п╬я▐я┌п╣п╩я▄п╫п╬ я─п╣п╨п╬п╪п╣п╫п╢я┐п╣п╪ п©я─п╬п╡п╣я─п╦я┌я▄ md5 hash п╢п╬ п╥п╟п©п╦я│п╦ п╫п╟ CD-R.) п≈п╟п©я┐я│п╨ п╨п╟п╤п╢п╬пЁп╬ curl п╡ я│п╡п╬п╣п╪ я│п╬п╠я│я┌п╡п╣п╫п╫п╬п╪ п╬п╨п╫п╣ я│ п╬п©я├п╦п╣п╧ "--verbose" п©п╬п╥п╡п╬п╩я▐п╣я┌ п╬я┌я│п╩п╣п╢п╦я┌я▄ п╨п╟п╤п╢я▀п╧ п©я─п╬я├п╣я│я│ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐.

п≈п╟п╨п╩я▌я┤п╣п╫п╦п╣

п²п╣ п╠п╬п╧я┌п╣я│я▄ п╦я│п©п╬п╩я▄п╥п╬п╡п╟я┌я▄ "п╫п╣ п╦п╫я┌п╣я─п╟п╨я┌п╦п╡п╫я▀п╣" я│п©п╬я│п╬п╠я▀ п╬п╠п╪п╣п╫п╟ я└п╟п╧п╩п╟п╪п╦. п²п╣п╡п╟п╤п╫п╬ п╫п╟я│п╨п╬п╩я▄п╨п╬ я┘п╦я┌я─п╬я┐п╪п╫п╬ web-п╢п╦п╥п╟п╧п╫п╣я─я▀ п©я▀я┌п╟я▌я┌я│я▐ п╥п╟я│я┌п╟п╡п╦я┌я▄ п╡п╟я│ п╠я─п╬п╢п╦я┌я▄ п©п╬ п╦я┘ я│п╟п╧я┌я┐ п╡ п╦п╫я┌п╣я─п╟п╨я┌п╦п╡п╫п╬п╪ я─п╣п╤п╦п╪п╣, п╡я│п╣пЁп╢п╟ п╫п╟п╧п╢я┐я┌я│я▐ я│п╡п╬п╠п╬п╢п╫я▀п╣ я─п╟я│п©я─п╬я│я┌я─п╟п╫я▐п╣п╪я▀п╣ п╦п╫я│я┌я─я┐п╪п╣п╫я┌я▀ п╢п╩я▐ п╟п╡я┌п╬п╪п╟я┌п╦п╥п╟я├п╦п╦ я█я┌п╬пЁп╬ п©я─п╬я├п╣я│я│п╟, п╬п╠п╬пЁп╟я┴п╟я▐ я┌п╣п╪ я│п╟п╪я▀п╪ п╫п╟я┬ я│п╣я┌п╣п╡п╬п╧ п╬п©я▀я┌.


Adrian J Chung

п▓п╬ п╡я─п╣п╪я▐, я│п╡п╬п╠п╬п╢п╫п╬п╣ п╬я┌ п╦п╥я┐я┤п╣п╫п╦я▐ п╨п╬п╪п©я▄я▌я┌п╣я─п╬п╡ п╡ пёп╫п╦п╡п╣я─я│п╦я┌п╣я┌п╣ п╥п╟п©п╟п╢п╫п╬п╧ п≤п╫п╢п╦п╦, п╒я─п╦п╫п╦п╢п╟п╢, п░п╢я─п╦п╟п╫ п©п╦я┬п╣я┌ я│п╨я─п╦п©я┌я▀ п╢п╩я▐ п╟п╡я┌п╬п╪п╟я┌п╦п╥п╟я├п╦п╦ я│п╨п╟я┤п╦п╡п╟п╫п╦я▐ web email п╦ я█п╨я│п©п╣я─п╦п╪п╣п╫я┌п╦я─я┐п╣я┌ я│ п╦п╫я┌п╣я─я└п╣п╧я│п╬п╪ я─п╟п╥п╩п╦я┤п╫я▀я┘ я│п╨я─п╦п©я┌п╬п╡я▀я┘ я│я─п╣п╢, п╦я│п©п╬п╩я▄п╥я┐я▐ я│п╟п╪п╬п╢п╣п╩я▄п╫я▀п╣ я─п╣п╫п╢п╣я─п╣я─я▀ п╨п╬п╪п©я▄я▌я┌п╣я─п╫п╬п╧ пЁя─п╟я└п╦п╨п╦ п╦ п╠п╦п╠п╩п╦п╬я┌п╣п╨п╦ п╡п╦п╥я┐п╟п╩п╦п╥п╟я├п╦п╦ п╢п╟п╫п╫я▀я┘.


Copyright Б∙≤ 2001, Adrian J Chung.
Copying license http://www.linuxgazette.com/copying.html
Published in Issue 70 of Linux Gazette, September 2001
п÷п╣я─п╣п╡п╬п╢: (C) 2001, п░п╩п╣п╨я│п╟п╫п╢я─ п║п╟п╡п╡п╦п╫.

п▓п╣я─п╫я┐я┌я▄я│я▐ п╫п╟ пЁп╩п╟п╡п╫я┐я▌ я│я┌я─п╟п╫п╦я├я┐