2024 Autor: Peter John Melton | [email protected]. Ostatnio zmodyfikowany: 2023-12-16 04:47
Wszyscy uwielbiamy pobierać materiały z internetu, a jest mnóstwo świetnych narzędzi do pobierania plików, które możemy wykorzystać do planowania pobierania. Korzystanie z menedżera pobierania może być prostsze, ale nie ma nic złego w odkrywaniu narzędzi, które są już dostępne w naszym Ubuntu i w pełni go wykorzystują.
W tym artykule pokażemy Wbudowane oprogramowanie w Ubuntu, którego możemy użyć do pobrania rzeczy z Internetu za pomocą wget. Oprócz tego pokażemy, jak zaplanować pobieranie za pomocą Cron.
Pobierz za pomocą Wget
Wget jest darmowym pakietem oprogramowania do pobierania plików za pomocą HTTP, HTTPS i FTP, najczęściej używanych protokołów internetowych. Jest to nieinterakcyjne narzędzie wiersza poleceń, więc można je łatwo wywołać ze skryptów, zadań crona, terminali bez obsługi X-Windows itp.
Otwórz terminal i sprawdźmy, jak możemy użyć wget do pobrania rzeczy z sieci. Podstawowa składnia pobierania z wget jest następująca:
wget [opcja] … …
To polecenie pobierze instrukcję wget na dysk lokalny
wget https://www.gnu.org/software/wget/manual/wget.pdf
Linux Cron
Ubuntu zawiera demona cron używanego do planowania zadań wykonywanych w określonym czasie. Crontab pozwala ci określić akcje i czasy ich wykonania. W ten sposób zwykle planujesz zadanie za pomocą narzędzia wiersza poleceń.
Otwórz okno terminalu i wpisz crontab -e.
Każda z sekcji w pliku crontab jest oddzielona spacją, a ostatnia sekcja zawiera jedną lub więcej spacji. Wpis crona składa się z minuty (0-59), godziny (0-23, 0 = północ), dnia (1-31), miesiąca (1-12), dnia tygodnia (0-6, 0 = niedziela), polecenia. Trzeci wpis w powyższym crontab pobiera pliki wget.pdf o 2 rano. Pierwszy wpis (0) i drugi wpis (2) oznaczają 2:00. Trzeci do piątego wpisu (*) oznacza dowolną porę dnia, miesiąca lub tygodnia. Ostatni wpis to polecenie wget, aby pobrać plik wget.pdf z podanego adresu URL.
To jest podstawa wget i jak działa Cron. Weźmy łup na przykład, jak zaplanować pobieranie.
Planowanie pobierania
Będziemy pobierać Firefoksa 3.6 o drugiej w nocy. Ponieważ nasz ISP podaje tylko ograniczoną ilość danych, musimy zatrzymać pobieranie o 8 rano. Tak wygląda konfiguracja.
Zignoruj pierwsze 2 wpisy w powyższym pliku crontab. Trzecie i czwarte polecenie są jedynymi 2 poleceniami, których potrzebujesz. Trzecie polecenie konfiguruje zadanie, które pobierze Firefoksa o godzinie 2:
[kod] 0 2 * * * wget -c https://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB [/kod]
Opcje -c oznaczają, że wget powinien wznowić istniejące pobieranie, jeśli nie zostało ono zakończone.
Czwarta komenda zatrzyma wget o 8 rano. 'Killall' jest poleceniem unix, które zabija procesy według nazwy.
[kod] 0 8 * * * killall wget [/kod]
The killall wget mówi Ubuntu, aby powstrzymał wget przed pobraniem pliku o 8 rano.
Inne użyteczne polecenia wget
1. Określanie katalogu do pobrania pliku
[kod] wget -output-document = / home / zainul / Downloads / wget manual.pdf https://www.gnu.org/software/wget/manual/wget.pdf [/kod]
opcja -output-document pozwala ci określić katalog i nazwę pobieranego pliku
2. Pobieranie strony internetowej
wget jest również w stanie pobrać stronę internetową.
[kod] wget -m https://www.google.com/profiles/zainul.franciscus [/kod]
Powyższe polecenie spowoduje pobranie całej mojej strony internetowej profilu Google. Opcja "-m" nakazuje wget pobranie "lustrzanego" obrazu określonego adresu URL.
Inną ważną opcją jest powiedzenie wget, ile linków powinno nastąpić podczas pobierania witryny.
[kod] wget -r -l1 https://www.google.com/profiles/zainul.franciscus [/kod]
Powyższe polecenie wget używa dwóch opcji. Pierwsza opcja "-r" mówi wget, aby pobrać rekursywnie określoną witrynę. Druga opcja "-l1" mówi wget, aby uzyskać tylko pierwszy poziom linków z określonej strony. Możemy ustawić do trzech poziomów "-l2" i "-l3".
3. Ignorowanie wejścia robota
Webmaster utrzymuje plik tekstowy o nazwie Robot.txt. "Robot.txt" utrzymuje listę adresów URL, których robot indeksujący strony, taki jak wget, nie powinien przeszukiwać. Możemy powiedzieć wget, aby zignorował plik "Robot.txt" z opcją "-erobots = off". Poniższe polecenie mówi wget, aby pobrać pierwszą stronę mojego profilu google i zignorować plik "Robot.txt".
[kod] wget -erobots = off https://www.google.com/profiles/zainul.franciscus [/kod]
Inną przydatną opcją jest -U. Ta opcja maskuje wget jako przeglądarkę. Zauważ, że maskowanie aplikacji jako innej aplikacji może naruszyć termin i usługę dostawcy usług internetowych.
[kod] wget -erobots = off -U Mozilla https://www.google.com/profiles/zainul.franciscus [/kod]
Wniosek
Wget jest bardzo starym szkolnym pakietem oprogramowania GNU, z którego możemy pobierać pliki. Wget to interaktywne narzędzie wiersza poleceń, co oznacza, że możemy pozwolić mu działać na naszym komputerze w tle bez konieczności uruchamiania jakiejkolwiek aplikacji. Sprawdź stronę man wget
[kod] $ man wget [/kod]
zrozumieć inne opcje, których możemy użyć z wget.
Spinki do mankietów
Podręcznik Wget Jak połączyć dwa pobrane pliki Kiedy wget zawodzi w połowie drogi QuickTip dla Linuksa: Pobieranie i rozpakowywanie w jednym kroku
Zalecana:
Jak nauczyć się programowania na tanie
Chcesz nauczyć się kodowania, ale nie masz zbyt wielu dodatkowych tematów, aby dowiedzieć się, jak to zrobić? Obecnie w Internecie dostępnych jest mnóstwo zasobów, których możesz użyć, aby uzyskać dostęp do wszystkich najbardziej zaawansowanych języków programowania, często bez konieczności upuszczania ani grosza za ten przywilej.
Doomi to bezpłatna mała lekka aplikacja listy rzeczy do zrobienia
W naszym pracowitym geeku wydaje się, że nigdy nie otrzymamy wystarczającej liczby przypomnień o wszystkich zadaniach w ciągu dnia. Doomi to darmowa, łatwa w użyciu aplikacja do wykonywania zadań, która nie zawiera wielu niepotrzebnych dodatkowych funkcji.
Sterowanie układem Silverlight: Samouczek dotyczący programowania aplikacji systemu Windows Phone - Część 16
W tym samouczku dotyczącym Kontrolek układu Silverlight przeanalizowaliśmy trzy główne elementy sterujące układem dostępne w silverlight na telefon z systemem Windows.
Podpisz swoją małą firmę w Windows 7 Professional
Microsoft wyraźnie atakuje każdą inną firmę technologiczną za kwotę przeznaczoną na wysiłek i zasoby, które wydaje na budowanie bazy wiedzy i repozytorium treści w celu wsparcia swoich produktów i technologii.
System Scheduler: alternatywa programu Task Scheduler na komputer z systemem Windows
Splinterware System Scheduler to darmowy program do planowania zadań i alternatywa Task Scheduler systemu Windows. Przeczytaj recenzję tego bezpłatnego oprogramowania.