WGET with UserAgent, random-wait and depth level

WGET do:

  1. Download example.com
  2. Download all level-1 and level-2 links
  3. Download everything to : /root/t3mp/wget
  4. Identify as 'Mozilla/MyUserAgent'
  5. Ignore robots.txt
  6. Random wait between requests (average : 3 seconds)



wget -U 'Mozilla/MyUserAgent' -P /root/t3mp/wget --wait=3 --random-wait -nd -r -l 2 -e robots=off https://example.com

 

wget

Neuen Kommentar schreiben

Hilfe zum Textformat
CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.

Suche

Neueste Kommentare

  • /etc/my.cnf

    4 weeks ago
    Transaction isolation level REPEATABLE-READ The recommended level for Drupal is "READ COMMITTED". (Drupal Status Report)

     Edit "/etc/my.cnf" ( under [mysqld] ):

    transaction_isolation="READ-COMMITTED"

    Restart MariaDB / MySQL:

  • Create Sub-Directories with WGET

    1 month ago
    Wget - Eine Webseite rekursive downloaden

    wget -U 'Mozilla/MyUserAgent' -P MyTempDir123 --wait=0.2 --random-wait -nd -r -x -l 4 -e robots=off --reject

  • Ignore Binaries, JS, CSS etc

    1 month ago
    Wget - Eine Webseite rekursive downloaden

    wget -U 'Mozilla/MyUserAgent2024' -P MyOutPutDirectory --wait=1 --random-wait -nd -r -l 2 -e robots=off --reject

  • Intel(R) Xeon(R) E-2288G CPU @ 3.70GHz

    2 months 1 week ago
    CPU benchmarking with sysbench (single-threaded/all cores)

     

    # sysbench --threads="$(nproc)" cpu run

  • AMD Ryzen 7 PRO 3700 8-Core Processor

    2 months 1 week ago
    CPU benchmarking with sysbench (single-threaded/all cores)

    # sysbench --threads="$(nproc)" cpu run

  • Reload .bashrc without logging out

    2 months 1 week ago
    Linux Autovervollständigung - bash autocomplete
    source ~/.bashrc

    Diese Lösung wird empfohlen aber hat bei mir nicht funktioniert.

    Welche Alternative gibt es?

  • Composer + PHP 8.3

    2 months 1 week ago
    PHP-CLI auf PHP8.2 umstellen (für Composer, Drush etc)

    ln -snf /opt/plesk/php/8.3/bin/php /etc/alternatives/php

  • composer.json

    2 months 1 week ago
    Drush Update failed (require php >=8.2)

    In composer.json, update: 

     

  • Empty Flood Table

    2 months 1 week ago
    Drupal: Anmeldung fehlgeschlagen Es hat mehr als 5 fehlerhafte Anmeldeversuche für dieses Benutzerkonto gegeben. Es ist vorübergehend gesperrt. 
    drush sqlq "DELETE FROM flood"

  •  
    Gmail Apps (SMTP Login):…

    2 months 1 week ago
    Drupal SMTP + Gmail funktioniert nicht mehr (Passwort ist richtig); was ist die Lösung?

     

    Gmail Apps (SMTP Login):

    https://security.google.com/settings/security/apppasswords