前言
大家都知道，在Linux Shell中提供兩個(gè)非常實(shí)用的命令來(lái)爬取網(wǎng)頁(yè)，它們分別是 curl 和 wget，本文將給大家詳細(xì)介紹關(guān)于在Linux Shell中curl和wget使用代理IP的相關(guān)內(nèi)容，分享出來(lái)供大家參考學(xué)習(xí)，下面話(huà)不多說(shuō)了，來(lái)一起看看吧。
curl 和 wget 使用代理
代理示例：
#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米撲代理示例：
# http://proxy.mimvp.com/demo2.php
#
# 米撲代理購(gòu)買(mǎi)：
# http://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
# http代理格式 http_proxy=http://IP:Port
# https代理格式 https_proxy=http://IP:Port
{'http': 'http://120.77.176.179:8888'}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/exist.php # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/exist.php # http_proxy
{'https': 'http://46.105.214.133:3128'}
curl -m 30 --retry 3 --proxy-insecure -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/exist.php # https_proxy
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https://proxy.mimvp.com/exist.php # https_proxy
# curl 支持socks
{'socks4': '101.255.17.145:1080'}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/exist.php
{'socks5': '82.164.233.227:45454'}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/exist.php
# wget 不支持socks
wget 配置文件設(shè)置代理
vim ~/.wgetrc http_proxy=http://120.77.176.179:8888:8080 https_proxy=http://12.7.17.17:8888:8080 use_proxy = on wait = 30 wget -T 30 --tries 3 http://proxy.mimvp.com
Shell 設(shè)置臨時(shí)局部代理
# proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 # 取消設(shè)置 unset http_proxy unset https_proxy
Shell 設(shè)置系統(tǒng)全局代理
# 修改 /etc/profile，保存并重啟服務(wù)器 sudo vim /etc/profile # 所有人有效 或 sudo vim ~/.bashrc # 所有人有效 或 vim ~/.bash_profile # 個(gè)人有效 # proxy no auth export http_proxy=http://120.77.176.179:8888:8080 export https_proxy=http://12.7.17.17:8888:8080 # proxy auth export http_proxy=http://username:password@120.77.176.179:8888:8080 export https_proxy=http://username:password@12.7.17.17:8888:8080 source /etc/profile 或 source ~/.bashrc 或 source ~/.bash_profile sudo reboot
米撲代理示例
米撲代理示例，包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語(yǔ)言等十多種編程語(yǔ)言或腳本，通過(guò)大量的可運(yùn)行實(shí)例，詳細(xì)講解了使用代理IP的正確方法，方便網(wǎng)頁(yè)爬取、數(shù)據(jù)采集、自動(dòng)化測(cè)試等領(lǐng)域。
米撲代理示例，測(cè)試使用的代理IP，全部來(lái)自于米撲代理，其覆蓋120多個(gè)國(guó)家，中國(guó)34個(gè)省市，支持http、https、socks4、socks5等
米撲代理示例官網(wǎng) ：http://proxy.mimvp.com/demo2.php
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。
標(biāo)簽：連云港 烏蘭察布 臨沂 撫州 昌都 海北 贛州 廣東
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《Linux Shell中curl和wget使用代理IP的方法教程》，本文關(guān)鍵詞 Linux,Shell,中,curl,和,wget,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。
