linux curl是什么

在linux中，cURL是一個非常實用的、用來與服務器之間傳輸數據的工具，是一個利用URL規則在命令行下工作的文件傳輸工具；它支持文件的上傳和下載，是綜合傳輸工具。curl提供了一大堆非常有用的功能，包括代理訪問、用戶認證、ftp上傳下載、http POST、ssl連接、Cookie支持、斷點續傳等等。

本教程操作環境：linux7.3系統、Dell G3電腦。

在Linux中curl是一個利用URL規則在命令行下工作的文件傳輸工具，可以說是一款很強大的http命令行工具。它支持文件的上傳和下載，是綜合傳輸工具，但按傳統，習慣稱url為下載工具。

curl是一個非常實用的、用來與服務器之間傳輸數據的工具；支持的協議包括 (DICT, FILE, FTP, FTPS, GOPHER, HTTP, https, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP)，curl設計為無用戶交互下完成工作；curl提供了一大堆非常有用的功能，包括代理訪問、用戶認證、ftp上傳下載、HTTP POST、SSL連接、cookie支持、斷點續傳…。

一、最常用的curl命令

1、發送GET請求

curl URL

curl URL?a=1&b=nihao

2、發送POST請求

curl -X POST -d 'a=1&b=nihao' URL

3、發送json格式請求：

curl -H "Content-Type: application/json" -X POST -d '{"abc":123,"bcd":"nihao"}' URL

curl -H "Content-Type: application/json" -X POST -d @test.json URL

其中，-H代表header頭，-X是指定什么類型請求(POST/GET/HEAD/delete/PUT/PATCH)，-d代表傳輸什么數據。這幾個是最常用的。

查看所有curl命令： man curl或者curl -h
請求頭：H,A,e
響應頭：I,i,D
cookie：b,c,j
傳輸：F(POST),G(GET),T(PUT),X
輸出：o,O,w
斷點續傳：r
調試：v,–trace,–trace-ASCII,–trace-time

二、curl命令語法與curl命令參數詳解

1、curl命令語法

curl [options] [URL...]

2、curl命令參數詳解

由于linux curl功能十分強大，所以命令參數十分多，下表只是愛E族(aiezu.com)帥選出來的部分參數，更多參數請運行“man curl”命令查看。

curl -h 的完整參數解釋：

三、Linux curl命令退出碼

下面是linux curl命令的錯誤代碼和她們的相應的錯誤消息，可能會出現在惡劣的環境。

四、常見用法

1、下載(option:-o或者option:-O)

1.1、下載頁面：

curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
#要注意-O這里后面的url要具體到某個文件，不然抓不下來
curl -O http://www.linux.com/dodo1.JPG

1.2：循環下載
有時候下載圖片可以能是前面的部分名稱是一樣的，就最后的尾椎名不一樣。這樣就會把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下來
curl -O http://www.linux.com/dodo[1-5].JPG

1.3：下載重命名
在hello/dodo1.JPG的文件下載下來就會變成hello_dodo1.JPG,其他文件依此類推，從而有效的避免了文件被覆蓋
curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG

由于下載的hello與bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下載的會把第一次下載的覆蓋，這樣就需要對文件進行重命名。
curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG

1.4：分塊下載(option：-r)
curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
cat dodo1_part* > dodo1.JPG ?#這樣就可以查看dodo1.JPG的內容了

1.5：通過ftp下載文件(option：-u)
curl可以通過ftp下載文件，curl提供兩種從ftp中下載的語法
curl -O -u 用戶名:密碼 ftp://www.linux.com/dodo1.JPG
curl -O ftp://用戶名:密碼@www.linux.com/dodo1.JPG

1.6:下載，顯示進度條(option：-#)或不顯示進度條(option：-s)
curl -# -O http://www.linux.com/dodo1.JPG ?
curl -s -O http://www.linux.com/dodo1.JPG

1.7、下載，斷點續傳(-C )
斷點續轉，從文件頭的指定位置開始繼續下載/上傳；offset續傳開始的位置，如果offset值為“-”，curl會自動從文件中識別起始位置開始傳輸；
curl -# -o centos6.8.iso -C – http://mirrors.aliyun.com/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-minimal.iso
curl -C -O http://www.linux.com/dodo1.JPG

2、上傳文件(option:-T)

curl -T dodo1.JPG -u 用戶名:密碼 ftp://www.linux.com/img/

3、偽造來源頁面|偽造referer|盜鏈 (option：-e)

很多服務器會檢查http訪問的referer從而來控制訪問。比如：你是先訪問首頁，然后再訪問首頁中的郵箱頁面，這里訪問郵箱的referer地址就是訪問首頁成功后的頁面地址，如果服務器發現對郵箱頁面訪問的referer地址不是首頁的地址，就斷定那是個盜連了
#這樣就會讓服務器其以為你是從www.linux.com點擊某個鏈接過來的
curl -e “www.linux.com” http://mail.linux.com
#告訴愛E族，我是從百度來的
curl -e http://baidu.com http://aiezu.com

4、偽造代理設備(模仿瀏覽器)

有些網站需要使用特定的瀏覽器去訪問他們，有些還需要使用某些特定的版本。curl內置option:-A可以讓我們指定瀏覽器去訪問網站
curl -A “Mozilla/4.0 (compatible; MSIE 8.0; windows NT 5.0)” http://www.linux.com
#告訴愛E族，我是GOOGLE爬蟲蜘蛛（其實我是curl命令）
curl -A ” Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” http://aiezu.com
#告訴愛E族，我用的是微信內置瀏覽器
curl -A “Mozilla/5.0 AppleWebKit/600 Mobile MicroMessenger/6.0” http://aiezu.com

5、設置http請求

5.1、設置http請求頭(或option:-H或option:–head)
curl -H “Cache-Control:no-cache” ?http://aiezu.com

5.2、指定proxy服務器以及其端口(option::-x)
#很多時候上網需要用到代理服務器(比如是使用代理服務器上網或者因為使用curl別人網站而被別人屏蔽IP地址的時候)，幸運的是curl通過使用內置option：-x來支持設置代理
curl -x 192.168.100.100:1080 http://www.linux.com

6、http響應頭

6.1、查看http響應頭(option:-I)
# 看看本站的http頭是怎么樣的
curl -I ?http://aiezu.com
輸出：
HTTP/1.1 200 OK
date: Fri, 25 Nov 2016 16:45:49 GMT
Server: apache
Set-Cookie: rox__Session=abdrt8vesprhnpc3f63p1df7j4; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Type: text/html; charset=utf-8
?
6.2、保存http的response里面的header信息(option:-D)
curl -D cookied.txt http://www.linux.com
執行后cookie信息就被存到了cookied.txt里面了
注意：-c(小寫)產生的cookie和-D里面的cookie是不一樣的。

7、發送表單數據

curl -F “pic=@logo.png” -F “site=aiezu” ?http://aiezu.com/

8、cookie

8.1、發送cookie(option:-b）
#有些網站是使用cookie來記錄session信息。對于chrome這樣的瀏覽器，可以輕易處理cookie信息，但在curl中只要增加相關參數也是可以很容易的處理cookie
curl -b “domain=aiezu.com” ?http://aiezu.com
#很多網站都是通過監視你的cookie信息來判斷你是否按規矩訪問他們的網站的，因此我們需要使用保存的cookie信息。內置option: -b
curl -b cookiec.txt http://www.linux.com

8.2、保存http的response里面的cookie信息(option:-c）
執行后http的response里面的cookie信息就被存到了cookiec.txt里面了
curl -c cookiec.txt ?http://www.linux.com

9、測試一個網址

9.1、測試一個網址是否可達
curl -v http://www.linux.com

9.2、測試網頁返回值(option:-w [format])
curl -o /dev/NULL -s -w %{http_code} www.linux.com

10、保存訪問的網頁(>>)

2.1:使用linux的重定向功能保存
curl http://www.linux.com >> linux.html

11、請求方式

curl -i -v -H ” -X POST -d ” http:www.test.com/a/b
其中，-X POST -d, -X GET -d, -X PUT -d 分別等價于-F, -G -d, -P

以post請求為例：
11.1、 -X POST -d
(11.1.1)、POST application/x-www-form-urlencoded
application/x-www-form-urlencoded是默認的
curl -X POST -d “param1=value1&param2=value2” http://localhost:3000/data
等價于
curl -H “Content-Type:application/x-www-form-urlencoded” -X POST -d “param1=value1&param2=value2” http://localhost:3000/data
使用數據文件
curl -X POST -d “@data.txt” http://localhost:3000/data
其中data.txt內容如下：param1=value1&param2=value2

(11.1.2)、POST application/json
curl -H “Content-Type:application/json” -X POST -d ‘{“key1″:”value1″,”key2″:”value2”}’ http://localhost:3000/data
使用數據文件的話：
curl -X POST -d “@data.json” http://localhost:3000/data
其中data.json內容如下：{“key1″:”value1″,”key2″:”value2”}
再舉個例子：
curl -H “Content-type:application/json” -X POST -d “{“app_key”:”$appKey”,”time_stamp”:”$time”}” http://www.test.com.cn/a/b

11.2、-F
curl ?-v -H “Token: 222” -F “file=@/Users/fungleo/Downloads/401.png” localhost:8000/api/v1/upimg?

curl -f http://www.linux.com/error

11.3、其它舉例

(11.3.1)、

curl ?-X POST “http://www.test.com/e/f” -H “Content-Type:application/x-www-form-urlencoded;charset=UTF-8”
-d “a=b”
-d “c=d”
-d “e=f”
-d “g=h”

(11.3.2)、錯誤：curl -i -G -d “a=b#1&c=d” http://www.test.com/e/f
正確：要把參數值是特殊符號的用urlencode轉換過來
curl -i -G -d “a=b%231&c=d” http://www.test.com/e/f

12、調試

curl -v可以顯示一次http通信的整個過程，包括端口連接和http request頭信息。
如果覺得還不夠，那么下面的命令可以查看更詳細的通信過程：
curl –trace output.txt www.baidu.com 或者 curl –trace-ascii output.txt www.baidu.com?
運行后，請打開output.txt文件查看。
curl –trace output.txt ?http://www.baidu.com
curl –trace-ascii output2.txt ?http://www.baidu.com
curl –trace output3.txt –trace-time http://www.baidu.com
curl –trace-ascii output4.txt –trace-time http://www.baidu.com?

舉例:有需求每5分鐘請求一次http://www.test.com/a/b生成一個日志文件。希望一月的日志(正確的和錯誤的)能寫入一個日志文件
day=`date +%F`
logfile=’/var/logs/www.test.com_’`date +%Y%m`’.log’
/usr/bin/echo -e “nn[${day}] Start request n ” >> ${logfile}
/bin/curl?-v?“http://www.test.com/a/b” -d “ccccc” 1>> ${logfile} 2>> ${logfile}?–trace-time
/usr/bin/echo -e “nn[${day}] End requestn” >> ${logfile}

13、顯示抓取錯誤

curl?-f?http://www.linux.com/error

相關推薦：《Linux視頻教程》

以上就是