这段时间在研究BT数据流如何突破防火墙的,但是最后好像有点拦截的意思,反了:(,还是把它总结一下,欢迎讨论,wengpingbo@gmail.com BitTorrent 协议介绍 BitTorrent 是一种 P2P 协议。用于在对等网络中,用户群和用户群 (peer-to-peer) 之间的文件分享。并
这段时间在研究BT数据流如何突破防火墙的,但是最后好像有点拦截的意思,反了:(,还是把它总结一下,欢迎讨论,wengpingbo@gmail.com
BitTorrent是一种P2P协议。用于在对等网络中,用户群和用户群(peer-to-peer)之间的文件分享。并且,对于一个文件,用户群越大,下载速度就越快。BitTorrent协议能够减少服务端和网络环境对分享大文件的影响,由于是分布式节点互传数据,某一部分的网络拥堵或服务器宕机并不会对整个传输链路造成太大的影响。
BitTorrent协议是由程序员Bram Cohen在2001年四月份设计的,最终版本在2008年确定。有很多客户端实现了BitTorrent协议,最常见的有Vuze、μTorrent、BitTorrent、BitComet、Transmission和Xunlei。
一个BitTorrent文件传输过程,通常需要由以下几个部分组成:
一个种子文件,通常是以.torrent后缀结尾。BitTorrent协议规定,torrent文件本身,内容必须是utf8编码格式,并且其中的字段结构采用bencoding编码格式。
Torrent种子文件由两部分组成:announce(tracker url)和文件信息。
下面以一个正常的torrent文件来分析种子文件的结构。
该种子文件的一部分如下:
d8:announce78:http://www.chinahdtv.org/announce.php?passkey=6e7a1c7ca4164d87e9b0e00ec63aa74910:created by13:uTorrent/204013:creation datei1369699038e8:encoding5:UTF-84:infod5:filesld6:lengthi158784e4:pathl53:Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn.srteed6:lengthi107117e4:pathl54:Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn1.srteed6:lengthi93644e4:pathl54:Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn2.srteed6:lengthi4272200020e4:pathl49:Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.mkveee4:name56:钢铁侠3.Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x26412:piece lengthi4194304e6:pieces20380:012ef......:privatei1e6:source23:[hd.gg] CNHD ChinaHDTVee
根据bencoding编码格式,把这段字符解码还原后,就是如下内容:
announce:http://www.chinahdtv.org/announce.php?passkey=6e7a1c7ca4164d87e9b0e00ec63aa749
created by:uTorrent/2040
creation date:1369699038
encoding:UTF-8
info:
{files:[
{length:158784,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn.srt]}, {length:107117,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn1.srt]}, {length:93644,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.chn2.srt]},
{length:4272200020,path:[Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264.mkv]}],
name:钢铁侠3.Iron.Man.3.2013.HDSCR.ULTRA.EDiTiON.720p.x264,
piece length:4194304,
pieces:P1,P2,P3...P1019
private:1
source:[hd.gg] CNHD ChinaHDTV
}
关于具体bencoding编码,请参考引用中的链接。从上面的结果可以看出,一个torrent种子文件有点类似于XML格式的文件,包含如下组成部分:
注意,以上的每个属性并不是必须的,有的属性属于BitTorrent Enhancement Proposals (BEPs),就是BitTorrent协议的扩展,虽然不属于正式标准的一部分,但是很多客户端都支持这种格式
BitTorrent协议支持基于TCP或UTP网络协议进行数据传输,但是由于TCP协议是有连接的,需要先进行握手。在进行数据传输的过程中,每个种子会占有大量的TCP连接,从而占有大量的用户带宽。这给其他需要高实时性的应用造成很大的网络压力。
于是BitTorrent又支持UTP协议用来进行数据传输,这也是当前大部分BT下载客户端所采用的实现方式。UTP(uTorrent Transport Protocol)是基于UDP网络协议的,也就是无连接协议,采用这种协议进行数据交换,可以很容易进行带宽控制,不会造成网络拥堵。
下面主要分析BitTorrent中的UTP协议,因为这个常用嘛!
UTP协议的包结构如下:(不包含UDP header)
Fig. 1 UTP包结构(来自bittorrent.org)
可能说这么多,有点混乱了,下面以一个具体的UTP包做说明。
数据包内容如下:
0000 78 ac c0 55 45 4a 00 0c 86 23 b8 00 08 00 45 00
0010 00 30 2f e7 00 00 66 11 a4 23 01 a4 60 2e db f6
0020 42 ea 8f b9 cf 46 00 1c 00 00 21 00 19 a2 ec 07
0030 ea 27 c3 62 4a be 00 37 f5 10 11 89 32 d4
其中0x00-0x29是UDP header,这里不再分析。咱来看一下它的数据部分:
210019a2ec07ea27c3624abe0037f510118932d4
可以看出来:
由于BitTorrent数据包是应用层协议,所以必须要通过DPI技术,才能识别这种协议的流量。识别这种流量有两种方法:
一是检测两个peer之间的大流量连接。如果发现两个ip之间出现大量异常udp数据包,可以采取丢包的方式,来限制传输速率。
另外一种方法,就是运用DPI技术,读取UDP数据部分,如果发现大量的UDP包的负载前几个字节是0x0100,则判断为BitTorrent流量,并采取相应的措施。
1. http://en.wikipedia.org/wiki/BitTorrent_client
2. http://en.wikipedia.org/wiki/BitTorrent
3. http://www.bittorrent.org/beps/bep_0000.html