并发、多线程、HTTP连接数有何关系?

在使用代理服务器时,我们经常会听到“并发”、“多线程”、“HTTP连接数”等词汇,一些用户不清楚其表示的具体含义,下文将结合爬虫工作来探讨这几个关键词的含义。


并发、多线程、HTTP连接数有何关系?.png


并发:是指在操作系统中,某个时间段中有几个程序已处于启动运行到运行完毕之间。在使用代理IP过程中,某个时间段中几个活跃的TCP连接。一些朋友在连接结束之后没有关闭连接,所以会导致并发数不断累积增加后崩溃的情况。


多线程:是指从软件或硬件上实现多个线程并发执行的技术,很多软件或者程序,都支持多线程技术,以达到提高工作效率的目的。


HTTP连接数:是指访问目标网页时产生的js、css、img及iframe中加载的元素,这些都会计算为HTTP的连接数。


三者之间的关系:如果每个线程只有1个活跃的TCP链接,那么就会由100个并发;如果每个线程都有很多活跃的TCP链接,100个线程便不可能只有100个并发,甚至可能1个线程就有100个并发。而连接数只有在访问纯文字的静态页面时,连接数才等于1,不过这种情况比较少见,现在基本都是动态网站,访问一个网站需要好几个连接数,访问不同的网站连接数也会不同。


IPIDEA已向众多互联网知名企业提供服务,对提高爬虫的抓取效率提供帮助,支持API批量使用,支持多线程高并发使用。欢迎访问www.ipidea.net。


热门资讯