如何使用Go语言测试ip代理?

作者:IPIDEA

2022-09-23 15:22:01

  有时候我们找到的代理ip并不是都可用。使用过免费代理的人都知道这个道理,而一些服务差的代理服务提供商,他们的IP质量也令人担忧。

  当我们使用爬虫时,我们需要大量的代理商,但并非所有的代理商都有效。因此,在使用代理商之前,我们应该检查代理商是否可用。

如何使用Go语言测试ip代理?.png

  我们可以用http.Transport设置代理访问测试地址,如果返回状态码为200,则该代理可用。

  为提高代理检测效率,试验地址尽量使用数据量较小的站点:

  例如:https://icanhazip.com 和 https://httpbin.org/get

  package main

  import (

  "fmt"

  "log"

  "net/http"

  "net/url"

  "strings"

  "time"

  )

  func ProxyTest(proxy_addr string) (Speed int, Status int) {

  //检测ip代理访问地址

  var testUrl string

  //判断传来ip代理是否是https

  if strings.Contains(proxy_addr, "https") {

  testUrl = "https://icanhazip.com"

  } else {

  testUrl = "http://icanhazip.com"

  }

  // 分析代理地址

  proxy, err := url.Parse(proxy_addr)

  //设置网络传输

  netTransport := &http.Transport{

  Proxy: http.ProxyURL(proxy),

  MaxIdleConnsPerHost: 10,

  ResponseHeaderTimeout: time.Second * time.Duration(5),

  }

  // 创建连接客户端

  httpClient := &http.Client{

  Timeout: time.Second * 10,

  Transport: netTransport,

  }

  begin := time.Now() ////判断代理访问时间

  // 使用ip代理访问测试地址

  res, err := httpClient.Get(testUrl)

  if err != nil {

  log.Println(err)

  return

  }

  defer res.Body.Close()

  speed := int(time.Now().Sub(begin).Nanoseconds() / 1000 / 1000) //ms

  如果访问成功,///判断StatusCode应该为200

  if res.StatusCode != http.StatusOK {

  log.Println(err)

  return

  }

  return speed, res.StatusCode

  }

  func main() {

  var speed, status = ProxyTest("http://124.205.155.151:9090")

  if status == 200 {

  fmt.Println(speed, status)

  } else {

  fmt.Println("代理不可用")

  }

  }

  如果你需要稳定和可用的ip代理,IPIDEA自建是合适的选择之一,自建IP池,海量IP地址等着你。


*ipidea提供的服务必须在境外网络环境下使用

热门资讯