Python如何抓取淘宝IP地址数据

Python如何抓取淘宝IP地址数据

这篇文章主要介绍Python如何抓取淘宝IP地址数据，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

示例代码

def fetch(ip):      url = 'http://ip.taobao.com/service/getIpInfo.php?ip=' + ip      result = []    try:          response = urllib.urlopen(url).read()          jsondata = json.loads(response)        if jsondata[u'code'] == 0:              result.append(jsondata[u'data'][u'ip'].encode('utf-8'))                          result.append(jsondata[u'data'][u'country'].encode('utf-8'))              result.append(jsondata[u'data'][u'country_id'].encode('utf-8'))              result.append(jsondata[u'data'][u'area'].encode('utf-8'))              result.append(jsondata[u'data'][u'area_id'].encode('utf-8'))              result.append(jsondata[u'data'][u'region'].encode('utf-8'))              result.append(jsondata[u'data'][u'region_id'].encode('utf-8'))              result.append(jsondata[u'data'][u'city'].encode('utf-8'))              result.append(jsondata[u'data'][u'city_id'].encode('utf-8'))              result.append(jsondata[u'data'][u'county'].encode('utf-8'))              result.append(jsondata[u'data'][u'county_id'].encode('utf-8'))              result.append(jsondata[u'data'][u'isp'].encode('utf-8'))              result.append(jsondata[u'data'][u'isp_id'].encode('utf-8'))                      else:            return 0, result    except:          logging.exception("Url open failed:" + url)        return 0, result    return 1, result   def worker(ratelimit, jobs, results, progress):    global cancel    while not cancel:        try:              ratelimit.ratecontrol()              ip = jobs.get(timeout=2) # Wait 2 seconds              ok, result = fetch(ip)            if not ok:                  logging.error("Fetch information failed, ip:{}".format(ip))                  progress.put("") # Notify the progress even it failed              elif result is not None:                  results.put(" ".join(result))              jobs.task_done()    # Notify one item          except Queue.Empty:            pass          except:              logging.exception("Unknown Error!")

def process(target, results, progress):    global cancel    while not cancel:        try:              line = results.get(timeout=5)        except Queue.Empty:            pass          else:            print >>target, line              progress.put("")              results.task_done()

def progproc(progressbar, count, progress):    """      Since ProgressBar is not a thread-safe class, we use a Queue to do the counting job, like      two other threads. Use this thread do the printing of progress bar. By the way, it will      print to stderr, which does not conflict with the default result output(stdout).    """      idx = 1    while True:        try:              progress.get(timeout=5)        except Queue.Empty:            pass          else:              progressbar.update(idx)              idx += 1

以上是“Python如何抓取淘宝IP地址数据”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注高防服务器网行业资讯频道！

[微信提示：高防服务器能助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

[图文来源于网络，不代表本站立场，如有侵权，请联系高防服务器网删除]
[