一文汇总并发http请求最快的几种实现方式用
假如有一个文件，里面有 10 万个 url，需要对每个 url 发送 http 请求，并打印请求结果的状态码，如何编写代码尽可能快的完成这些任务呢？
python 并发编程有很多方法，多线程的标准库 threading，concurrency，协程 asyncio，当然还有 grequests 这种异步库，每一个都可以实现上述需求，下面一一用代码实现一下，本文的代码可以直接运行，给你以后的并发编程作为参考：
队列+多线程定义一个大小为 400 的队列，然后开启 200 个线程，每个线程都是不断的从队列中获取 url 并访问。
主线程读取文件中的 url 放入队列中，然后等待队列中所有的元素都被接收和处理完毕。代码如下：
from threading import threadimport sysfrom queue import queueimport requestsconcurrent = 200def dowork(): while true: url = q.get() status, url = getstatus(url) dosomethingwithresult(status, url) q.task_done()def getstatus(ourl): try: res = requests.get(ourl) return res.status_code, ourl except: return error, ourldef dosomethingwithresult(status, url): print(status, url)q = queue(concurrent * 2)for i in range(concurrent): t = thread(target=dowork) t.daemon = true t.start()try: for url in open(urllist.txt): q.put(url.strip()) q.join()except keyboardinterrupt: sys.exit(1) 运行结果如下：
有没有 get 到新技能？
线程池 如果你使用线程池，推荐使用更高级的 concurrent.futures 库：
import concurrent.futuresimport requestsout = []connections = 100timeout = 5urls = []with open(urllist.txt) as reader: for url in reader: urls.append(url.strip())def load_url(url, timeout): ans = requests.get(url, timeout=timeout) return ans.status_codewith concurrent.futures.threadpoolexecutor(max_workers=connections) as executor: future_to_url = (executor.submit(load_url, url, timeout) for url in urls) for future in concurrent.futures.as_completed(future_to_url): try: data = future.result() except exception as exc: data = str(type(exc)) finally: out.append(data) print(data) 协程 + aiohttp 协程也是并发非常常用的工具了：
import asynciofrom aiohttp import clientsession, clientconnectorerrorasync def fetch_html(url: str, session: clientsession, **kwargs) -> tuple: try: resp = await session.request(method=get, url=url, **kwargs) except clientconnectorerror: return (url, 404) return (url, resp.status)async def make_requests(urls: set, **kwargs) -> none: async with clientsession() as session: tasks = [] for url in urls: tasks.append( fetch_html(url=url, session=session, **kwargs) ) results = await asyncio.gather(*tasks) for result in results: print(f'{result[1]} - {str(result[0])}')if __name__ == __main__: import sys assert sys.version_info >= (3, 7), script requires python 3.7+. with open(urllist.txt) as infile: urls = set(map(str.strip, infile)) asyncio.run(make_requests(urls=urls)) grequests[1] 这是个第三方库，目前有 3.8k 个星，就是 requests + gevent[2]，让异步 http 请求变得更加简单。gevent 的本质还是协程。
使用前：
pip install grequests 使用起来那是相当的简单：
import grequestsurls = []with open(urllist.txt) as reader: for url in reader: urls.append(url.strip())rs = (grequests.get(u) for u in urls)for result in grequests.map(rs): print(result.status_code, result.url) 注意 grequests.map(rs) 是并发执行的。运行结果如下：
也可以加入异常处理：
>>> def exception_handler(request, exception):... print(request failed)>>> reqs = [... grequests.get('http://httpbin.org/delay/1', timeout=0.001),... grequests.get('http://fakedomain/'),... grequests.get('http://httpbin.org/status/500')]>>> grequests.map(reqs, exception_handler=exception_handler)request failedrequest failed[none, none, ] 最后的话 今天分享了并发 http 请求的几种实现方式，有人说异步（协程）性能比多线程好，其实要分场景看的，没有一种方法适用所有的场景，笔者就曾做过一个实验，也是请求 url，当并发数量超过 500 时，协程明显变慢。
半导体器件开拓者三菱电机7款新品发布
小型气象站是多少钱一台
RedmiBook 14正式降价最高配备了八代酷睿i7处理器整机重量仅有1.5kg
镍氢电池品质检查安全注意事项
爱普生机械手标准解决方案
一文汇总并发http请求最快的几种实现方式用
华为有源天线射频单元助力秘鲁Entel打造多制式移动网络
数字数据安全日趋重要 群联推出FIPS 140-2认证SSD储存方案
超好用的一款自动集尘扫地机器人，我真的太爱了
全方面解读陆风X5底盘
确实！锤子新机发布在即,或并不是锤子T3
总结全桥反激五大经典结构的特点和区别（带图详解）
区块链技术将重塑人们对货币和财富的思考方式
LED显示屏如何选择？盘点LED显示屏五大品牌
阿里巴巴推进医疗AI 智慧城市稳步发展
液晶屏已经成低端代名词 8K OLED才是未来高端市场新星
Xilinx SRL16E如何实现16移位寄存器
站在趋势看未来，智伴创造商业先机
bvv电线的结构/规格/特性/应用
最近关晓彤大火，高颜值华为nova 2 系列重出江湖开启吸粉模式
python 并发编程有很多方法，多线程的标准库 threading，concurrency，协程 asyncio，当然还有 grequests 这种异步库，每一个都可以实现上述需求，下面一一用代码实现一下，本文的代码可以直接运行，给你以后的并发编程作为参考：
队列+多线程定义一个大小为 400 的队列，然后开启 200 个线程，每个线程都是不断的从队列中获取 url 并访问。
主线程读取文件中的 url 放入队列中，然后等待队列中所有的元素都被接收和处理完毕。代码如下：
from threading import threadimport sysfrom queue import queueimport requestsconcurrent = 200def dowork(): while true: url = q.get() status, url = getstatus(url) dosomethingwithresult(status, url) q.task_done()def getstatus(ourl): try: res = requests.get(ourl) return res.status_code, ourl except: return error, ourldef dosomethingwithresult(status, url): print(status, url)q = queue(concurrent * 2)for i in range(concurrent): t = thread(target=dowork) t.daemon = true t.start()try: for url in open(urllist.txt): q.put(url.strip()) q.join()except keyboardinterrupt: sys.exit(1) 运行结果如下：
有没有 get 到新技能？
线程池 如果你使用线程池，推荐使用更高级的 concurrent.futures 库：
import concurrent.futuresimport requestsout = []connections = 100timeout = 5urls = []with open(urllist.txt) as reader: for url in reader: urls.append(url.strip())def load_url(url, timeout): ans = requests.get(url, timeout=timeout) return ans.status_codewith concurrent.futures.threadpoolexecutor(max_workers=connections) as executor: future_to_url = (executor.submit(load_url, url, timeout) for url in urls) for future in concurrent.futures.as_completed(future_to_url): try: data = future.result() except exception as exc: data = str(type(exc)) finally: out.append(data) print(data) 协程 + aiohttp 协程也是并发非常常用的工具了：
import asynciofrom aiohttp import clientsession, clientconnectorerrorasync def fetch_html(url: str, session: clientsession, **kwargs) -> tuple: try: resp = await session.request(method=get, url=url, **kwargs) except clientconnectorerror: return (url, 404) return (url, resp.status)async def make_requests(urls: set, **kwargs) -> none: async with clientsession() as session: tasks = [] for url in urls: tasks.append( fetch_html(url=url, session=session, **kwargs) ) results = await asyncio.gather(*tasks) for result in results: print(f'{result[1]} - {str(result[0])}')if __name__ == __main__: import sys assert sys.version_info >= (3, 7), script requires python 3.7+. with open(urllist.txt) as infile: urls = set(map(str.strip, infile)) asyncio.run(make_requests(urls=urls)) grequests[1] 这是个第三方库，目前有 3.8k 个星，就是 requests + gevent[2]，让异步 http 请求变得更加简单。gevent 的本质还是协程。
使用前：
pip install grequests 使用起来那是相当的简单：
import grequestsurls = []with open(urllist.txt) as reader: for url in reader: urls.append(url.strip())rs = (grequests.get(u) for u in urls)for result in grequests.map(rs): print(result.status_code, result.url) 注意 grequests.map(rs) 是并发执行的。运行结果如下：
也可以加入异常处理：
>>> def exception_handler(request, exception):... print(request failed)>>> reqs = [... grequests.get('http://httpbin.org/delay/1', timeout=0.001),... grequests.get('http://fakedomain/'),... grequests.get('http://httpbin.org/status/500')]>>> grequests.map(reqs, exception_handler=exception_handler)request failedrequest failed[none, none, ] 最后的话 今天分享了并发 http 请求的几种实现方式，有人说异步（协程）性能比多线程好，其实要分场景看的，没有一种方法适用所有的场景，笔者就曾做过一个实验，也是请求 url，当并发数量超过 500 时，协程明显变慢。
半导体器件开拓者三菱电机7款新品发布
小型气象站是多少钱一台
RedmiBook 14正式降价最高配备了八代酷睿i7处理器整机重量仅有1.5kg
镍氢电池品质检查安全注意事项
爱普生机械手标准解决方案
一文汇总并发http请求最快的几种实现方式用
华为有源天线射频单元助力秘鲁Entel打造多制式移动网络
数字数据安全日趋重要 群联推出FIPS 140-2认证SSD储存方案
超好用的一款自动集尘扫地机器人，我真的太爱了
全方面解读陆风X5底盘
确实！锤子新机发布在即,或并不是锤子T3
总结全桥反激五大经典结构的特点和区别（带图详解）
区块链技术将重塑人们对货币和财富的思考方式
LED显示屏如何选择？盘点LED显示屏五大品牌
阿里巴巴推进医疗AI 智慧城市稳步发展
液晶屏已经成低端代名词 8K OLED才是未来高端市场新星
Xilinx SRL16E如何实现16移位寄存器
站在趋势看未来，智伴创造商业先机
bvv电线的结构/规格/特性/应用
最近关晓彤大火，高颜值华为nova 2 系列重出江湖开启吸粉模式