动静行列(MQ,Message Queue)在动静数据传输中的生存浸染为数据通信提供了保障和及时处理惩罚上的便利,这里我们就来看一下Python中线程的MQ动静行列实现以及动静行列的利益理会
“动静行列”是在动静的传输进程中生存动静的容器。动静行列打点器在将动静从它的源中继到它的方针时充傍边间人。行列的主要目标是提供路由并担保动静的通报；假如发送动静时吸收者不行用，动静行列会保存动静，直到可以乐成地通报它。相信对任何架构或应用来说，动静行列都是一个至关重要的组件，下面是十个来由:
Python的动静行列示例：
1.threading+Queue实现线程行列
#!/usr/bin/env python import Queue import threading import time queue = Queue.Queue() class ThreadNum(threading.Thread): """没打印一个数字期待1秒，并发打印10个数字需要几多秒？""" def __init__(self, queue): threading.Thread.__init__(self) self.queue = queue def run(self): whileTrue: #消费者端，从行列中获取num num = self.queue.get() print "i'm num %s"%(num) time.sleep(1) #在完成这项事情之后，利用 queue.task_done() 函数向任务已经完成的行列发送一个信号 self.queue.task_done() start = time.time() def main(): #发生一个 threads pool, 并把动静通报给thread函数举办处理惩罚，这里开启10个并发 for i in range(10): t = ThreadNum(queue) t.setDaemon(True) t.start() #往行列中填错数据 for num in range(10): queue.put(num) #wait on the queue until everything has been processed queue.join() main() print "Elapsed Time: %s" % (time.time() - start)
运行功效：
i'm num 0 i'm num 1 i'm num 2 i'm num 3 i'm num 4 i'm num 5 i'm num 6 i'm num 7 i'm num 8 i'm num 9 Elapsed Time: 1.01399993896
解读：
详细事情步调描写如下：
1，建设一个 Queue.Queue() 的实例，然后利用数据对它举办填充。
2，将颠末填凑数据的实例通报给线程类，后者是通过担任 threading.Thread 的方法建设的。
3，生成守护线程池。
4，每次从行列中取出一个项目，并利用该线程中的数据和 run 要领以执行相应的事情。
5，在完成这项事情之后，利用 queue.task_done() 函数向任务已经完成的行列发送一个信号。
6，对行列执行 join 操纵，实际上意味着比及行列为空，再退出主措施。
在利用这个模式时需要留意一点：通过将守护线程配置为 true，措施运行完自动退出。长处是在退出之前，可以对行列执行 join 操纵、可能比及行列为空。
2.多个行列
所谓多个行列，一个行列的输出可以作为另一个行列的输入
#!/usr/bin/env python import Queue import threading import time queue = Queue.Queue() out_queue = Queue.Queue() class ThreadNum(threading.Thread): def __init__(self, queue, out_queue): threading.Thread.__init__(self) self.queue = queue self.out_queue = out_queue def run(self): whileTrue: #从行列中打动静 num = self.queue.get() bkeep = num #将bkeep放入行列中 self.out_queue.put(bkeep) #signals to queue job is done self.queue.task_done() class PrintLove(threading.Thread): def __init__(self, out_queue): threading.Thread.__init__(self) self.out_queue = out_queue def run(self): whileTrue: #从行列中获打动静并赋值给bkeep bkeep = self.out_queue.get() keke = "I love " + str(bkeep) print keke, print self.getName() time.sleep(1) #signals to queue job is done self.out_queue.task_done() start = time.time() def main(): #populate queue with data for num in range(10): queue.put(num) #spawn a pool of threads, and pass them queue instance for i in range(5): t = ThreadNum(queue, out_queue) t.setDaemon(True) t.start() for i in range(5): pl = PrintLove(out_queue) pl.setDaemon(True) pl.start() #wait on the queue until everything has been processed queue.join() out_queue.join() main() print "Elapsed Time: %s" % (time.time() - start)
#p#分页标题#e#
运行功效：
I love 0 Thread-6 I love 1 Thread-7 I love 2 Thread-8 I love 3 Thread-9 I love 4 Thread-10 I love 5 Thread-7 I love 6 Thread-6 I love 7 Thread-9 I love 8 Thread-8 I love 9 Thread-10 Elapsed Time: 2.00300002098
解读：
ThreadNum 类事情流程
界说行列—>担任threading—->初始化queue—->界说run函数—>get queue中的数据—->处理惩罚数据—->put数据到别的一个queue–>发信号汇报queue该条处理惩罚完毕
main函数事情流程：
—>往自界说queue中扔数据
—>for轮回确定启动的线程数—->实例化ThreadNum类—->启动线程并配置守护
—>for轮回确定启动的线程数—->实例化PrintLove类—>启动线程并配置为守护
—>期待queue中的动静处理惩罚完毕后执行join。即退出主措施。
相识了MQ的或许实现今后，我们来总结一下动静行列的利益：
1. 解耦
在项目启动之初来预测未来项目会遇到什么需求，是极其坚苦的。动静行列在处理惩罚进程中间插入了一个隐含的、基于数据的接口层，双方的处理惩罚进程都要实现这一接口。这答允你独立的扩展或修改双方的处理惩罚进程，只要确保它们遵守同样的接口约束。
2. 冗余
有时在处理惩罚数据的时候处理惩罚进程会失败。除非数据被耐久化，不然将永远丢失。动静行列把数据举办耐久化直到它们已经被完全处理惩罚，通过这一方律例避了数据丢失风险。在被很多动静行列所回收的"插入-获取-删除"范式中，在把一个动静从行列中删除之前，需要你的处理惩罚进程明晰的指出该动静已经被处理惩罚完毕，确保你的数据被安详的生存直到你利用完毕。
3. 扩展性
因为动静行列解耦了你的处理惩罚进程，所以增大动静入队和处理惩罚的频率是很容易的；只要别的增加处理惩罚进程即可。不需要改变代码、不需要调理参数。扩展就像调大电力按钮一样简朴。
4. 机动性 & 峰值处理惩罚本领
当你的应用上了Hacker News的首页，你将发明会见流量攀升到一个差异寻常的程度。在会见量剧增的环境下，你的应用仍然需要继承发挥浸染，可是这样的突发流量并不常见；假如为 以能处理惩罚这类峰值会见为尺度来投入资源随时待命无疑是庞大的挥霍。利用动静行列可以或许使要害组件顶住增长的会见压力，而不是因为超出负荷的请求而完全瓦解。 请查察我们关于峰值处理惩罚本领的博客文章相识更多此方面的信息。
5. 可规复性
当体系的一部门组件失效，不会影响到整个系统。动静行列低落了历程间的耦合度，所以纵然一个处理惩罚动静的历程挂掉，插手行列中的动静仍然可以在系统规复后被处理惩罚。而这种答允重试可能延后处理惩罚请求的本领凡是是培育一个略感未便的用户和一个沮丧透顶的用户之间的区别。
6. 送达担保
动静行列提供的冗余机制担保了动静能被实际的处理惩罚，只要一个历程读取了该行列即可。在此基本上，IronMQ提供了一个"只送达一次"担保。无论有几多进 程在从行列中领取数据，每一个动静只能被处理惩罚一次。这之所以成为大概，是因为获取一个动静只是"预定"了这个动静，临时把它移出了行列。除非客户端明晰的 暗示已经处理惩罚完了这个动静，不然这个动静会被放回行列中去，在一段可设置的时间之后可再次被处理惩罚。
7.排序担保
#p#分页标题#e#
在很多环境下，数据处理惩罚的顺序都很重要。动静行列原来就是排序的，而且能担保数据会凭据特定的顺序来处理惩罚。IronMO担保动静浆糊通过FIFO（先进先出）的顺序来处理惩罚，因此动静在行列中的位置就是从行列中检索他们的位置。
8.缓冲
在任何重要的系统中，城市有需要差异的处理惩罚时间的元素。譬喻,加载一张图片比应用过滤器耗费更少的时间。动静行列通过一个缓冲层来辅佐任务最高效率的执行–写入行列的处理惩罚会尽大概的快速，而不受从行列读的预备处理惩罚的约束。该缓冲有助于节制和优化数据流颠末系统的速度。
9. 领略数据流
在一个漫衍式系统里，要获得一个关于用户操纵会用多长时间及其原因的总体印象，是个庞大的挑战。动静系列通过动静被处理惩罚的频率，来利便的帮助确定那些表示不佳的处理惩罚进程或规模，这些处所的数据流都不足优化。
10. 异步通信
许多时候，你不想也不需要当即处理惩罚动静。动静行列提供了异步处理惩罚机制，答允你把一个动静放入行列，但并不当即处理惩罚它。你想向行列中放入几多动静就放几多，然后在你乐意的时候再去处理惩罚它们。
