佳木斯湛栽影视文化发展公司

主頁(yè) > 知識(shí)庫(kù) > 詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案

詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案

熱門(mén)標(biāo)簽:企業(yè)做大做強(qiáng) 客戶(hù)服務(wù) 語(yǔ)音系統(tǒng) 電話(huà)運(yùn)營(yíng)中心 百度AI接口 硅谷的囚徒呼叫中心 呼叫中心市場(chǎng)需求 Win7旗艦版

先看一道GIL面試題:

描述Python GIL的概念, 以及它對(duì)python多線(xiàn)程的影響?編寫(xiě)一個(gè)多線(xiàn)程抓取網(wǎng)頁(yè)的程序,并闡明多線(xiàn)程抓取程序是否可比單線(xiàn)程性能有提升,并解釋原因。

GIL:又叫全局解釋器鎖,每個(gè)線(xiàn)程在執(zhí)行的過(guò)程中都需要先獲取GIL,保證同一時(shí)刻只有一個(gè)線(xiàn)程在運(yùn)行,目的是解決多線(xiàn)程同時(shí)競(jìng)爭(zhēng)程序中的全局變量而出現(xiàn)的線(xiàn)程安全問(wèn)題。它并不是python語(yǔ)言的特性,僅僅是由于歷史的原因在CPython解釋器中難以移除,因?yàn)閜ython語(yǔ)言運(yùn)行環(huán)境大部分默認(rèn)在CPython解釋器中。

通過(guò)一個(gè)案例了解單線(xiàn)程和多線(xiàn)程的cpu占用率:

打開(kāi)Ubuntu終端命令:輸入htop,回車(chē),紅色箭頭指向的2代表此時(shí)我的虛擬機(jī)中CPU有兩個(gè)核心數(shù)

下面通過(guò)一個(gè)案例了解單線(xiàn)程死循環(huán)和多線(xiàn)程死循環(huán)的CPU占用率:

單線(xiàn)程死循環(huán).py: 

#coding=utf-8
while True:
  pass

運(yùn)行該程序,出現(xiàn)以下界面:

此時(shí)新開(kāi)一個(gè)窗口,輸入htop,查看CPU占用率,其中一個(gè)CPU占用率幾乎為100%:

兩個(gè)線(xiàn)程死循環(huán).py

#coding=utf-8
import threading
 
#子線(xiàn)程死循環(huán)
def test():
  while True:
    pass
 
t1=threading.Thread(target=test)
t1.start()
 
#主線(xiàn)程死循環(huán),
while True:
  pass

此時(shí)新開(kāi)一個(gè)終端,輸入htop查看CPU占用率,可以看到兩個(gè)CPU任何一個(gè)并沒(méi)有全部占滿(mǎn),而是交替執(zhí)行的:

 這也就驗(yàn)證了多線(xiàn)程下每個(gè)線(xiàn)程在執(zhí)行的過(guò)程中都需要先獲取GIL,保證同一時(shí)刻只有一個(gè)線(xiàn)程在運(yùn)行。

由于GIL的存在,即使是多線(xiàn)程,事實(shí)上同一時(shí)刻只能保證一個(gè)線(xiàn)程在運(yùn)行,既然這樣多線(xiàn)程的運(yùn)行效率不就和單線(xiàn)程一樣了嗎,那為什么還要使用多線(xiàn)程呢?

由于以前的電腦基本都是單核CPU,多線(xiàn)程和單線(xiàn)程幾乎看不出差別,可是由于計(jì)算機(jī)的迅速發(fā)展,現(xiàn)在的電腦幾乎都是多核CPU了,最少也是兩個(gè)核心數(shù)的,這時(shí)差別就出來(lái)了:通過(guò)之前的案例我們已經(jīng)知道,即使在多核CPU中,多線(xiàn)程同一時(shí)刻也只有一個(gè)線(xiàn)程在運(yùn)行,這樣不僅不能利用多核CPU的優(yōu)勢(shì),反而由于每個(gè)線(xiàn)程在多個(gè)CPU上是交替執(zhí)行的,導(dǎo)致在不同CPU上切換時(shí)造成資源的浪費(fèi),反而會(huì)更慢。即原因是一個(gè)進(jìn)程只存在一把gil鎖,當(dāng)在執(zhí)行多個(gè)線(xiàn)程時(shí),內(nèi)部會(huì)爭(zhēng)搶gil鎖,這會(huì)造成當(dāng)某一個(gè)線(xiàn)程沒(méi)有搶到鎖的時(shí)候會(huì)讓cpu等待,進(jìn)而不能合理利用多核cpu資源。

例如在使用多線(xiàn)程抓取網(wǎng)頁(yè)內(nèi)容時(shí),遇到IO阻塞時(shí),正在執(zhí)行的線(xiàn)程會(huì)暫時(shí)釋放GIL鎖,這時(shí)其它線(xiàn)程會(huì)利用這個(gè)空隙時(shí)間,執(zhí)行自己的代碼,因此多線(xiàn)程抓取比單線(xiàn)程抓取性能要好。

說(shuō)到在這里要先介紹兩個(gè)概念:計(jì)算密集型和IO密集型

計(jì)算密集型:要進(jìn)行大量的數(shù)值計(jì)算,例如進(jìn)行上億的數(shù)字計(jì)算、計(jì)算圓周率、對(duì)視頻進(jìn)行高清解碼等等。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成,但是花費(fèi)的主要時(shí)間在任務(wù)切換的時(shí)間,此時(shí)CPU執(zhí)行任務(wù)的效率比較低。

IO密集型:涉及到網(wǎng)絡(luò)請(qǐng)求(time.sleep())、磁盤(pán)IO的任務(wù)都是IO密集型任務(wù),這類(lèi)任務(wù)的特點(diǎn)是CPU消耗很少,任務(wù)的大部分時(shí)間都在等待IO操作完成(因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度)。對(duì)于IO密集型任務(wù),任務(wù)越多,CPU效率越高,但也有一個(gè)限度。

解決GIL問(wèn)題的方案:

1.使用其它語(yǔ)言,例如C,Java

2.使用其它解釋器,如java的解釋器jython

3.使用多進(jìn)程

線(xiàn)程釋放GIL鎖的情況:

1.在IO操作等可能會(huì)引起阻塞的system call之前,可以暫時(shí)釋放GIL,但在執(zhí)行完畢后,必須重新獲取GIL。

2.Python 3.x使用計(jì)時(shí)器(執(zhí)行時(shí)間達(dá)到閾值后,當(dāng)前線(xiàn)程釋放GIL)或Python 2.x,tickets計(jì)數(shù)達(dá)到100。

GIL面試題參考答案:

  • Python語(yǔ)言和GIL沒(méi)有什么關(guān)系。僅僅是由于歷史原因在Cpython虛擬機(jī)(解釋器),難以移除GIL。
  • GIL:全局解釋器鎖。每個(gè)線(xiàn)程在執(zhí)行的過(guò)程都需要先獲取GIL,保證同一時(shí)刻只有一個(gè)線(xiàn)程可以執(zhí)行代碼。
  • 線(xiàn)程釋放GIL鎖的情況: 在IO操作等可能會(huì)引起阻塞的system call之前,可以暫時(shí)釋放GIL,但在執(zhí)行完畢后,必須重新獲取GIL Python 3.x使用計(jì)時(shí)器(執(zhí)行時(shí)間達(dá)到閾值后,當(dāng)前線(xiàn)程釋放GIL)或Python 2.x,tickets計(jì)數(shù)達(dá)到100。
  • Python使用多進(jìn)程是可以利用多核的CPU資源的。
  • 多線(xiàn)程爬取比單線(xiàn)程性能有提升,因?yàn)橛龅絀O阻塞會(huì)自動(dòng)釋放GIL鎖。

到此這篇關(guān)于詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案的文章就介紹到這了,更多相關(guān)Python GIL全局解釋器鎖內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Cpython解釋器中的GIL全局解釋器鎖
  • Python Threading 線(xiàn)程/互斥鎖/死鎖/GIL鎖
  • 簡(jiǎn)要講解Python編程中線(xiàn)程的創(chuàng)建與鎖的使用
  • Python編程中Python與GIL互斥鎖關(guān)系作用分析

標(biāo)簽:喀什 崇左 山西 山西 海南 長(zhǎng)沙 安康 濟(jì)南

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案》,本文關(guān)鍵詞  ;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話(huà)咨詢(xún)

    • 400-1100-266
    神池县| 景德镇市| 修水县| 西畴县| 中江县| 榆中县| 揭西县| 宜兴市| 顺义区| 荆州市| 黄骅市| 松溪县| 称多县| 建平县| 镇远县| 西青区| 吉首市| 绿春县| 兰州市| 鄂尔多斯市| 阳西县| 普格县| 晋州市| 日照市| 五河县| 德兴市| 广饶县| 东阿县| 宝鸡市| 廉江市| 汉寿县| 龙门县| 石首市| 仪征市| 武邑县| 房产| 施甸县| 夏邑县| 三台县| 华宁县| 双江|