佳木斯湛栽影视文化发展公司

主頁(yè) > 知識(shí)庫(kù) > Linux Shell多進(jìn)程并發(fā)以及并發(fā)數(shù)控制

Linux Shell多進(jìn)程并發(fā)以及并發(fā)數(shù)控制

熱門標(biāo)簽:Win7旗艦版 硅谷的囚徒呼叫中心 服務(wù)外包 智能手機(jī) 百度競(jìng)價(jià)排名 Linux服務(wù)器 網(wǎng)站建設(shè) 免費(fèi)建站

本文小編為大家詳細(xì)的講解shell多進(jìn)程并發(fā),在大部分用戶眼中,所謂的多進(jìn)程 只不過是將多個(gè)任務(wù)放到后臺(tái)執(zhí)行而已,一起來(lái)看看吧具體的內(nèi)容吧。

1. 基礎(chǔ)知識(shí)準(zhǔn)備

1.1. linux后臺(tái)進(jìn)程

Unix是一個(gè)多任務(wù)系統(tǒng),允許多用戶同時(shí)運(yùn)行多個(gè)程序。shell的元字符提供了在后臺(tái)運(yùn)行不需要鍵盤輸入的程序的方法。輸入命令后,其后緊跟字符,該命令就會(huì)被送往到linux后臺(tái)執(zhí)行,而終端又可以繼續(xù)輸入下一個(gè)命令了。
比如:

sh a.sh 
sh b.sh 
sh c.sh 

這三個(gè)命令就會(huì)被同時(shí)送往linux后臺(tái)執(zhí)行,在這個(gè)程度上,認(rèn)為這三個(gè)命令并發(fā)執(zhí)行了。

1.2. linux文件描述符

文件描述符(縮寫fd)在形式上是一個(gè)非負(fù)整數(shù)。實(shí)際上,它是一個(gè)索引值,指向內(nèi)核為每一個(gè)進(jìn)程所維護(hù)的該進(jìn)程打開文件的記錄表。當(dāng)程序打開一個(gè)現(xiàn)有文件或者創(chuàng)建一個(gè)新文件時(shí),內(nèi)核向進(jìn)程返回一個(gè)文件描述符。每一個(gè)unix進(jìn)程,都會(huì)擁有三個(gè)標(biāo)準(zhǔn)的文件描述符,來(lái)對(duì)應(yīng)三種不同的流:

文件描述符 名稱
0 Standard Input
1 Standard Output
2 Standard Error

每一個(gè)文件描述符會(huì)對(duì)應(yīng)一個(gè)打開文件,同時(shí),不同的文件描述符也可以對(duì)應(yīng)同一個(gè)打開文件;同一個(gè)文件可以被不同的進(jìn)程打開,也可以被同一個(gè)進(jìn)程多次打開。

/proc/PID/fd中,列舉了進(jìn)程PID所擁有的文件描述符,例如

#!/bin/bash
source /etc/profile;

# $表示當(dāng)前進(jìn)程的PID
PID=$

# 查看當(dāng)前進(jìn)程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo

# 文件描述符1與文件tempfd1進(jìn)行綁定
( [ -e ./tempfd1 ] || touch ./tempfd1 )  exec 1>./tempfd1

# 查看當(dāng)前進(jìn)程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo;
[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

[ouyangyewei@localhost learn_linux]$ cat tempfd1 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

上述的例子中第12行,將文件描述符1與文件tempfile進(jìn)行了綁定,此后,文件描述符1指向了tempfile文件,標(biāo)準(zhǔn)輸出被重定向到了文件tempfile中。

1.3. linux管道

在Unix或類Unix操作系統(tǒng)中,管道是一個(gè)由標(biāo)準(zhǔn)輸入輸出鏈接起來(lái)的進(jìn)程集合,因此,每一個(gè)進(jìn)程的輸出將直接作為下一個(gè)進(jìn)程的輸入,

linux管道包含兩種:

匿名管道命名管道

管道有一個(gè)特點(diǎn),如果管道中沒有數(shù)據(jù),那么取管道數(shù)據(jù)的操作就會(huì)滯留,直到管道內(nèi)進(jìn)入數(shù)據(jù),然后讀出后才會(huì)終止這一操作;同理,寫入管道的操作如果沒有讀取管道的操作,這一動(dòng)作就會(huì)滯留。

1.3.1. 匿名管道

在Unix或類Unix操作系統(tǒng)的命令行中,匿名管道使用ASCII中垂直線|作為匿名管道符,匿名管道的兩端是兩個(gè)普通的,匿名的,打開的文件描述符:一個(gè)只讀端和一個(gè)只寫端,這就讓其它進(jìn)程無(wú)法連接到該匿名管道。

例如:

cat file | less

為了執(zhí)行上面的指令,Shell創(chuàng)建了兩個(gè)進(jìn)程來(lái)分別執(zhí)行cat和less。下圖展示了這兩個(gè)進(jìn)程是如何使用管道的:

有一點(diǎn)值得注意的是兩個(gè)進(jìn)程都連接到了管道上,這樣寫入進(jìn)程cat就將其標(biāo)準(zhǔn)輸出(文件描述符為fd 1)連接到了管道的寫入端,讀取進(jìn)程less就將其標(biāo)準(zhǔn)輸入(文件描述符為fd 0)連接到了管道的讀入端。實(shí)際上,這兩個(gè)進(jìn)程并不知道管道的存在,它們只是從標(biāo)準(zhǔn)文件描述符中讀取數(shù)據(jù)和寫入數(shù)據(jù)。shell必須要完成相關(guān)的工作。

1.3.2. 命名管道(FIFO,F(xiàn)irst In First Out)

命名管道也稱FIFO,從語(yǔ)義上來(lái)講,F(xiàn)IFO其實(shí)與匿名管道類似,但值得注意:

在文件系統(tǒng)中,F(xiàn)IFO擁有名稱,并且是以設(shè)備特俗文件的形式存在的;任何進(jìn)程都可以通過FIFO共享數(shù)據(jù);除非FIFO兩端同時(shí)有讀與寫的進(jìn)程,否則FIFO的數(shù)據(jù)流通將會(huì)阻塞;匿名管道是由shell自動(dòng)創(chuàng)建的,存在于內(nèi)核中;而FIFO則是由程序創(chuàng)建的(比如mkfifo命令),存在于文件系統(tǒng)中;匿名管道是單向的字節(jié)流,而FIFO則是雙向的字節(jié)流;

比如,可以利用FIFO實(shí)現(xiàn)單服務(wù)器、多客戶端的應(yīng)用程序:

有了上面的知識(shí)準(zhǔn)備,現(xiàn)在可以開始講述,linux多進(jìn)程并發(fā)時(shí),如何控制每次并發(fā)的進(jìn)程數(shù)。

2. linux多進(jìn)程并發(fā)數(shù)控制

最近小A需要生產(chǎn)2015年全年的KPI數(shù)據(jù)報(bào)表,現(xiàn)在小A已經(jīng)將生產(chǎn)腳本寫好了,生產(chǎn)腳本一次只能生產(chǎn)指定一天的KPI數(shù)據(jù),假設(shè)跑一次生產(chǎn)腳本需要5分鐘,那么:
* 如果是循環(huán)順序執(zhí)行,那么需要時(shí)間:5 * 365 = 1825 分鐘,約等于 6 天
* 如果是一次性放到linux后臺(tái)并發(fā)執(zhí)行,365個(gè)后臺(tái)任務(wù),系統(tǒng)可承受不住哦!

既然不能一次性把365個(gè)任務(wù)放到linux后臺(tái)執(zhí)行,那么,能不能實(shí)現(xiàn)自動(dòng)地每次將N個(gè)任務(wù)放到后臺(tái)并發(fā)執(zhí)行呢?當(dāng)然是可以的啦。

#! /bin/bash
source /etc/profile;

# -----------------------------

tempfifo=$.fifo        # $表示當(dāng)前執(zhí)行文件的PID
begin_date=$1           # 開始時(shí)間
end_date=$2             # 結(jié)束時(shí)間

if [ $# -eq 2 ] 
then
    if [ "$begin_date" \&; "$end_date" ]
    then
        echo "Error! $begin_date is greater than $end_date"
        exit 1;
    fi
else
    echo "Error! Not enough params."
    echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
    exit 2;
fi

# -----------------------------

trap "exec 1000>-;exec 1000-;exit 0" 2
mkfifo $tempfifo
exec 1000>$tempfifo
rm -rf $tempfifo

for ((i=1; i=8; i++))
do
    echo >1000
done

while [ $begin_date != $end_date ]
do
    read -u1000
    {
        echo $begin_date
        hive -f kpi_report.sql --hivevar date=$begin_date
        echo >1000
    } 

    begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done

wait
echo "done!!!!!!!!!!"

第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:

$1表示腳本入?yún)⒌牡谝粋€(gè)參數(shù),等于2015-01-01

$2表示腳本入?yún)⒌牡诙€(gè)參數(shù),等于2015-12-01

$#表示腳本入?yún)⒌膫€(gè)數(shù),等于2

第13行用于比較傳入的兩個(gè)日期的大小,\&;是轉(zhuǎn)義

第26行:表示在腳本運(yùn)行過程中,如果接收到Ctrl+C中斷命令,則關(guān)閉文件描述符1000的讀寫,并正常退出

exec 1000>-;表示關(guān)閉文件描述符1000的寫

exec 1000-;表示關(guān)閉文件描述符1000的讀

trap是捕獲中斷命令

第27~29行:

第27行,創(chuàng)建一個(gè)管道文件

第28行,將文件描述符1000與FIFO進(jìn)行綁定,讀的綁定,>寫的綁定,>則標(biāo)識(shí)對(duì)文件描述符1000的所有操作等同于對(duì)管道文件$tempfifo的操作

第29行,可能會(huì)有這樣的疑問:為什么不直接使用管道文件呢?事實(shí)上這并非多此一舉,管道的一個(gè)重要特性,就是讀寫必須同時(shí)存在,缺失某一個(gè)操作,另一個(gè)操作就是滯留,而第28行的綁定文件描述符(讀、寫綁定)正好解決了這個(gè)問題

第31~34行:對(duì)文件描述符1000進(jìn)行寫入操作。通過循環(huán)寫入8個(gè)空行,這個(gè)8就是我們要定義的后臺(tái)并發(fā)的線程數(shù)。為什么是寫空行而不是寫其它字符?因?yàn)楣艿牢募淖x取,是以行為單位的

第37~42行:

第37行,read -u1000的作用就是讀取管道中的一行,在這里就是讀取一個(gè)空行;每次讀取管道就會(huì)減少一個(gè)空行

第39~41行,注意到第42行結(jié)尾的嗎?它表示進(jìn)程放到linux后臺(tái)中執(zhí)行

第41行,執(zhí)行完后臺(tái)任務(wù)之后,往文件描述符1000中寫入一個(gè)空行。這是關(guān)鍵所在了,由于read -u1000每次操作,都會(huì)導(dǎo)致管道減少一個(gè)空行,當(dāng)linux后臺(tái)放入了8個(gè)任務(wù)之后,由于文件描述符1000沒有可讀取的空行,將導(dǎo)致read -u1000一直處于等待。

標(biāo)簽:玉樹 克拉瑪依 石家莊 許昌 天水 武威 商丘 棗莊

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Linux Shell多進(jìn)程并發(fā)以及并發(fā)數(shù)控制》,本文關(guān)鍵詞  ;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 上一篇:u盤安裝centos 7圖文教程

    下一篇:Linux CentOS上編譯并安裝Clang教程

    收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    读书| 简阳市| 平安县| 花垣县| 丰镇市| 普定县| 新丰县| 大埔县| 定远县| 银川市| 苏州市| 丘北县| 西丰县| 南木林县| 兴国县| 杂多县| 吐鲁番市| 大庆市| 浦城县| 鄂州市| 高雄市| 新竹县| 加查县| 堆龙德庆县| 盱眙县| 深泽县| 文山县| 黑水县| 通许县| 家居| 达孜县| 门头沟区| 河池市| 沿河| 亳州市| 孝感市| 南岸区| 阳朔县| 延津县| 新余市| 交口县|