1. 大數(shù)據(jù)和Hadoop

研究學(xué)習(xí)大數(shù)據(jù)，自然要從Hadoop開(kāi)始。 Hadoop不是一個(gè)簡(jiǎn)單的軟件，而是有一些列軟件形成的生態(tài)，其核心思想來(lái)自Google當(dāng)初發(fā)布的三篇論文，后來(lái)做了開(kāi)源的實(shí)現(xiàn)， 谷歌的實(shí)現(xiàn)和Hadoop的實(shí)現(xiàn)大致可以做這樣的對(duì)應(yīng)：

Google Map/Reduce <---> Hadoop MapReduce Google GFS <---> Hadoop HDFS Google BigTable <---> Hadoop HBase

Hadoop生態(tài)的所有組成部分，都是跑在linux環(huán)境下的，自然我們首先需要搭建linux環(huán)境。另外Hadoop之所以能處理“大”數(shù)據(jù)，是因?yàn)槠浞植际降奶匦裕梢岳梅植际接?jì)算構(gòu)建服務(wù)器集群，并可根據(jù)需要擴(kuò)展。為了學(xué)習(xí)，我們先在本地計(jì)算機(jī)上利用虛擬機(jī)搭建linux環(huán)境，要模型集群環(huán)境，就多創(chuàng)建幾個(gè)虛擬機(jī)就可以了。

為了玩兒這套東西，因?yàn)橐獎(jiǎng)?chuàng)建幾個(gè)虛擬機(jī)，所以的你的電腦內(nèi)存最好不小于8G，因?yàn)榕蹾adoop一般一個(gè)虛擬機(jī)需要2G，隨便開(kāi)3臺(tái)虛擬機(jī)就占不少內(nèi)存了。 不過(guò)前期為了學(xué)習(xí)，我先只給每臺(tái)虛擬機(jī)分配1G內(nèi)存，后面不夠了在調(diào)整就行了。

2. 為什么選VirtualBox？

提起虛擬機(jī)，自然首先想到的就是大名鼎鼎的VMware。 VMware是老牌虛擬機(jī)軟件，網(wǎng)上教程也很多。我之所以選用VirtualBox，主要是因?yàn)閘icense的問(wèn)題。 我手頭只有一臺(tái)MacBook pro, 不想話(huà)太多時(shí)間在軟件license上折騰，所以選擇了免費(fèi)的VirtualBox. VirtualBox的安裝過(guò)程乏善可陳，就是常規(guī)操作，不說(shuō)了。

3. 虛擬機(jī)中安裝CentOS

前面提到，我的主力計(jì)算機(jī)是一臺(tái)MacBook Pro. 之前為方面，利用Parallel Desktop虛擬了一臺(tái)Windows 出來(lái)，這里不提。

linux系統(tǒng)我選擇了CentOS，首先從CentOS官網(wǎng)下載系統(tǒng)的ISO文件。在VirtualBox里新建一個(gè)虛擬機(jī)，類(lèi)型選Linux，版本隨便選一個(gè)就行了，因?yàn)槔锩鏇](méi)有看到有CentOS，不過(guò)隨便選一個(gè)也沒(méi)問(wèn)題。 注意最好選一下文件夾，也就是虛擬機(jī)文件存放的位置，因?yàn)殡S著裝的東西越來(lái)越多，虛擬機(jī)文件可能會(huì)越來(lái)越大。我的電腦硬盤(pán)都快撐滿(mǎn)了，所以?huà)炝藗€(gè)外接硬盤(pán)，把虛擬機(jī)文件放在了外接硬盤(pán)上，需要時(shí)插上用，雖然不方便，但也只好將就了。

其他參數(shù)可以都按默認(rèn)，虛擬機(jī)創(chuàng)建成功后，點(diǎn)設(shè)置，切換到存儲(chǔ)，在光驅(qū)那里選擇下載的CentOS系統(tǒng)的ISO文件，這樣虛擬機(jī)啟動(dòng)后就可以進(jìn)入CentOS的安裝了。

安裝CentOS7 操作系統(tǒng)也不說(shuō)了，都是圖形化界面，沒(méi)什么難度。

4. 網(wǎng)絡(luò)環(huán)境配置遇到的坑

Linux安裝成功后的網(wǎng)絡(luò)設(shè)置這里需要說(shuō)一下，我在這上面踩了不少坑。我希望我的網(wǎng)絡(luò)環(huán)境是這樣的。首先我們希望Linux虛擬機(jī)能夠連接互聯(lián)網(wǎng)，這樣以后需要下載什么組件時(shí)能方便些。其次希望能用Host機(jī)器也就是MacBook中訪問(wèn)到Linux虛擬機(jī)，以便ssh登錄上去。VirtualBox默認(rèn)的小窗口實(shí)在很小，看著眼花，雖然也可以調(diào)大，但畢竟在宿主下操作更方便些，所以還是需要從MacBook上ssh過(guò)去。但是請(qǐng)注意，CentOS剛剛安裝完成后是不能聯(lián)網(wǎng)的，還需要做相關(guān)的設(shè)置才行。

4.1 Linux虛擬機(jī)連接互聯(lián)網(wǎng)

虛擬機(jī)的網(wǎng)絡(luò)設(shè)置默認(rèn)可選用“網(wǎng)絡(luò)地址轉(zhuǎn)換NAT” ，虛擬機(jī)會(huì)創(chuàng)建一個(gè)NAT網(wǎng)絡(luò)。

虛擬機(jī)安裝后默認(rèn)沒(méi)有開(kāi)啟網(wǎng)絡(luò)，所以不能聯(lián)網(wǎng)，需要啟動(dòng)虛擬機(jī)，登錄后更改網(wǎng)絡(luò)配置。

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

把ONBOOT修改為yes，以便讓linux 啟動(dòng)后即啟動(dòng)網(wǎng)絡(luò)。 更改后按ESC，然后 :wq 退出保存?？梢圆挥弥貑?，通過(guò)下面的命令重啟網(wǎng)絡(luò)服務(wù)，以便使更改生效。

systemctl restart network

這時(shí)候可以通過(guò)命令 ``` ip addr``` 查看，你會(huì)看到網(wǎng)絡(luò)已經(jīng)有了一個(gè)IP地址，比如我的是 10.0.2.15。如圖：

現(xiàn)在你如果 ping www.baidu.com ，應(yīng)該發(fā)現(xiàn)已經(jīng)能夠聯(lián)網(wǎng)了。

4.2 從宿主機(jī)Macbook訪問(wèn)Linux虛擬機(jī)

另外，但從主機(jī)Macbook還是不能ping通這個(gè)地址，就是說(shuō)主機(jī)還不能訪問(wèn)虛擬機(jī)。要讓主機(jī)MacBook和虛擬機(jī)linux互通，就需要讓這兩個(gè)機(jī)器在同一個(gè)網(wǎng)段里。 VirtualBox里的“管理”菜單下，打開(kāi)“主機(jī)網(wǎng)絡(luò)管理器”，創(chuàng)建一個(gè)，如圖，可以看到創(chuàng)建了一個(gè)192.168.56.1的虛擬網(wǎng)卡。

這時(shí)候如果你在MacBook的終端中使用ifconfig命令查看，你會(huì)發(fā)現(xiàn)，多出來(lái)一個(gè)vboxnet0的網(wǎng)卡，ip地址就是192.168.56.1

danieldu@daniels-MacBook-Pro-857  ~  ifconfig lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384 options=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP> inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options=201<PERFORMNUD,DAD> gif0: flags=8010<POINTOPOINT,MULTICAST> mtu 1280 stf0: flags=0<> mtu 1280 en0: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500 ether ac:bc:32:c1:ed:dd inet6 fe80::1c82:47a:64f:460f%en0 prefixlen 64 secured scopeid 0x4 inet 192.168.31.46 netmask 0xffffff00 broadcast 192.168.31.255 nd6 options=201<PERFORMNUD,DAD> media: autoselect status: active ....

vboxnet0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> mtu 1500 ether 0a:00:27:00:00:00 inet 192.168.56.1 netmask 0xffffff00 broadcast 192.168.56.255 utun1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> mtu 1380 inet6 fe80::f655:9c6f:ca10:240e%utun1 prefixlen 64 scopeid 0xc nd6 options=201<PERFORMNUD,DAD>

...

然后需要VirtualBox中對(duì)應(yīng)的虛擬機(jī)設(shè)置中，增加一個(gè)網(wǎng)卡2. 選擇“僅主機(jī)（Host-Only）網(wǎng)絡(luò)”，界面名稱(chēng)就是之前看到的vboxnet0.

然后登錄到虛擬機(jī), 利用“ip addr” 命令查看，你會(huì)發(fā)現(xiàn)多出來(lái)一個(gè)網(wǎng)卡enp0s8。 從enp0s3 復(fù)制一個(gè)，然后編輯這個(gè)文件，這次更改為固定IP地址。

cp /etc/sysconfig/network-scripts/ifcfg-enp0s3/etc/sysconfig/network-scripts/ifconfig-enp0s8

然后 重啟網(wǎng)絡(luò) "systemctl restart network". 這時(shí)候就可以從主機(jī)Macbook 訪問(wèn)虛擬機(jī)了。

4.3關(guān)閉Linux防火墻

從上面的設(shè)置看到， 主機(jī)MacBook 的IP是 192.168.56.1， 虛擬機(jī)Linux設(shè)置了靜態(tài)地址為 192.168.56.100. 現(xiàn)在已經(jīng)在一個(gè)網(wǎng)段內(nèi)了，應(yīng)該內(nèi)ping通。如果你ping不通，那很可能是防火墻的問(wèn)題。 首先MacBook要關(guān)閉防火墻。

然后確保虛擬機(jī)Linux的也關(guān)閉防火墻，默認(rèn)防火墻是開(kāi)著的。

檢查一下ssh服務(wù)，默認(rèn)應(yīng)該是開(kāi)著的

你現(xiàn)在應(yīng)該能從mac的終端通過(guò)ssh登錄到linux了。

總結(jié)

以上所述是小編給大家介紹的在Mac上利用VirtualBox搭建本地虛擬機(jī)環(huán)境的方法,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！