技術干貨 | 大數(shù)據(jù)平臺的多租戶管理

1、什么是租戶，租戶和用戶的區(qū)別

租戶和用戶是兩個常常會混淆的概念。簡單來說，用戶是一個資源的使用者，而租戶通常是指一個企業(yè)或組織，租戶對資源具有獨占性和排他性。

打個比方，用戶（User）好比是在大學宿舍中的一個大學生，他可以使用這個宿舍里的所有資源，其他用戶也可以使用這些資源。

而租戶（Tenant），就好比是豬籠城寨里的裁縫、苦力強。他們從包租婆那里租下一個房間，這個房間是他們各自獨享的空間和資源。

一個租戶中可以有多個用戶，而一個用戶也屬于某個租戶。

2、什么是多租戶管理

多租戶是一個軟件架構，軟件只有一個實例運行在服務器，并服務于多個租戶。一個租戶包含一組用戶，他們擁有指定權限，共同訪問一個軟件實例。一個多租戶架構，應用程序為每個租戶提供一個專屬于他們的數(shù)據(jù)、配置、用戶管理、租戶特有的功能和屬性。

多租戶技術有著悠久的歷史，從IBM大型機的時代開始，為了能充分利用當時非常昂貴的計算資源，就已經(jīng)產(chǎn)生了用多租戶的方式來進行資源的分配。

而如今隨著云計算、SaaS服務的興起，多租戶模式也得到來越來越廣泛的應用。

多租戶管理的優(yōu)點在于：

降低系統(tǒng)運維成本

通過多租戶數(shù)據(jù)資源隔離機制，提高數(shù)據(jù)的安全性

3、大數(shù)據(jù)平臺的多租戶管理

隨著數(shù)據(jù)量的飛速增長和大數(shù)據(jù)技術的日益成熟，越來越多的企業(yè)和政府機構著手建設基于Hadoop技術體系的大數(shù)據(jù)平臺，并在大數(shù)據(jù)集群上陸續(xù)展開了越來越多的應用場景。在企業(yè)內(nèi)部，大量業(yè)務應用架設在同一個Hadoop集群上，容易出現(xiàn)數(shù)據(jù)與集群資源混亂無序的狀態(tài)。特別是對于集團性質(zhì)的企業(yè)，有著強烈的統(tǒng)一建設大數(shù)據(jù)平臺、共享資源的需求。既希望通過建設統(tǒng)一的大數(shù)據(jù)平臺，供給各個下屬子公司使用來降低成本，同時又必須能夠做到各個下屬子公司之間的數(shù)據(jù)隔離和資源分配，也就是要建立大數(shù)據(jù)平臺的多租戶管理機制。

然而，目前的開源大數(shù)據(jù)平臺對于多租戶管理的支持并不友好，對于用戶來說缺少易于管理和配置的多租戶管理工具。可以說在Hadoop技術棧中，租戶這個概念是欠缺的。

實現(xiàn)大數(shù)據(jù)平臺的多租戶管理，最核心的功能是對各類大數(shù)據(jù)組件的資源、配額和權限管理，涉及到的主要資源類型有：

HDFS：空間配額和ACL訪問權限

HBase：命名空間和表授權

Hive：庫和表的訪問權限

Kafka：隊列的訪問權限

YARN：計算資源（CPU和內(nèi)存）的分配

大數(shù)據(jù)平臺的多租戶管理也需要用到一些相關的技術組件，包括：

Kerberos：大數(shù)據(jù)平臺最常用的安全認證機制，通過一套密鑰系統(tǒng)為大數(shù)據(jù)平臺提供增強的安全性。

Sentry/Ranger：Sentry和Ranger都是Hadoop的授權機制，能夠?qū)崿F(xiàn)對HDFS、HBase、Hive的基于角色的細粒度授權。Sentry包含在Cloudera CDH中，Ranger則由Hortonworks提供。隨著Cloudera對Hortonworks的收購，兩者也將走向融合。

大數(shù)據(jù)平臺的多租戶管理架構如圖所示：

大數(shù)據(jù)集群可以被多個租戶所使用；

集群管理員創(chuàng)建租戶，為各個租戶分配資源和空間配額，并指定各租戶的租戶管理員。

租戶管理員可以創(chuàng)建項目，把資源進一步分配給各個項目，并指定項目管理員；

項目管理員對項目成員進行管理，項目的資源可以由項目成員共享，也可以通過Sentry/Ranger做進一步的權限管控。

3、派拉數(shù)據(jù)湖產(chǎn)品的多租戶管理

派拉數(shù)據(jù)湖產(chǎn)品實現(xiàn)了基于CDH和開源Hadoop平臺的開箱即用的多租戶管理能力，包括租戶的增、刪、改，多層級的權限分配和資源管理、資源回收，資源使用的實時監(jiān)控，使用量統(tǒng)計等。

創(chuàng)建租戶，分配資源配額：

在租戶之下創(chuàng)建項目：

資源使用的實時監(jiān)控：

用戶和角色管理：

在目前的開源大數(shù)據(jù)平臺中，雖然已經(jīng)有比較完善的用戶權限控制和資源管理的功能，但是對于很多大中型客戶所需要的多租戶管理還是很欠缺的。派拉數(shù)據(jù)湖產(chǎn)品正是大數(shù)據(jù)平臺多租戶管理的利器，能夠幫助企業(yè)實現(xiàn)既高效又安全的資源共享、分配和計量。