October 29, 2019 ( last updated : October 28, 2019 )
HDP
Hortonworks
Hortonworks Data Platform
Kerberos
Ambari
Hadoop cluster
Apache Ranger
Apache Knox Gateway
Ranger
Knox
Hadoop REST API
REST API
Apache Atlas. Atlas
ZooKeeper
ZooKeeper Cluster
in-memory
https://github.com/gridgentoo/zookeeper-releasee
HDP uses Apache Ranger to provide centralized security administration and management. The Ranger Administration Portal is the central interface for security administration. You can use Ranger to create and update policies, which are then stored in a policy database.
HDP использует Apache Ranger для обеспечения централизованного администрирования и управления безопасностью. Ranger Administration Portal является центральным интерфейсом для администрирования безопасности. Вы можете использовать Ranger для создания и обновления политик, которые затем сохраняются в базе данных политик.
######################################################################################################Ranger plug-ins (lightweight Java programs) are embedded within the processes of each cluster component. For example, the Ranger plug-in for Apache Hive is embedded within HiveServer2:
Ranger plug-ins (lightweight Java programs) встроены в процессы каждого компонента кластера. Например, подключаемый модуль Ranger plug-in для Apache Hive встроен в HiveServer2:
######################################################################################################
######################################################################################################
These plug-ins pull policies from a central server and store them locally in a file. When a user request comes through the component, these plug-ins intercept the request and evaluate it against the security policy. Plug-ins also collect data from the user request and follow a separate thread to send this data back to the audit server.
Эти Plug-ins извлекают политики с центрального сервера и хранят их локально в файле. Когда user request поступает через компонент, эти подключаемые модули перехватывают запрос и оценивают его в соответствии с политикой безопасности. Plug-ins также собирают данные из пользовательского запроса и следуют в отдельном потоке, чтобы отправить эти данные обратно на сервер аудита.
######################################################################################################Administration
######################################################################################################To deliver consistent security administration and management, Hadoop administrators require a centralized user interface they can use to define, administer and manage security policies consistently across all of the Hadoop stack components:
Для обеспечения согласованного администрирования и управления безопасностью администраторам Hadoop требуется централизованный пользовательский интерфейс, который они могут использовать для последовательного определения, администрирования и управления политиками безопасности для всех компонентов стека Hadoop:
######################################################################################################
The Apache Ranger administration console provides a central point of administration for the other four pillars of Hadoop security.
Authentication and Secure Gateway
######################################################################################################Establishing user identity with strong authentication is the basis for secure access in Hadoop. Users need to reliably identify themselves and then have that identity propagated throughout the Hadoop cluster to access cluster resources. Hortonworks uses Kerberos for authentication. Kerberos is an industry standard used to authenticate users and resources within a Hadoop cluster. HDP also includes Ambari, which simplifies Kerberos setup, configuration, and maintenance.
Установление личности пользователя с помощью строгой аутентификации является основой для безопасного доступа в Hadoop. Пользователи должны надежно идентифицировать себя, а затем распространить эту идентификацию по всему кластеру Hadoop для доступа к ресурсам кластера. Hortonworks использует Kerberos для аутентификации. Kerberos - это отраслевой стандарт, используемый для аутентификации пользователей и ресурсов в кластере Hadoop. HDP также включает в себя Ambari, что упрощает настройку, настройку и обслуживание Kerberos.
######################################################################################################Apache Knox Gateway is used to help ensure perimeter security for Hortonworks customers. With Knox, enterprises can confidently extend the Hadoop REST API to new users without Kerberos complexities, while also maintaining compliance with enterprise security policies. Knox provides a central gateway for Hadoop REST APIs that have varying degrees of authorization, authentication, SSL, and SSO capabilities to enable a single access point for Hadoop.
Apache Knox Gateway используется для обеспечения безопасности периметра для клиентов Hortonworks. С Knox предприятия могут уверенно расширять Hadoop REST API для новых пользователей без сложностей Kerberos, одновременно поддерживая соответствие политикам безопасности предприятия. Knox обеспечивает центральный шлюз для Hadoop REST APIs, которые имеют различные степени авторизации, аутентификации, SSL и SSO, чтобы включить единую точку доступа для Hadoop.
######################################################################################################
Authorization
######################################################################################################Ranger manages access control through a user interface that ensures consistent policy administration across Hadoop data access components. Security administrators can define security policies at the database, table, column, and file levels, and can administer permissions for specific LDAP-based groups or individual users. Rules based on dynamic conditions such as time or geolocation can also be added to an existing policy rule. The Ranger authorization model is pluggable and can be easily extended to any data source using a service-based definition.
Ranger управляет контролем доступа через пользовательский интерфейс, который обеспечивает согласованное администрирование политик для компонентов доступа к данным Hadoop. Администраторы безопасности могут определять политики безопасности на уровне базы данных, таблицы, столбца и файла, а также могут управлять разрешениями для определенных групп на основе LDAP или отдельных пользователей. Правила, основанные на динамических условиях, таких как время или геолокация, также могут быть добавлены в существующее правило политики. Модель авторизации Ranger является подключаемой и может быть легко расширена на любой источник данных с помощью определения на основе сервиса.
######################################################################################################
######################################################################################################
Administrators can use Ranger to define a centralized security policy for the following Hadoop components:
Администраторы могут использовать Ranger для определения централизованной политики безопасности для следующих компонентов Hadoop:
######################################################################################################Ranger works with standard authorization APIs in each Hadoop component and can enforce centrally administered policies for any method used to access the Data Lake.
Ranger работает со стандартными API авторизации в каждом компоненте Hadoop и может применять централизованно управляемые политики для любого метода, используемого для доступа к ata Lake
######################################################################################################
######################################################################################################
Ranger provides administrators with the deep visibility into the security administration process that is required for auditing. The combination of a rich user interface and deep audit visibility makes Ranger highly intuitive to use, enhancing productivity for security administrators.
Ranger предоставляет администраторам глубокое представление о процессе администрирования безопасности, необходимом для аудита. Сочетание богатого пользовательского интерфейса и глубокого контроля делает Ranger чрезвычайно интуитивно понятным в использовании, повышая производительность для администраторов безопасности.
######################################################################################################
Audit
######################################################################################################As customers deploy Hadoop into corporate data and processing environments, metadata and data governance must be vital parts of any enterprise-ready data lake. For this reason, Hortonworks established the Data Governance Initiative (DGI) with Aetna, Merck, Target, and SAS to introduce a common approach to Hadoop data governance into the open source community. This initiative has since evolved into a new open source project named Apache Atlas. Apache Atlas is a set of core governance services that enables enterprises to meet their compliance requirements within Hadoop, while also enabling integration with the complete enterprise data ecosystem. These services include:
Поскольку клиенты внедряют Hadoop в корпоративные среды обработки данных и обработки, метаданные и управление данными должны быть жизненно важными частями любого корпоративного озера данных. По этой причине Hortonworks совместно с Aetna, Merck, Target и SAS разработали Инициативу по управлению данными (DGI)(Data Governance Initiative (DGI)), чтобы внедрить общий подход к управлению данными Hadoop в сообществе открытого исходного кода. Эта инициатива с тех пор превратилась в новый проект с открытым исходным кодом под названием Apache Atlas. Apache Atlas - это набор базовых сервисов управления, которые позволяют предприятиям выполнять свои требования соответствия в Hadoop, а также обеспечивают интеграцию с полной экосистемой корпоративных данных. Эти услуги включают в себя:
######################################################################################################Ranger also provides a centralized framework for collecting access audit history and reporting this data, including filtering on various parameters. HDP enhances audit information that is captured within different components within Hadoop and provides insights through this centralized reporting capability.
Ranger также предоставляет централизованную платформу для сбора истории аудита доступа и представления этих данных, включая фильтрацию по различным параметрам. HDP расширяет аудиторскую информацию, которая собирается в различных компонентах Hadoop, и обеспечивает понимание с помощью этой возможности централизованной отчетности.
######################################################################################################Data Protection
######################################################################################################The data protection feature makes data unreadable both in transit over the network and at rest on a disk. HDP satisfies security and compliance requirements by using both transparent data encryption (TDE) to encrypt data for HDFS files, along with a Ranger-embedded open source Hadoop key management store (KMS). Ranger enables security administrators to manage keys and authorization policies for KMS. Hortonworks is also working extensively with its encryption partners to integrate HDFS encryption with enterprise-grade key management frameworks.
Функция защиты данных делает data unreadable как при передаче по сети, так и в состоянии покоя на диске. HDP удовлетворяет требованиям безопасности и соответствия, используя прозрачное шифрование данных (TDE) для шифрования данных для файлов HDFS, а также встроенное хранилище ключей Hadoop с открытым исходным кодом Ranger (KMS). Ranger позволяет администраторам безопасности управлять ключами и политиками авторизации для KMS. Hortonworks также активно сотрудничает со своими партнерами по шифрованию для интеграции шифрования HDFS с инфраструктурой управления ключами корпоративного уровня.
Encryption in HDFS, combined with KMS access policies maintained by Ranger, prevents rogue Linux or Hadoop administrators from accessing data, and supports segregation of duties for both data access and encryption.
######################################################################################################Youtube channel (Reverse Engineer source code) ZooKeeper :: for Enterprise Architect's powerful code engineering features is the ability to Reverse Engineer source code into a UML model.(Reverse Engineer source code) ZooKeeper :
код hortonworks : : zookeeper-release-HDP-3.1.4.2-2-tag zookeeper-release-HDP-3.1.4.2-2-tag
код hortonworks : : kafka-release-HDP-3.1.4.2-2 kafka-release-HDP-3.1.4.2-2-tag
код hortonworks : : storm-release-HDP-3.1.4.2-2 storm-release-HDP-3.1.4.2-2-tag
(Reverse Engineer source code) ZooKeeper :: for Architect: (Reverse Engineer source code)zookeeper-release-HDP-3.1.4.2-2-tag
Reference
Originally published October 29, 2019
Latest update October 28, 2019
Related posts :