October 29, 2019 ( last updated : October 28, 2019 )
Apache Hive 3
Hive 3
HDP
Hortonworks
Hortonworks Data Platform
Kerberos
Ambari
Hadoop cluster
Apache Ranger
Apache Knox Gateway
Ranger
Knox
Hadoop REST API
REST API
Apache Atlas
Atlas
ZooKeeper
ZooKeeper Cluster
in-memory
https://github.com/gridgentoo/zookeeper-releasee
Understanding Apache Hive 3 major design changes, such as default ACID transaction processing and support for only the thin hive client, can help you use new features to address the growing needs of enterprise data warehouse systems.
Понимание основных изменений в дизайне Apache Hive 3, таких как обработка транзакций ACID по умолчанию и поддержка только тонкого клиента Hive, может помочь вам использовать новые функции для удовлетворения растущих потребностей корпоративных хранилищ данных..
Execution engine changes
######################################################################################################Apache Tez replaces MapReduce as the default Hive execution engine. MapReduce is no longer supported, and Tez stability is proven. With expressions of directed acyclic graphs (DAGs) and data transfer primitives, execution of Hive queries under Tez improves performance. SQL queries you submit to Hive are executed as follows:
Apache Tez заменяет MapReduce в качестве механизма исполнения Hive по умолчанию. MapReduce больше не поддерживается, а стабильность Tez доказана. Благодаря выражениям направленных ациклических графов (DAG) и примитивам передачи данных выполнение запросов Hive в Tez повышает производительность. SQL-запросы, которые вы отправляете в Hive, выполняются следующим образом:
######################################################################################################A simplified view of this process is shown in the following figure:
Упрощенный вид этого процесса показан на следующем рисунке:
######################################################################################################
If a legacy script or application specifies MapReduce for execution, an exception occurs. Most user-defined functions (UDFs) require no change to execute on Tez instead of MapReduce.
Если legacy script or application указывает MapReduce для выполнения, возникает исключение. Большинство пользовательских функций (UDF) не требуют никаких изменений для выполнения в Tez вместо MapReduce.
######################################################################################################Design changes that affect security
The following Hive 3 architectural changes provide improved security:
Следующие изменения архитектуры Hive 3 обеспечивают повышенную безопасность:
######################################################################################################By default, the HDP 3.0 Ambari installation adds Apache Ranger security services. The major authorization model in Hive is Ranger. This model permits only Hive to access HDFS. Hive enforces access controls specified in Ranger. This model offers stronger security than other security schemes and more flexibility in managing policies.
По умолчанию при установке HDP 3.0 Ambari добавляются службы безопасности Apache Ranger. Основной моделью авторизации в Hive является Ranger. Эта модель разрешает только Hive доступ к HDFS. Hive обеспечивает контроль доступа, указанный в Ranger. Эта модель обеспечивает более высокую безопасность, чем другие схемы безопасности, и большую гибкость в управлении политиками.
######################################################################################################If you do not enable the Ranger security service, or other security, by default Hive uses storage-based authorization (SBA) based on user impersonation.
Если вы не включите службу безопасности Ranger или другую защиту, по умолчанию Hive будет использовать авторизацию на основе хранилища (SBA)
######################################################################################################HDFS permission changes
In HDP 3.0, SBA relies heavily on HDFS access control lists (ACLs). ACLs are an extension to the permissions system in HDFS. HDP 3.0 turns on ACLs in HDFS by default, providing you with the following advantages:
В HDP 3.0 SBA в значительной степени опирается на списки контроля доступа HDFS (ACL). ACL являются расширением системы разрешений в HDFS. HDP 3.0 по умолчанию включает ACL в HDFS, предоставляя вам следующие преимущества:
######################################################################################################Transaction processing changes
######################################################################################################You can deploy new Hive application types by taking advantage of the following improvements in transaction processing:
Вы можете развернуть новые типы приложений Hive, воспользовавшись следующими улучшениями в обработке транзакций:
######################################################################################################Youtube channel (Reverse Engineer source code) ZooKeeper :: for Enterprise Architect's powerful code engineering features is the ability to Reverse Engineer source code into a UML model.(Reverse Engineer source code) ZooKeeper :
код hortonworks : : zookeeper-release-HDP-3.1.4.2-2-tag zookeeper-release-HDP-3.1.4.2-2-tag
код hortonworks : : kafka-release-HDP-3.1.4.2-2 kafka-release-HDP-3.1.4.2-2-tag
код hortonworks : : storm-release-HDP-3.1.4.2-2 storm-release-HDP-3.1.4.2-2-tag
(Reverse Engineer source code) ZooKeeper :: for Architect: (Reverse Engineer source code)zookeeper-release-HDP-3.1.4.2-2-tag
Reference
Originally published October 29, 2019
Latest update October 28, 2019
Related posts :