Spark SQL не использует скрытое хранилище метаданных Hive (и по умолчанию используются каталоги в памяти, отличные от Hive , если только вы не используете spark -оболочку, которая делает обратное). Реализацией внешнего каталога по умолчанию управляет spark . sql.
Также необходимо знать, как получить доступ к хранилищу метаданных улья из Spark? для подключения к хранилищу метастазов улья вам необходимо скопировать улей -сайт. xml в каталог spark / conf. После этого Spark сможет подключиться к хранилищу метаданных улья .
Следовательно, возникает вопрос, использует ли компания Spark hive? Apache Hive — это уровень SQL поверх Hadoop. Hive использует язык запросов HiveQL, похожий на SQL, для выполнения запросов к большому объему данных, хранящихся в HDFS. Запросы HiveQL выполняются с использованием Hadoop MapReduce, но Hive может также использовать другие механизмы распределенных вычислений, такие как Apache Spark и Apache. Tez.
Просто так, что такое Spark Metastore?
Hive Metastore . Хранилище metastore Hive (также известное как spark -warehouse) — это каталог, в котором Spark SQL сохраняет таблицы, тогда как metastore Hive (также известный как metastore_db) — это реляционная база данных для управления метаданными постоянных реляционных объектов, например базы данных, таблицы, столбцы, разделы.
Как Spark интегрируется с Hive?
Интегрируйте Spark-SQL с Hive
Скопируйте сайт-улей. xml в каталог SPARK_HOME / conf, чтобы Spark и Spark-SQL распознали конфигурацию Hive Metastore. Настройте версию Hive в / opt / mapr / spark / spark- / mapr-util /compatibility.version файл: hive_versions =