Parquet

From in.wiki
Jump to navigation Jump to search
800px-T64 and pencil.jpg Это незавершённая статья.
Вы можете помочь проекту, исправив и дополнив её.
Apache Parquet logo.svg
Apache Parquet
Язык программирования:
Java (reference implementation)[1] и Java (reference implementation)[1]
Операционная система:
Cross-platform






Дата появления:
13 март 2013; 11 years ago (2013-03-13)
Текущая версия:
2.9.0
Дата выхода текущей версии:
6 октябрь 2021; 3 years ago (2021-10-06)[2]



Лицензия:
Apache License 2.0

Apache Parquet — это бесплатный и открытый формат хранения колоночных данных в экосистеме Apache Hadoop. Он похож на RCFile и ORC, другие форматы файлов колоночного хранения в Hadoop, и совместим с большинством фреймворков обработки данных вокруг Hadoop. Он обеспечивает эффективные схемы сжатия и кодирования данных с повышенной производительностью для обработки сложных данных в больших объемах.

История[edit | edit source]

Проект с открытым исходным кодом по созданию Apache Parquet начался как совместный проект Twitter[3] и Cloudera[4].

Parquet был разработан как улучшение колоночного формата хранения данных Trevni, созданного Дугом Каттингом, создателем Hadoop.

Первая версия, Apache Parquet 1.0, была выпущена в июле 2013 года. С 27 апреля 2015 года Apache Parquet является проектом верхнего уровня, спонсируемым Apache Software Foundation (ASF).[5][6].

Примечания[edit | edit source]

  1. "Parquet-MR source code". GitHub. Архивировано 11 июня 2018. Дата обращения: 2 июля 2019.
  2. "Apache Parquet – Releases". Apache.org. Архивировано 22 февраля 2023. Дата обращения: 22 февраля 2023.
  3. "Release Date". Архивировано 20 октября 2016. Дата обращения: 12 сентября 2016.
  4. "Introducing Parquet: Efficient Columnar Storage for Apache Hadoop - Cloudera Engineering Blog". 2013-03-13. Архивировано из оригинала 4 мая 2013. Дата обращения: 22 октября 2018.
  5. "Apache Parquet paves the way for better Hadoop data storage". 28 April 2015. Архивировано 31 мая 2017. Дата обращения: 21 мая 2017.
  6. "The Apache Software Foundation Announces Apache™ Parquet™ as a Top-Level Project : The Apache Software Foundation Blog". 27 April 2015. Архивировано 20 августа 2017. Дата обращения: 21 мая 2017.