Parquet

Материал из in.wiki
Перейти к навигации Перейти к поиску
800px-T64 and pencil.jpg Это незавершённая статья.
Вы можете помочь проекту, исправив и дополнив её.
Apache Parquet logo.svg
Apache Parquet
Язык программирования:
Java (reference implementation)[1] и Java (reference implementation)[1]
Операционная система:
Cross-platform






Дата появления:
13 март 2013; 11 years ago (2013-03-13)
Текущая версия:
2.9.0
Дата выхода текущей версии:
6 октябрь 2021; 3 years ago (2021-10-06)[2]



Лицензия:
Apache License 2.0

Apache Parquet — это бесплатный и открытый формат хранения колоночных данных в экосистеме Apache Hadoop. Он похож на RCFile и ORC, другие форматы файлов колоночного хранения в Hadoop, и совместим с большинством фреймворков обработки данных вокруг Hadoop. Он обеспечивает эффективные схемы сжатия и кодирования данных с повышенной производительностью для обработки сложных данных в больших объемах.

История[править | править код]

Проект с открытым исходным кодом по созданию Apache Parquet начался как совместный проект Twitter[3] и Cloudera[4].

Parquet был разработан как улучшение колоночного формата хранения данных Trevni, созданного Дугом Каттингом, создателем Hadoop.

Первая версия, Apache Parquet 1.0, была выпущена в июле 2013 года. С 27 апреля 2015 года Apache Parquet является проектом верхнего уровня, спонсируемым Apache Software Foundation (ASF).[5][6].

Примечания[править | править код]

  1. Parquet-MR source code. GitHub. Дата обращения: 2 июля 2019. Архивировано 11 июня 2018 года.К:Википедия:Cite web (не указан язык)
  2. Apache Parquet – Releases. Apache.org. Дата обращения: 22 февраля 2023. Архивировано 22 февраля 2023 года.К:Википедия:Cite web (не указан язык)
  3. Release Date. Дата обращения: 12 сентября 2016. Архивировано 20 октября 2016 года.К:Википедия:Cite web (не указан язык)
  4. Introducing Parquet: Efficient Columnar Storage for Apache Hadoop - Cloudera Engineering Blog (13 марта 2013). Дата обращения: 22 октября 2018. Архивировано из оригинала 4 мая 2013 года.К:Википедия:Cite web (не указан язык)
  5. Apache Parquet paves the way for better Hadoop data storage (28 апреля 2015). Дата обращения: 21 мая 2017. Архивировано 31 мая 2017 года.К:Википедия:Cite web (не указан язык)
  6. The Apache Software Foundation Announces Apache™ Parquet™ as a Top-Level Project : The Apache Software Foundation Blog (27 апреля 2015). Дата обращения: 21 мая 2017. Архивировано 20 августа 2017 года.К:Википедия:Cite web (не указан язык)