DuckDB: различия между версиями

Материал из in.wiki
Перейти к навигации Перейти к поиску
 
(не показана 1 промежуточная версия этого же участника)
Строка 19: Строка 19:
 
По состоянию на 2024 год проект достиг более 6 миллионов загрузок в месяц<ref>{{Cite web |title=PyPi Download Stats |url=https://pypistats.org/packages/duckdb |access-date=2024-08-13 |website=www.pypistats.org |language=en |archive-date=2024-08-13 |archive-url=https://web.archive.org/web/20240813165631/https://pypistats.org/packages/duckdb |url-status=live }}</ref><ref>{{Cite web |title=DuckDB Python Downloads Dashboard |url=https://duckdbstats.com/ |access-date=2024-08-13 |website=duckdbstats.com |language=en |archive-date=2024-08-13 |archive-url=https://web.archive.org/web/20240813165159/https://duckdbstats.com/ |url-status=live }}</ref><ref name="theregister.com">{{Cite web |last=Clark |first=Lindsay |title=DuckDB Labs puts limit on free support, rules out VC funding |url=https://www.theregister.com/2023/10/05/duckdb_labs_puts_limit_on_vc_funds/ |access-date=2024-03-23 |website=www.theregister.com |language=en |archive-date=2024-03-23 |archive-url=https://web.archive.org/web/20240323064605/https://www.theregister.com/2023/10/05/duckdb_labs_puts_limit_on_vc_funds/ |url-status=live }}</ref>.  
 
По состоянию на 2024 год проект достиг более 6 миллионов загрузок в месяц<ref>{{Cite web |title=PyPi Download Stats |url=https://pypistats.org/packages/duckdb |access-date=2024-08-13 |website=www.pypistats.org |language=en |archive-date=2024-08-13 |archive-url=https://web.archive.org/web/20240813165631/https://pypistats.org/packages/duckdb |url-status=live }}</ref><ref>{{Cite web |title=DuckDB Python Downloads Dashboard |url=https://duckdbstats.com/ |access-date=2024-08-13 |website=duckdbstats.com |language=en |archive-date=2024-08-13 |archive-url=https://web.archive.org/web/20240813165159/https://duckdbstats.com/ |url-status=live }}</ref><ref name="theregister.com">{{Cite web |last=Clark |first=Lindsay |title=DuckDB Labs puts limit on free support, rules out VC funding |url=https://www.theregister.com/2023/10/05/duckdb_labs_puts_limit_on_vc_funds/ |access-date=2024-03-23 |website=www.theregister.com |language=en |archive-date=2024-03-23 |archive-url=https://web.archive.org/web/20240323064605/https://www.theregister.com/2023/10/05/duckdb_labs_puts_limit_on_vc_funds/ |url-status=live }}</ref>.  
  
−
DuckDB была разработана для обеспечения высокой производительности при сложных запросах к большим базам данных во встроенной конфигурации<ref>Т.е. в составе других приложений.</ref><ref name="Kamphuis 2020 pp. 608–612"/>, таких как объединение таблиц с сотнями столбцов и миллиардами строк. В отличие от других встроенных баз данных (например, [[SQLite]]), DuckDB не фокусируется на транзакционных ([[OLTP]]) приложениях, а ориентирована на задачи онлайн-аналитической обработки ([[OLAP]])<ref name="Raasveldt Mühleisen 2019 pp. 1981–1984">{{cite conference | last=Raasveldt | first=Mark | last2=Mühleisen | first2=Hannes | title=DuckDB: an Embeddable Analytical Database | publisher=ACM | date=2019-06-25 | isbn=978-1-4503-5643-5 | doi=10.1145/3299869.3320212 | pages=1981–1984}}</ref>.
+
DuckDB была разработана для обеспечения высокой производительности при сложных запросах к большим базам данных как [[встраиваемая СУБД]]<ref>Т.е. в составе других приложений.</ref><ref name="Kamphuis 2020 pp. 608–612"/>, таких как объединение таблиц с сотнями столбцов и миллиардами строк. В отличие от других встроенных баз данных (например, [[SQLite]]), DuckDB не фокусируется на транзакционных ([[OLTP]]) приложениях, а ориентирована на задачи онлайн-аналитической обработки ([[OLAP]])<ref name="Raasveldt Mühleisen 2019 pp. 1981–1984">{{cite conference | last=Raasveldt | first=Mark | last2=Mühleisen | first2=Hannes | title=DuckDB: an Embeddable Analytical Database | publisher=ACM | date=2019-06-25 | isbn=978-1-4503-5643-5 | doi=10.1145/3299869.3320212 | pages=1981–1984}}</ref>.
  
 
DuckDB в своей нише OLAP не конкурирует с традиционными СУБД, такими как [[MSSQL]], [[PostgreSQL]] и [[Oracle Database]]. Используя [[SQL]] для запросов, DuckDB нацелена на бессерверные приложения и обеспечивает чрезвычайно быстрые ответы, используя файлы [[Apache Parquet]] для хранения. Эти атрибуты делают его популярным выбором для анализа больших наборов данных в интерактивном режиме, но плохо соответствуют требованиям корпоративного хранилища данных. DuckDB использует [[векторизованный механизм обработки запросов]]<ref>{{cite book | last=Bannert | first=M. | title=Research Software Engineering: A Guide to the Open Source Ecosystem | publisher=CRC Press | series=Chapman & Hall/CRC Data Science Series | year=2024 | isbn=978-1-04-000513-2 | url=https://books.google.com/books?id=yWL7EAAAQBAJ&pg=PT25 | access-date=2024-03-23 | page=25 | archive-date=2024-03-23 | archive-url=https://web.archive.org/web/20240323010627/https://books.google.com/books?id=yWL7EAAAQBAJ&pg=PT25 | url-status=live }}</ref>. DuckDB выделяется среди систем управления базами данных, поскольку не имеет внешних зависимостей и может быть собрана только с использованием компилятора [[C++11]]<ref>{{Cite web |title=DuckDB Building Instructions |url=https://duckdb.org/docs/dev/building/build_instructions |access-date=2024-08-16 }}</ref>.  
 
DuckDB в своей нише OLAP не конкурирует с традиционными СУБД, такими как [[MSSQL]], [[PostgreSQL]] и [[Oracle Database]]. Используя [[SQL]] для запросов, DuckDB нацелена на бессерверные приложения и обеспечивает чрезвычайно быстрые ответы, используя файлы [[Apache Parquet]] для хранения. Эти атрибуты делают его популярным выбором для анализа больших наборов данных в интерактивном режиме, но плохо соответствуют требованиям корпоративного хранилища данных. DuckDB использует [[векторизованный механизм обработки запросов]]<ref>{{cite book | last=Bannert | first=M. | title=Research Software Engineering: A Guide to the Open Source Ecosystem | publisher=CRC Press | series=Chapman & Hall/CRC Data Science Series | year=2024 | isbn=978-1-04-000513-2 | url=https://books.google.com/books?id=yWL7EAAAQBAJ&pg=PT25 | access-date=2024-03-23 | page=25 | archive-date=2024-03-23 | archive-url=https://web.archive.org/web/20240323010627/https://books.google.com/books?id=yWL7EAAAQBAJ&pg=PT25 | url-status=live }}</ref>. DuckDB выделяется среди систем управления базами данных, поскольку не имеет внешних зависимостей и может быть собрана только с использованием компилятора [[C++11]]<ref>{{Cite web |title=DuckDB Building Instructions |url=https://duckdb.org/docs/dev/building/build_instructions |access-date=2024-08-16 }}</ref>.  
Строка 25: Строка 25:
 
DuckDB также отклоняется от характерной для СУБД модели [[клиент-сервер]], работая внутри хост-процесса (например, у него есть [[Биндинг|биндинги]] для интерпретатора Python с возможностью непосредственного размещения данных в массивах [[NumPy]])<ref name="Kamphuis 2020 pp. 608–612"/>).
 
DuckDB также отклоняется от характерной для СУБД модели [[клиент-сервер]], работая внутри хост-процесса (например, у него есть [[Биндинг|биндинги]] для интерпретатора Python с возможностью непосредственного размещения данных в массивах [[NumPy]])<ref name="Kamphuis 2020 pp. 608–612"/>).
  
−
DuckDB [https://duckdb.org/docs/extensions/postgres поддерживает] интеграцию с [[PostgreSQL]] как с источником данных, также [https://github.com/jwills/buenavista существует библиотека], реализующая [https://beta.pgcon.org/2014/schedule/attachments/330_postgres-for-the-wire.pdf Postgres wire protocol] для подключения к DuckDB. Её использование позволяет работать с DuckDB при помощи инструментов управления и запросов, разработанных для PostgreSQL, таких как [[DBeaver]].
+
DuckDB [https://duckdb.org/docs/extensions/postgres поддерживает] интеграцию с [[PostgreSQL]] как с источником данных, также [https://github.com/jwills/buenavista существует библиотека], реализующая [https://beta.pgcon.org/2014/schedule/attachments/330_postgres-for-the-wire.pdf Postgres wire protocol] для подключения к DuckDB. Её использование позволяет работать с DuckDB при помощи инструментов управления и запросов, разработанных для PostgreSQL, таких как [[DBeaver]]<ref>[https://habr.com/ru/articles/829502/ Всё что нужно знать про DuckDB]</ref>.
 +
 
 +
DuckDB обеспечивает два режима работы с данными - стандартный режим с сохранением базы данных между запусками и in-memory режим, при использовании которого  все  таблицы и расчёты не будут сохраняться физически и будут удалены при закрытии коннекта приложения с движком DuckDB.
  
 
== Коммерческое использование ==
 
== Коммерческое использование ==
Строка 32: Строка 34:
 
Соавтор DuckDB Мюлейзен также руководит фирмой поддержки и консалтинга для программного обеспечения [[DuckDB Labs]]. Его компания решила не привлекать венчурное финансирование, заявив: «Мы считаем, что инвестиции заставят проект двигаться в сторону монетизации, и мы бы предпочли сохранить DuckDB открытым и доступным для как можно большего числа людей»<ref name="theregister.com"/>.  
 
Соавтор DuckDB Мюлейзен также руководит фирмой поддержки и консалтинга для программного обеспечения [[DuckDB Labs]]. Его компания решила не привлекать венчурное финансирование, заявив: «Мы считаем, что инвестиции заставят проект двигаться в сторону монетизации, и мы бы предпочли сохранить DuckDB открытым и доступным для как можно большего числа людей»<ref name="theregister.com"/>.  
  
−
Другая компания, связанная с проектом, [[MotherDuck]], получила финансирование в размере 100 млн долларов США для своей платформы данных на основе DuckDB от инвесторов, включая [[Andreessen Horowitz]]<ref>{{Cite web |last=Clark |first=Lindsay |title=MotherDuck serverless analytics platform wins $52.5M funding |url=https://www.theregister.com/2023/09/21/motherduck_funding/ |access-date=2024-03-23 |website=www.theregister.com |language=en |archive-date=2024-03-23 |archive-url=https://web.archive.org/web/20240323064604/https://www.theregister.com/2023/09/21/motherduck_funding/ |url-status=live }}</ref>. Она предлагает, на коммерческой основе, инструменты для развертывания DuckDB в корпоративных сетях.
+
Другая компания, связанная с проектом, [[MotherDuck]], получила финансирование в размере 100 млн долларов США для своей платформы данных на основе DuckDB от инвесторов, включая [[Andreessen Horowitz]]<ref>{{Cite web |last=Clark |first=Lindsay |title=MotherDuck serverless analytics platform wins $52.5M funding |url=https://www.theregister.com/2023/09/21/motherduck_funding/ |access-date=2024-03-23 |website=www.theregister.com |language=en |archive-date=2024-03-23 |archive-url=https://web.archive.org/web/20240323064604/https://www.theregister.com/2023/09/21/motherduck_funding/ |url-status=live }}</ref>. Она предлагает, на коммерческой основе, инструменты для развертывания DuckDB в корпоративных сетях<ref>[https://habr.com/ru/companies/yoomoney/articles/840624/ DuckDB. Колоночная OLAP СУБД в кармане]</ref>.
  
 
== Поддержка языков программирования ==
 
== Поддержка языков программирования ==

Текущая версия от 23:11, 21 сентября 2024

DuckDB
Column-oriented DBMS
RDBMS
Язык программирования:
C++ и C++
Операционная система:
Cross-platform



Разработчик:
DuckDB Labs



Текущая версия:
v1.1.0
Дата выхода текущей версии:
сентябрь 9, 2024 (2024-09-09)



Лицензия:
MIT License
duckdb.org

DuckDB — это реляционная система управления данных (СУБД) с открытым исходным кодом, ориентированная на хранение данных в колонках.

Блыа разработана Марком Раасвельдтом и Ханнесом Мюлейзеном в Центре математики и информатики (Centrum Wiskunde & Informatica CWI) в Нидерландах[1].

Первая версия была выпущенна в 2019 году[2].

По состоянию на 2024 год проект достиг более 6 миллионов загрузок в месяц[3][4][5].

DuckDB была разработана для обеспечения высокой производительности при сложных запросах к большим базам данных как встраиваемая СУБД[6][1], таких как объединение таблиц с сотнями столбцов и миллиардами строк. В отличие от других встроенных баз данных (например, SQLite), DuckDB не фокусируется на транзакционных (OLTP) приложениях, а ориентирована на задачи онлайн-аналитической обработки (OLAP)[7].

DuckDB в своей нише OLAP не конкурирует с традиционными СУБД, такими как MSSQL, PostgreSQL и Oracle Database. Используя SQL для запросов, DuckDB нацелена на бессерверные приложения и обеспечивает чрезвычайно быстрые ответы, используя файлы Apache Parquet для хранения. Эти атрибуты делают его популярным выбором для анализа больших наборов данных в интерактивном режиме, но плохо соответствуют требованиям корпоративного хранилища данных. DuckDB использует векторизованный механизм обработки запросов[8]. DuckDB выделяется среди систем управления базами данных, поскольку не имеет внешних зависимостей и может быть собрана только с использованием компилятора C++11[9].

DuckDB также отклоняется от характерной для СУБД модели клиент-сервер, работая внутри хост-процесса (например, у него есть биндинги для интерпретатора Python с возможностью непосредственного размещения данных в массивах NumPy)[1]).

DuckDB поддерживает интеграцию с PostgreSQL как с источником данных, также существует библиотека, реализующая Postgres wire protocol для подключения к DuckDB. Её использование позволяет работать с DuckDB при помощи инструментов управления и запросов, разработанных для PostgreSQL, таких как DBeaver[10].

DuckDB обеспечивает два режима работы с данными - стандартный режим с сохранением базы данных между запусками и in-memory режим, при использовании которого все таблицы и расчёты не будут сохраняться физически и будут удалены при закрытии коннекта приложения с движком DuckDB.

Коммерческое использование[править | править код]

DuckDB используется в Facebook, Google и Airbnb[11].

Соавтор DuckDB Мюлейзен также руководит фирмой поддержки и консалтинга для программного обеспечения DuckDB Labs. Его компания решила не привлекать венчурное финансирование, заявив: «Мы считаем, что инвестиции заставят проект двигаться в сторону монетизации, и мы бы предпочли сохранить DuckDB открытым и доступным для как можно большего числа людей»[5].

Другая компания, связанная с проектом, MotherDuck, получила финансирование в размере 100 млн долларов США для своей платформы данных на основе DuckDB от инвесторов, включая Andreessen Horowitz[12]. Она предлагает, на коммерческой основе, инструменты для развертывания DuckDB в корпоративных сетях[13].

Поддержка языков программирования[править | править код]

Помимо нативного API для C и C++, DuckDB поддерживает ряд языков программирования.

Client APIs
Язык Подробности Ссылка
Java Java API реализован с использованием JNI[14]. Обеспечивается поддержка формата Apache Arrow[15]. [16]
Python Реализована поддержка Python API для пакетов анализа данных Pandas,[17] Apache Arrow[18] и Polars. [19]
Rust Rust API распространяется как крейт rust, являющийся враппером над нативным C API. [20]
Node.JS Node API [21]
R R API [22]
Julia Julia API [23]
Swift Swift API [24]

Литература[править | править код]

Ссылки[править | править код]

Примечания[править | править код]

  1. ↑ 1,0 1,1 1,2 Kamphuis, Chris. Graph Databases for Information Retrieval // Advances in Information Retrieval. — Springer International Publishing, 2020. — Vol. 12036. — P. 608–612. — ISBN 978-3-030-45441-8. — doi:10.1007/978-3-030-45442-5_79.
  2. ↑ Clark, Lindsay. DuckDB reaches version 0.5.0 (англ.). www.theregister.com. Дата обращения: 23 марта 2024. Архивировано 7 марта 2024 года.
  3. ↑ PyPi Download Stats (англ.). www.pypistats.org. Дата обращения: 13 августа 2024. Архивировано 13 августа 2024 года.
  4. ↑ DuckDB Python Downloads Dashboard (англ.). duckdbstats.com. Дата обращения: 13 августа 2024. Архивировано 13 августа 2024 года.
  5. ↑ 5,0 5,1 Clark, Lindsay. DuckDB Labs puts limit on free support, rules out VC funding (англ.). www.theregister.com. Дата обращения: 23 марта 2024. Архивировано 23 марта 2024 года.
  6. ↑ Т.е. в составе других приложений.
  7. ↑ Raasveldt, Mark; Mühleisen, Hannes (2019-06-25). DuckDB: an Embeddable Analytical Database. ACM. pp. 1981–1984. doi:10.1145/3299869.3320212. ISBN 978-1-4503-5643-5.
  8. ↑ Bannert, M. Research Software Engineering: A Guide to the Open Source Ecosystem. — CRC Press, 2024. — P. 25. — ISBN 978-1-04-000513-2.
  9. ↑ DuckDB Building Instructions. Дата обращения: 16 августа 2024.
  10. ↑ Всё что нужно знать про DuckDB
  11. ↑ Clark, Lindsay. Scale-up database wrangler MotherDuck scores $47.5 million (англ.). www.theregister.com. Дата обращения: 23 марта 2024. Архивировано 23 марта 2024 года.
  12. ↑ Clark, Lindsay. MotherDuck serverless analytics platform wins $52.5M funding (англ.). www.theregister.com. Дата обращения: 23 марта 2024. Архивировано 23 марта 2024 года.
  13. ↑ DuckDB. Колоночная OLAP СУБД в кармане
  14. ↑ Java JNI Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  15. ↑ DuckDB Java Arrow Source Code. www.github.com. Дата обращения: 7 сентября 2024.
  16. ↑ DuckDB Java Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  17. ↑ DuckDB Pandas Source (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  18. ↑ DuckDB PyArrow Source (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  19. ↑ DuckDB Python Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  20. ↑ DuckDB Rust Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  21. ↑ DuckDB Node Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  22. ↑ DuckDB R Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  23. ↑ DuckDB Jullia Source Code (англ.). www.github.com. Дата обращения: 7 сентября 2024.
  24. ↑ DuckDB Swift Source Code. www.github.com. Дата обращения: 7 сентября 2024.
Источник — https://in.wiki/w/index.php?title=DuckDB&oldid=1395325