Apache Parquet

Pour les articles homonymes, voir Parquet.

Apache Parquet

Informations
Développé par	Apache Software Foundation
Première version	13 mai 2015^[1]
Dépôt	git-wip-us.apache.org/repos/asf/parquet-mr.git
Écrit en	Java
Type	Format de fichier (en) Format de sérialisation de données (d) Projet de la fondation Apache (d)
Licence	Licence Apache version 2.0
Documentation	parquet.apache.org/docs
Site web	parquet.apache.org

modifier - modifier le code - voir Wikidata (aide)

Apache Parquet

Caractéristiques
Extension	`.parquet`
Développé par	Apache Software Foundation
Version initiale	13 mars 2013, 13 mai 2015
Site web	(en) parquet.apache.org

modifier - modifier le code - modifier Wikidata

Apache Parquet est un format de fichiers orienté colonne, initialement développé pour l'écosystème de calcul distribué Apache Hadoop. Il est similaire aux autres formats de fichiers de stockage colonnaires disponibles dans Hadoop, à savoir RCFile et Optimized RCFile. Il est compatible avec la plupart des frameworks de traitement de données de l'environnement Hadoop. Il fournit des schémas efficaces de compression et de codage de données avec des performances améliorées pour gérer des données complexes en masse.

Historique

Le projet open source qui a abouti à Apache Parquet vient des efforts conjoints entre Twitter^[2] et Cloudera^[3]. La première version de Apache Parquet 1.0 sort en juillet 2013. Depuis le 27 avril 2015 Apache Parquet devient un projet top-level de la Apache Software Foundation ^[4]^,^[5]

Notes et références

↑ « https://projects.apache.org/json/projects/parquet.json » (consulté le 8 avril 2020)
↑ « Announcing Parquet 1.0 : Columnar Storage for Hadoop », sur twitter.com (consulté le 13 septembre 2020).
↑ (en) « Cloudera Blog - », sur Cloudera Blog (consulté le 13 septembre 2020).
↑ (en) « Apache Parquet paves the way for better Hadoop data storage », sur InfoWorld (consulté le 13 septembre 2020).
↑ (en) « The Apache Software Foundation Announces Apache™ Parquet™ as a Top-Level Project », sur The Apache Software Foundation Blog, 27 avril 2015 (consulté le 17 novembre 2023).

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Apache Parquet » (voir la liste des auteurs).

v · m Écosystème Hadoop
Distributions Hadoop	Cloudera Hortonworks MapR
Base de données	HBase
Flux de données	Apache Sqoop Apache Flume Apache Kafka Apache Storm Apache Flink
Interrogation	Apache Hive Spark SQL Pig
Machine Learning	Apache Mahout Apache Spark ML
SQL	Presto Apache Hive Apache Impala Apache Drill
Gestionnaire de cluster	Hadoop YARN Apache Mesos Apache Spark
Format de fichier	RCFile Apache Avro Apache Parquet Apache ORC
Vrac	Presto Impala Kudu Pig Apache ZooKeeper