6月安卓手機性能榜：vivo/iQOO霸占旗艦排行榜前三
2023年上半年已經(jīng)正式過去了，我們也迎來了安兔兔V10版本，在新的驍龍8Gen3和天璣9300發(fā)布之前，性能榜的榜單大體會以驍龍8Gen2和天璣9200+為主，至于那顆3.36GHz的驍龍8Gen2領先
此版本的 parquet_s3_fdw 適用于 PostgreSQL 13、14、15 和 16。
只讀模式下的 Apache Parquet 外部數(shù)據(jù)包裝器，支持 PostgreSQL 訪問 S3 存儲。
CREATE EXTENSION parquet_s3_fdw;CREATE SERVER parquet_s3_srv FOREIGN DATA WRAPPER parquet_s3_fdw;如果要使用 MinIO 而不是 AWS S3，請使用 use_minio 選項創(chuàng)建服務器。
CREATE SERVER parquet_s3_srv FOREIGN DATA WRAPPER parquet_s3_fdw OPTIONS (use_minio 'true');如果要訪問 Amazon S3，則必須指定用戶名和密碼。
CREATE USER MAPPING FOR public SERVER parquet_s3_srv OPTIONS (user 's3user', password 's3password');現(xiàn)在你應該能夠從 Parquet 文件創(chuàng)建外表了。目前parquet_s3_fdw支持下面這些數(shù)據(jù)列類型（還將會增加）：
Arrow 類型 | SQL 類型 |
INT8 | INT2 |
INT16 | INT2 |
INT32 | INT4 |
INT64 | INT8 |
FLOAT | FLOAT4 |
DOUBLE | FLOAT8 |
TIMESTAMP | TIMESTAMP |
DATE32 | DATE |
STRING | TEXT |
BINARY | BYTEA |
LIST | ARRAY |
MAP | JSONB |
目前parquet_s3_fdw不支持結構體和嵌套列表。
支持以下選項：
? filename - 要讀取的 Parquet 文件的路徑列表，以空格分隔。您可以用s3://開始來指定 AWS S3 上的路徑。不支持混合使用本地路徑和 S3 路徑；
? dirname - 具有要讀取的 Parquet 文件的目錄路徑；
? sorted - 用來預排序 Parquet 文件的，空格分隔的列列表；當使用ORDER BY子句運行查詢，或在其他情況下帶有預排序的列集會有用（Group Aggregate，Merge Join）時，這將有助于 postgres 避免冗余的排序；
? files_in_order - 要求以filename指定或由files_func返回的文件，根據(jù)sorted選項進行排序，并且在范圍上沒有交叉；這允許在并行多文件掃描節(jié)點上使用Gather Merge節(jié)點（默認值為false）；
? use_mmap - 是否使用內存映射操作，而不是文件讀取操作（默認值為false）；
? use_threads - 啟用 Apache Arrow 的并行列解碼/解壓（默認值為false）；
? files_func - 用戶定義的函數(shù)，由 parquet_s3_fdw 在每次查詢時用于檢索 parquet 文件列表；函數(shù)必須接受一個JSONB參數(shù)，并返回 parquet 文件完整路徑的文本數(shù)組；
? files_func_arg - 由 files_func 指定的函數(shù)的參數(shù)。
? max_open_files - 同時打開的 Parquet 文件的數(shù)量限制。
? region - 用于連接到的 AWS 區(qū)域的值（默認值為ap-northeast-1）。
? endpoint - 用于連接的地址和端口（默認值為127.0.0.1:9000）。
可以為單個和一組 Parquet 文件創(chuàng)建外部表。也可以指定一個用戶定義的函數(shù)，該函數(shù)會返回一個文件路徑列表。根據(jù)文件數(shù)量和表選項，parquet_s3_fdw可以使用以下的一種執(zhí)行策略：
策略 | 描述 |
Single File | 基本的單文件讀取器 |
Multifile | 按順序逐個處理 Parquet 文件的讀取器 |
Multifile Merge | 該讀取器會合并預排序的 Parquet 文件，以便生成的結果也是有序的；在指定了 |
Caching Multifile Merge | 與 |
GUC 變量：
? parquet_fdw.use_threads - 允許用戶啟用或禁用線程的全局開關（默認值為true）；
? parquet_fdw.enable_multifile - 啟用多文件讀取器（默認值為true）。
? parquet_fdw.enable_multifile_merge - 啟用多文件合并讀取器（默認值為true）。
示例：
CREATE FOREIGN TABLE userdata ( id int, first_name text, last_name text)SERVER parquet_s3_srvOPTIONS ( filename 's3://bucket/dir/userdata1.parquet');SELECT * FROM userdata;parquet_s3_fdw還支持并行查詢執(zhí)行（注意不要與 Apache Arrow 的多線程解碼功能混淆）。
parquet_s3_fdw還支持 IMPORT FOREIGN SCHEMA 命令，來發(fā)現(xiàn)文件系統(tǒng)上指定目錄中的 parquet 文件，并根據(jù)這些文件創(chuàng)建外部表。它可以像這樣使用：
IMPORT FOREIGN SCHEMA "/path/to/directory"FROM SERVER parquet_s3_srvINTO public;重要的是，這里的remote_schema是一個本地文件系統(tǒng)的目錄路徑，并且用雙引號引起來。
將 parquet 文件導入到外部表的另一種方法是，使用import_parquet_s3或import_parquet_s3_explicit：
CREATE FUNCTION import_parquet_s3( tablename text, schemaname text, servername text, userfunc regproc, args jsonb, options jsonb)CREATE FUNCTION import_parquet_s3_explicit( tablename text, schemaname text, servername text, attnames text[], atttypes regtype[], userfunc regproc, args jsonb, options jsonb)import_parquet_s3和import_parquet_s3_explicit之間的唯一區(qū)別是，后者允許指定一組要導入的屬性/列。attnames和atttypes分別是屬性名稱和屬性類型的數(shù)組（參見下面的示例）。
userfunc是一個用戶自定義函數(shù)。它必須接受一個jsonb參數(shù)，并返回一個要導入的 parquet 文件的文件系統(tǒng)路徑的文本數(shù)組。args是用戶指定的 jsonb 對象，以作為參數(shù)傳遞給userfunc。這種函數(shù)的簡單實現(xiàn)和用法，可以如下面這樣：
CREATE FUNCTION list_parquet_s3_files(args jsonb)RETURNS text[] AS$$BEGIN RETURN array_agg(args->>'dir' || '/' || filename) FROM pg_ls_dir(args->>'dir') AS files(filename) WHERE filename ~~ '%.parquet';END$$LANGUAGE plpgsql;SELECT import_parquet_s3_explicit( 'abc', 'public', 'parquet_srv', array['one', 'three', 'six'], array['int8', 'text', 'bool']::regtype[], 'list_parquet_files', '{"dir": "/path/to/directory"}', '{"sorted": "one"}');? 支持在本地文件系統(tǒng)或 Amazon S3 上對 parquet 文件進行 SELECT 操作。
? 支持 INSERT、DELETE、UPDATE（外部修改）。
? 支持 MinIO 訪問，以替代 Amazon S3。
? 允許控制外部服務器在事務完成后是否保持連接打開狀態(tài)。這由 keep_connections 控制，默認為 on。
? 支持 parquet_s3_fdw 的 parquet_s3_fdw_get_connections() 函數(shù)，列出打開的外部服務器連接。
? 該功能將使用戶能夠使用無結構的能力：
?Jsonb 鍵：parquet 列名稱。
? Jsonb 值：parquet 列數(shù)據(jù)。
? 每個 parquet 文件沒有特定的外部表結構（列定義）。
? 無結構的外表只有一個 jsonb 列，用于根據(jù)以下規(guī)則表示 parquet 文件中的數(shù)據(jù)：
使用無結構模式，會有幾個好處：
? parquet 文件數(shù)據(jù)結構的靈活性：通過將所有列數(shù)據(jù)合并到一個 jsonb 列中，無結構的外表可以查詢任何 parquet 文件，文件中的所有列都能映射到 postgres 類型。
? 沒有預定義的外部表結構（列定義）。缺少結構意味著外部表會查詢 parquet 文件中的所有列，包括用戶還未使用的列。
? 無結構模式由schemaless選項來啟用：
? schemaless選項是true：啟用無結構模式。
? schemaless選項是false：禁用無結構模式（我們稱之為non-schemaless模式）。
? 如果未配置schemaless選項，則默認值為 false。
? CREATE FOREIGN TABLE、IMPORT FOREIGN SCHEMA、import_parquet_s3()和import_parquet_s3_explicit()中均支持schemaless選項。
? 無結構外表需要至少一個 jsonb 列來表示數(shù)據(jù)：
CREATE FOREIGN TABLE example_schemaless ( id int, v jsonb) OPTIONS (filename '/path/to/parquet_file', schemaless 'true');SELECT * FROM example_schemaless;id | v----+--------------------------------------------------------------------------------------------------------------------------------- | {"one": 1, "six": "t", "two": [1, 2, 3], "five": "2018-01-01", "four": "2018-01-01 00:00:00", "seven": 0.5, "three": "foo"} | {"one": 2, "six": "f", "two": [null, 5, 6], "five": "2018-01-02", "four": "2018-01-02 00:00:00", "seven": null, "three": "bar"}(2 rows)? 如果有 1 個以上的 jsonb 列，則僅填充一列，所有其他列都使用 NULL 值處理。
? 如果沒有 jsonb 列，則所有列都使用 NULL 值處理。
? 示例：
? 創(chuàng)建外部表：使用IMPORT FOREIGN SCHEMA，import_parquet_s3()和import_parquet_s3_explicit()，外部表將以固定的列定義進行創(chuàng)建，如下所示：
CREATE FOREIGN TABLE example ( v jsonb) OPTIONS (filename '/path/to/parquet_file', schemaless 'true');? 查詢數(shù)據(jù)：
-- non-schemaless modeSELECT * FROM example; one | two | three | four | five | six | seven-----+------------+-------+---------------------+------------+-----+------- 1 | {1,2,3} | foo | 2018-01-01 00:00:00 | 2018-01-01 | t | 0.5 2 | {NULL,5,6} | bar | 2018-01-02 00:00:00 | 2018-01-02 | f |(2 rows)-- schemaless modeSELECT * FROM example_schemaless; v--------------------------------------------------------------------------------------------------------------------------------- {"one": 1, "six": "t", "two": [1, 2, 3], "five": "2018-01-01", "four": "2018-01-01 00:00:00", "seven": 0.5, "three": "foo"} {"one": 2, "six": "f", "two": [null, 5, 6], "five": "2018-01-02", "four": "2018-01-02 00:00:00", "seven": null, "three": "bar"}(2 rows)? 在 jsonb 表達式中獲取值：
? 使用 ->> jsonb 箭頭操作符，返回文本類型。用戶可以強制轉換 jsonb 表達式的類型，以獲得相應的數(shù)據(jù)表示。
? 例如，獲取col值的表達式v->>'col'，將是 parquet 文件中的列名col，我們稱之為schemaless variable或slvar。
SELECT v->>'two', sqrt((v->>'one')::int) FROM example_schemaless; ?column? | sqrt--------------+--------------------[1, 2, 3] | 1[null, 5, 6] | 1.4142135623730951(2 rows)? 某些功能與non-schemaless模式不同
? 在sorted選項中定義列名，與non-schemaless mode相同
? 在ORDER BY子句中使用slvar代替列名。
? 如果排序的 parquet 列不是文本列，請將此列顯式地強制轉換到映射類型。
? 例如：
CREATE FOREIGN TABLE example_sorted (v jsonb)SERVER parquet_s3_srvOPTIONS (filename '/path/to/example1.parquet /path/to/example2.parquet', sorted 'int64_col', schemaless 'true');EXPLAIN (COSTS OFF) SELECT * FROM example_sorted ORDER BY (v->>'int64_col')::int8; QUERY PLAN--------------------------------Foreign Scan on example_sorted Reader: Multifile Merge Row groups: example1.parquet: 1, 2 example2.parquet: 1(5 rows)? slvar::type {operator} const。例如：(v->>'int64_col')::int8 = 100
? const {operator} slvar ::type。例如：100 = (v->>'int64_col')::int8
? slvar::boolean is true/false。例如：(v->>'bool_col')::boolean is false
? !(slvar::boolean)。例如：!(v->>'bool_col')::boolean
? Jsonb exist 運算符：((v->>'col')::jsonb) ? element、(v->'col') ? element和v ? 'col'
? 轉換函數(shù)必須映射 parquet 列類型，否則會跳過過濾器。
? 行組過濾器支持：在無結構模式下，parquet_s3_fdw 可以通過一些如下的WHERE條件，支持對行組進行過濾：
? 要使用 parquet 文件的預排序列，用戶必須是：
? 支持對嵌套列表和映射表使用箭頭運算符：這些類型將被視為嵌套的 jsonb 值，可以通過->操作符訪問。例如：
SELECT * FROM example_schemaless; v----------------------------------------------------------------------------{"array_col": [19, 20], "jsonb_col": {"1": "foo", "2": "bar", "3": "baz"}}{"array_col": [21, 22], "jsonb_col": {"4": "test1", "5": "test2"}}(2 rows)SELECT v->'array_col'->1, v->'jsonb_col'->'1' FROM example3;?column? | ?column?----------+----------20 | "foo"22 |(2 rows)? Postgres 計算(jsonb->>'col')::type的成本，比在non-schemaless模式下直接獲取列要大得多，在一些復雜的查詢中，schemaless模式的查詢計劃可能與non-schemaless模式不同。
? 對于其他功能，schemaless模式與non-schemaless模式工作相同。
用戶可以對已設置鍵列的外表，執(zhí)行 insert、update 和 delete 語句。
? 在結構化模式下：可以通過使用 OPTIONS (key 'true') 創(chuàng)建 parquet_s3_fdw 外表對象，來設置鍵列：
CREATE FOREIGN TABLE userdata ( id1 int OPTIONS(key 'true'), id2 int OPTIONS(key 'true'), first_name text, last_name text) SERVER parquet_s3_srvOPTIONS ( filename 's3://bucket/dir/userdata1.parquet');? 在無結構模式下，可以在創(chuàng)建 parquet_s3_fdw 外部表對象時，使用key_columns選項設置鍵列：
CREATE FOREIGN TABLE userdata ( v JSONB) SERVER parquet_s3_srvOPTIONS ( filename 's3://bucket/dir/userdata1.parquet', schemaless 'true', key_columns 'id1 id2');? key_columns選項可用于 IMPORT FOREIGN SCHEMA 功能：
-- in schemaless modeIMPORT FOREIGN SCHEMA 's3://data/' FROM SERVER parquet_s3_srv INTO tmp_schemaOPTIONS (sorted 'c1', schemaless 'true', key_columns 'id1 id2');-- corresponding CREATE FOREIGN TABLECREATE FOREIGN TABLE tbl1 ( v jsonb) SERVER parquet_s3_srvOPTIONS (filename 's3://data/tbl1.parquet', sorted 'c1', schemaless 'true', key_columns 'id1 id2');-- in non-schemaless modeIMPORT FOREIGN SCHEMA 's3://data/' FROM SERVER parquet_s3_srv INTO tmp_schemaOPTIONS (sorted 'c1', schemaless 'true', key_columns 'id1 id2');-- corresponding CREATE FOREIGN TABLECREATE FOREIGN TABLE tbl1 ( id1 INT OPTIONS (key 'true'), id2 INT OPTIONS (key 'true'), c1 TEXT, c2 FLOAT) SERVER parquet_s3_srvOPTIONS (filename 's3://data/tbl1.parquet', sorted 'c1');parquet_s3_fdw 用來在 INSERT 查詢中檢索目標 parquet 文件的用戶定義函數(shù)簽名：
CREATE FUNCTION insert_file_selector_func(one INT8, dirname text)RETURNS TEXT AS$$ SELECT (dirname || '/example7.parquet')::TEXT;$$LANGUAGE SQL;CREATE FOREIGN TABLE example_func (one INT8 OPTIONS (key 'true'), two TEXT)SERVER parquet_s3_srvOPTIONS ( insert_file_selector 'insert_file_selector_func(one, dirname)', dirname '/tmp/data_local/data/test', sorted 'one');? insert_file_selector 函數(shù)簽名規(guī)格：
? dirname arg：dirname 選項的值。
? column args：按名稱從插入槽位中獲取。
? 語法：[function name]([arg name] , [arg name] ...)
? 默認返回類型為TEXT（parquet 文件的完整路徑）
? [arg name]：必須是外部表的列名或dirname
? args 值：
parquet_s3_fdw 支持在修改功能中保持排序列的排序狀態(tài)。
基本上，parquet 文件結構是根據(jù)一組列名和相應的類型定義的，但在 parquet_s3_fdw 的掃描中，它假定所有具有相同名稱的列都具有相同的類型。因此，在修改功能中，也會使用該假設。
SQL 類型 | Arrow 類型 |
BOOL | BOOL |
INT2 | INT16 |
INT4 | INT32 |
INT8 | INT64 |
FLOAT4 | FLOAT |
FLOAT8 | DOUBLE |
TIMESTAMP/TIMESTAMPTZ | TIMESTAMP |
DATE | DATE32 |
TEXT | STRING |
BYTEA | BINARY |
? arrow::TIMESTAMP 的默認時間精度為 UTC 時區(qū)的微秒級。
? LIST 是由它的元素類型創(chuàng)建的，對于元素只支持基礎類型。
? MAP 由其 jsonb 元素的類型來創(chuàng)建的：
jsonb 類型 | Arrow 類型 |
text | STRING |
numeric | FLOAT8 |
boolean | BOOL |
null | STRING |
其他類型 | STRING |
? 在無結構模式下：
? 在結構化模式下，基礎的 jsonb 類型的映射與 MAP 相同。
? 對于無結構模式下的第一個嵌套的 jsonb：
jsonb 類型 | Arrow 類型 |
array | LIST |
object | MAP |
? 在結構化模式下，LIST 和 MAP 的元素類型與 MAP 類型相同。
-- non-schemaless modeCREATE FOREIGN TABLE example_insert ( c1 INT2 OPTIONS (key 'true'), c2 TEXT, c3 BOOLEAN) SERVER parquet_s3_srv OPTIONS (filename 's3://data/example_insert.parquet');INSERT INTO example_insert VALUES (1, 'text1', true), (2, DEFAULT, false), ((select 3), (select i from (values('values are fun!')) as foo (i)), true);INSERT 0 3SELECT * FROM example_insert; c1 | c2 | c3----+-----------------+---- 1 | text1 | t 2 | | f 3 | values are fun! | t(3 rows)-- schemaless modeCREATE FOREIGN TABLE example_insert_schemaless ( v JSONB) SERVER parquet_s3_srv OPTIONS (filename 's3://data/example_insert.parquet', schemaless 'true', key_column 'c1');INSERT INTO example_insert_schemaless VALUES ('{"c1": 1, "c2": "text1", "c3": true}'), ('{"c1": 2, "c2": null, "c3": false}'), ('{"c1": 3, "c2": "values are fun!", "c3": true}');SELECT * FROM example_insert_schemaless; v----------------------------------------------- {"c1": 1, "c2": "text1", "c3": "t"} {"c1": 2, "c2": null, "c3": "f"} {"c1": 3, "c2": "values are fun!", "c3": "t"}(3 rows)? 選擇要插入的文件：
? 目標文件是第一個其結構與插入記錄匹配（插入記錄的所有列都存在于目標文件中）的文件。
? 如果沒有符合其結構的文件與插入記錄的列匹配，并且已指定dirname選項。創(chuàng)建新文件，文件名格式為：[foreign_table_name]_[date_time].parquet
? 否則，會引發(fā)錯誤消息。
? 如果目標文件不存在，則創(chuàng)建與目標文件同名的新文件。
? 如果目標文件存在，但其結構與插入記錄的列不匹配，則會引發(fā)錯誤消息。
? 如果存在選項insert_file_selector，目標文件就是該函數(shù)的結果。
? 如果選項insert_file_selector不存在：
? 新文件的結構：
? 從現(xiàn)有文件列表中獲取。
? 如果在任何文件中都不存在列：根據(jù)預定義的映射類型創(chuàng)建基礎文件。
? 在結構化模式下，新文件將所有列都存在于外部表中。
? 在無結構模式下，新文件將在 jsonb 值中帶上所有列。
? 列信息：
-- non-schemaless modeCREATE FOREIGN TABLE example ( c1 INT2 OPTIONS (key 'true'), c2 TEXT, c3 BOOLEAN) SERVER parquet_s3_srv OPTIONS (filename 's3://data/example.parquet');SELECT * FROM example; c1 | c2 | c3----+-----------------+---- 1 | text1 | t 2 | | f 3 | values are fun! | t(3 rows)UPDATE example SET c3 = false WHERE c2 = 'text1';UPDATE 1SELECT * FROM example; c1 | c2 | c3----+-----------------+---- 1 | text1 | f 2 | | f 3 | values are fun! | t(3 rows)DELETE FROM example WHERE c1 = 2;DELETE 1SELECT * FROM example; c1 | c2 | c3----+-----------------+---- 1 | text1 | f 3 | values are fun! | t(2 rows)-- schemaless modeCREATE FOREIGN TABLE example_schemaless ( v JSONB) SERVER parquet_s3_srv OPTIONS (filename 's3://data/example.parquet', schemaless 'true', key_columns 'c1');SELECT * FROM example_schemaless; v----------------------------------------------- {"c1": 1, "c2": "text1", "c3": "t"} {"c1": 2, "c2": null, "c3": "f"} {"c1": 3, "c2": "values are fun!", "c3": "t"}(3 rows)UPDATE example_schemaless SET v='{"c3":false}' WHERE v->>'c2' = 'text1';UPDATE 1SELECT * FROM example_schemaless; v----------------------------------------------- {"c1": 1, "c2": "text1", "c3": "f"} {"c1": 2, "c2": null, "c3": "f"} {"c1": 3, "c2": "values are fun!", "c3": "t"}(3 rows)DELETE FROM example_schemaless WHERE (v->>'c1')::int = 2;DELETE 1SELECT * FROM example_schemaless; v----------------------------------------------- {"c1": 1, "c2": "text1", "c3": "f"} {"c1": 3, "c2": "values are fun!", "c3": "t"}(2 rows)? 不支持事務。
? 無法同時在文件系統(tǒng)和 Amazon S3 上使用 parquet 文件創(chuàng)建單個外部表。
? import_parquet_s3_explicit()函數(shù)的第 4 和第 5 個參數(shù)，在schemaless模式下沒有意義。
WARNING: parquet_s3_fdw: attnames and atttypes are expected to be NULL. They are meaningless for schemaless table.HINT: Schemaless table imported always contain "v" column with "jsonb" type.? 這些參數(shù)應該定義為NULL值。
? 如果這些參數(shù)不是 NULL 值，則會出現(xiàn)下面的WARNING：
? schemaless模式不支持通過CREATE TABLE parent_tbl (v jsonb) PARTITION BY RANGE((v->>'a')::int)創(chuàng)建分區(qū)表。
? 在修改功能中：
? 對于大文件，性能不太好。
? 當完全相同的文件同時修改時，結果會出現(xiàn)不一致。
? parquet_s3_fdw修改 parquet 文件的方法是，從目標 parquet 文件創(chuàng)建可修改的緩存數(shù)據(jù)，并覆蓋舊文件：
? 不支持 WITH CHECK OPTION、ON CONFLICT 和 RETURNING。
? sorted列僅支持這些類型：int2、int4、int8、date、timestamp、float4、float8。
? key列僅支持這些類型：int2、int4、int8、date、timestamp、float4、float8和text。
? key列的值必須是唯一的，parquet_s3_fdw不支持檢查鍵列的唯一值，用戶必須做好檢查。
? key列僅用于 UPDATE/UPDATE。
本文鏈接：http://www.tebozhan.com/showinfo-26-88730-0.htmlOracle 數(shù)據(jù)量 150T，PostgreSQL 能搞定嗎？
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號