AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當(dāng)前位置：首頁(yè) > 科技  > 軟件

大數(shù)據(jù)面試：分層設(shè)計(jì)思想

來(lái)源： 責(zé)編： 時(shí)間：2024-07-05 09:06:11 1105觀看
導(dǎo)讀ODS-DWD-DWS-ADS數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）是一種常見(jiàn)的架構(gòu)設(shè)計(jì)方法，通過(guò)將數(shù)據(jù)分層存儲(chǔ)和處理，來(lái)提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對(duì)每一層的詳細(xì)描述：ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）功能：ODS是

ODS-DWD-DWS-ADS

數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）是一種常見(jiàn)的架構(gòu)設(shè)計(jì)方法，通過(guò)將數(shù)據(jù)分層存儲(chǔ)和處理，來(lái)提高數(shù)據(jù)的質(zhì)量、管理和查詢性能。以下是對(duì)每一層的詳細(xì)描述：4Hy28資訊網(wǎng)——每日最新資訊28at.com

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

功能：

  • ODS是最原始的數(shù)據(jù)存儲(chǔ)層，用于保存從各種源系統(tǒng)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取的原始數(shù)據(jù)。
  • 數(shù)據(jù)在ODS中是未經(jīng)處理或僅進(jìn)行簡(jiǎn)單清洗的數(shù)據(jù)，保留了數(shù)據(jù)的完整性和細(xì)節(jié)。

特點(diǎn)：

  • 數(shù)據(jù)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地加載。
  • 數(shù)據(jù)格式與源系統(tǒng)一致。
  • 數(shù)據(jù)保留時(shí)間較短，主要用于實(shí)時(shí)分析和臨時(shí)查詢。

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

功能：

  • DWD層對(duì)ODS層的數(shù)據(jù)進(jìn)行初步處理和清洗，形成標(biāo)準(zhǔn)化的、細(xì)粒度的明細(xì)數(shù)據(jù)。
  • 該層的數(shù)據(jù)具有一定的一致性和完整性。

特點(diǎn)：

  • 進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和初步的聚合。
  • 保留數(shù)據(jù)的細(xì)節(jié)和完整性，適用于細(xì)粒度的分析和查詢。
  • 數(shù)據(jù)存儲(chǔ)時(shí)間較長(zhǎng)，通常為幾個(gè)月到幾年。

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

功能：

  • DWS層對(duì)DWD層的數(shù)據(jù)進(jìn)行進(jìn)一步的加工和聚合，生成面向主題的中間數(shù)據(jù)。
  • 該層的數(shù)據(jù)通常用于多維分析和報(bào)表。

特點(diǎn)：

  • 數(shù)據(jù)經(jīng)過(guò)進(jìn)一步清洗、聚合和轉(zhuǎn)換，適用于多維分析（OLAP）。
  • 提供給業(yè)務(wù)人員用于決策支持和業(yè)務(wù)分析。
  • 數(shù)據(jù)存儲(chǔ)時(shí)間較長(zhǎng)，通常為幾年。

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

功能：

  • ADS層是數(shù)據(jù)倉(cāng)庫(kù)的最頂層，主要用于支持具體的應(yīng)用和業(yè)務(wù)需求。
  • 該層的數(shù)據(jù)經(jīng)過(guò)高度聚合和摘要，提供給最終用戶進(jìn)行直接查詢和分析。

特點(diǎn)：

  • 數(shù)據(jù)高度聚合，支持快速查詢和報(bào)表生成。
  • 面向具體應(yīng)用和業(yè)務(wù)需求設(shè)計(jì)，提供給BI工具和終端用戶。
  • 數(shù)據(jù)存儲(chǔ)時(shí)間可根據(jù)應(yīng)用需求靈活設(shè)置。

分層設(shè)計(jì)的優(yōu)勢(shì)

  • 數(shù)據(jù)治理 通過(guò)分層處理數(shù)據(jù)，可以更好地管理數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)的一致性和準(zhǔn)確性。
  • 性能優(yōu)化 分層設(shè)計(jì)將數(shù)據(jù)處理和存儲(chǔ)職責(zé)分離，提高了數(shù)據(jù)倉(cāng)庫(kù)的查詢性能和擴(kuò)展性。
  • 靈活性 不同層的數(shù)據(jù)可以滿足不同類型的查詢和分析需求，提供了更大的靈活性。
  • 可維護(hù)性 分層設(shè)計(jì)使得數(shù)據(jù)處理流程更加清晰和可維護(hù)，有助于數(shù)據(jù)倉(cāng)庫(kù)的長(zhǎng)期管理和優(yōu)化。

通過(guò)這種分層設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)能夠有效地處理和存儲(chǔ)大量數(shù)據(jù)，同時(shí)為各種分析和業(yè)務(wù)需求提供支持。4Hy28資訊網(wǎng)——每日最新資訊28at.com

涉及到的技術(shù)棧

在數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)（ODS-DWD-DWS-ADS）中，各層可以使用不同的技術(shù)棧來(lái)實(shí)現(xiàn)。以下是每一層常用的技術(shù)棧：4Hy28資訊網(wǎng)——每日最新資訊28at.com

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

涉及技術(shù)棧：

  • 數(shù)據(jù)源 各種業(yè)務(wù)系統(tǒng)，如ERP、CRM、銷售系統(tǒng)等。
  • 數(shù)據(jù)采集工具

ETL工具：Apache NiFi、Talend、Informatica、Pentaho4Hy28資訊網(wǎng)——每日最新資訊28at.com

CDC（Change Data Capture）工具：Debezium、Oracle GoldenGate4Hy28資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)同步工具：Apache Sqoop、Apache Flume4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)庫(kù)

  • 關(guān)系型數(shù)據(jù)庫(kù)：MySQL、PostgreSQL、Oracle4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • NoSQL數(shù)據(jù)庫(kù)：MongoDB、Cassandra4Hy28資訊網(wǎng)——每日最新資訊28at.com

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

涉及技術(shù)棧：

  • ETL工具 Apache NiFi、Apache Airflow、Talend、Informatica、Pentaho
  • 數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Flink、Apache Hadoop（MapReduce）4Hy28資訊網(wǎng)——每日最新資訊28at.com

流處理：Apache Kafka Streams、Apache Flink、Apache Storm4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)存儲(chǔ)

  • 分布式文件系統(tǒng)：Hadoop HDFS4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 列式存儲(chǔ)：Apache Parquet、Apache ORC4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)湖：Apache Hudi、Delta Lake4Hy28資訊網(wǎng)——每日最新資訊28at.com

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

涉及技術(shù)棧：

  • ETL工具 Apache Airflow、Apache NiFi、Talend
  • 數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive4Hy28資訊網(wǎng)——每日最新資訊28at.com

流處理：Apache Flink、Apache Storm4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)存儲(chǔ)

  • 分布式數(shù)據(jù)倉(cāng)庫(kù)：Apache Hive、Apache HBase、Google BigQuery、Amazon Redshift4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 列式存儲(chǔ)：Apache Parquet、Apache ORC4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)湖：Delta Lake、Apache Iceberg4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • OLAP引擎 Apache Kylin、Druid、ClickHouse、Presto4Hy28資訊網(wǎng)——每日最新資訊28at.com

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

涉及技術(shù)棧：

  • ETL工具 Apache Airflow、Talend、Informatica
  • 數(shù)據(jù)處理框架

批處理：Apache Spark、Apache Hive4Hy28資訊網(wǎng)——每日最新資訊28at.com

流處理：Apache Flink、Apache Kafka Streams4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)存儲(chǔ)

  • 數(shù)據(jù)庫(kù)：MySQL、PostgreSQL、Oracle4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • 數(shù)據(jù)倉(cāng)庫(kù)：Amazon Redshift、Google BigQuery、Snowflake4Hy28資訊網(wǎng)——每日最新資訊28at.com

  • BI工具 Tableau、Power BI、Looker、QlikView、Domo4Hy28資訊網(wǎng)——每日最新資訊28at.com

其他輔助技術(shù)

  • 數(shù)據(jù)治理與質(zhì)量 Apache Atlas、Apache Griffin、Talend Data Quality
  • 數(shù)據(jù)編排與調(diào)度 Apache Airflow、Apache Oozie、Prefect
  • 數(shù)據(jù)可視化 Tableau、Power BI、Looker、Grafana
  • 數(shù)據(jù)安全與訪問(wèn)控制 Apache Ranger、Apache Sentry

通過(guò)使用這些技術(shù)棧，可以有效地實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)層次，從而滿足不同層次的需求和應(yīng)用場(chǎng)景。4Hy28資訊網(wǎng)——每日最新資訊28at.com

構(gòu)建ODS-DWD-DWS-ADS的步驟

構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程可以分為幾個(gè)步驟，每一步都需要特定的技術(shù)和方法來(lái)實(shí)現(xiàn)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、存儲(chǔ)和分析。以下是構(gòu)建這一架構(gòu)的詳細(xì)步驟：4Hy28資訊網(wǎng)——每日最新資訊28at.com

構(gòu)建ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

步驟：

數(shù)據(jù)源識(shí)別

確定需要集成的數(shù)據(jù)源（如ERP、CRM、銷售系統(tǒng)等）。4Hy28資訊網(wǎng)——每日最新資訊28at.com

數(shù)據(jù)采集
  • 使用ETL工具（如Apache NiFi、Talend、Informatica）或CDC工具（如Debezium、Oracle GoldenGate）從數(shù)據(jù)源中采集數(shù)據(jù)。
  • 配置數(shù)據(jù)采集任務(wù)，確保實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地獲取數(shù)據(jù)。
數(shù)據(jù)存儲(chǔ)
  • 將采集到的原始數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)（如MySQL、PostgreSQL）或NoSQL數(shù)據(jù)庫(kù)（如MongoDB、Cassandra）中。
數(shù)據(jù)監(jiān)控與管理
  • 設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控和異常處理機(jī)制，確保數(shù)據(jù)的完整性和準(zhǔn)確性。

構(gòu)建DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

步驟：

數(shù)據(jù)清洗
  • 使用ETL工具（如Apache NiFi、Apache Airflow、Talend）對(duì)ODS中的數(shù)據(jù)進(jìn)行清洗，處理缺失值、重復(fù)值和錯(cuò)誤數(shù)據(jù)。
數(shù)據(jù)轉(zhuǎn)換
  • 對(duì)清洗后的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和格式轉(zhuǎn)換，確保數(shù)據(jù)的一致性。
數(shù)據(jù)存儲(chǔ)
  • 將處理后的細(xì)粒度數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)（如Hadoop HDFS）或列式存儲(chǔ)格式（如Apache Parquet、Apache ORC）中。
數(shù)據(jù)加載
  • 配置數(shù)據(jù)加載任務(wù)，定期將ODS數(shù)據(jù)加載到DWD層。

構(gòu)建DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

步驟：

數(shù)據(jù)聚合
  • 使用批處理框架（如Apache Spark、Apache Hive）或流處理框架（如Apache Flink、Apache Storm）對(duì)DWD層的數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換。
數(shù)據(jù)建模
  • 基于業(yè)務(wù)需求和分析目標(biāo)，進(jìn)行數(shù)據(jù)建模和多維數(shù)據(jù)集的創(chuàng)建。
數(shù)據(jù)存儲(chǔ)
  • 將聚合后的數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)倉(cāng)庫(kù)（如Apache Hive、Apache HBase）或數(shù)據(jù)湖（如Delta Lake、Apache Iceberg）中。
OLAP配置
  • 配置OLAP引擎（如Apache Kylin、Druid、ClickHouse），支持多維分析和快速查詢。

構(gòu)建ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

步驟：

數(shù)據(jù)摘要和匯總
  • 使用數(shù)據(jù)處理框架（如Apache Spark、Apache Hive）對(duì)DWS層的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要。
數(shù)據(jù)定制
  • 根據(jù)具體的業(yè)務(wù)需求和應(yīng)用場(chǎng)景，對(duì)數(shù)據(jù)進(jìn)行定制化處理。
數(shù)據(jù)存儲(chǔ)
  • 將處理后的數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)（如MySQL、PostgreSQL）或數(shù)據(jù)倉(cāng)庫(kù)（如Amazon Redshift、Google BigQuery、Snowflake）中。
BI工具集成
  • 配置BI工具（如Tableau、Power BI、Looker），實(shí)現(xiàn)數(shù)據(jù)的可視化展示和自助分析。
用戶訪問(wèn)控制
  • 設(shè)置數(shù)據(jù)訪問(wèn)權(quán)限，確保數(shù)據(jù)的安全性和合規(guī)性。

輔助步驟

數(shù)據(jù)治理與質(zhì)量

  • 使用數(shù)據(jù)治理工具（如Apache Atlas）和數(shù)據(jù)質(zhì)量管理工具（如Apache Griffin）確保數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。

數(shù)據(jù)編排與調(diào)度

  • 使用數(shù)據(jù)編排和調(diào)度工具（如Apache Airflow、Apache Oozie）管理和調(diào)度ETL任務(wù)，確保數(shù)據(jù)處理流程的自動(dòng)化和可監(jiān)控性。

數(shù)據(jù)安全與合規(guī)

  • 實(shí)施數(shù)據(jù)安全措施（如Apache Ranger、Apache Sentry），確保數(shù)據(jù)訪問(wèn)的安全性和合規(guī)性。

通過(guò)這些步驟，可以系統(tǒng)化地構(gòu)建ODS-DWD-DWS-ADS數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，滿足企業(yè)對(duì)數(shù)據(jù)采集、存儲(chǔ)、處理和分析的需求。4Hy28資訊網(wǎng)——每日最新資訊28at.com

ODS-DWD-DWS-ADS最小化部署方案

要構(gòu)建一個(gè)最小化的ODS-DWD-DWS-ADS數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，可以選擇使用一些開(kāi)源工具和框架來(lái)實(shí)現(xiàn)。以下是一個(gè)簡(jiǎn)單的部署方案，包括各個(gè)層次的最小化配置和實(shí)現(xiàn)步驟：4Hy28資訊網(wǎng)——每日最新資訊28at.com

環(huán)境準(zhǔn)備

服務(wù)器

至少需要一臺(tái)服務(wù)器（可以是物理機(jī)或虛擬機(jī)），建議配置較高的CPU和內(nèi)存。4Hy28資訊網(wǎng)——每日最新資訊28at.com

操作系統(tǒng)

Linux（如Ubuntu或CentOS）或Windows。4Hy28資訊網(wǎng)——每日最新資訊28at.com

最小化技術(shù)棧選擇

  • ETL工具 Apache NiFi
  • 數(shù)據(jù)處理框架 Apache Spark
  • 數(shù)據(jù)存儲(chǔ) MySQL、Apache Hive
  • BI工具 Tableau Public或Power BI Desktop（用于數(shù)據(jù)可視化）

ODS（Operational Data Store，操作數(shù)據(jù)存儲(chǔ)）

技術(shù)棧：

  • 數(shù)據(jù)源 模擬數(shù)據(jù)源（如CSV文件、簡(jiǎn)單的Web API）
  • 數(shù)據(jù)采集工具 Apache NiFi
  • 數(shù)據(jù)庫(kù) MySQL

步驟：

安裝MySQL

sudo apt-get updatesudo apt-get install mysql-server

配置MySQL，并創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)用于存儲(chǔ)ODS數(shù)據(jù)。4Hy28資訊網(wǎng)——每日最新資訊28at.com

安裝Apache NiFi

wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gztar -xzf nifi-1.13.2-bin.tar.gzcd nifi-1.13.2./bin/nifi.sh start

在瀏覽器中打開(kāi)NiFi Web UI（默認(rèn)端口8080），配置數(shù)據(jù)采集流程，將數(shù)據(jù)從模擬數(shù)據(jù)源導(dǎo)入MySQL。4Hy28資訊網(wǎng)——每日最新資訊28at.com

DWD（Data Warehouse Detail，明細(xì)數(shù)據(jù)層）

技術(shù)棧：

  • 數(shù)據(jù)處理框架 Apache Spark
  • 數(shù)據(jù)存儲(chǔ) Apache Hive

步驟：

安裝Apache Spark

wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgztar -xzf spark-3.1.2-bin-hadoop3.2.tgz

安裝Apache Hive

wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar -xzf apache-hive-3.1.2-bin.tar.gzcd apache-hive-3.1.2-binbin/schematool -dbType mysql -initSchema

數(shù)據(jù)清洗與轉(zhuǎn)換

編寫(xiě)Spark作業(yè)（使用PySpark或Scala），從MySQL中讀取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，將處理后的數(shù)據(jù)寫(xiě)入Hive。4Hy28資訊網(wǎng)——每日最新資訊28at.com

DWS（Data Warehouse Service，服務(wù)數(shù)據(jù)層）

技術(shù)棧：

  • 數(shù)據(jù)處理框架 Apache Spark
  • 數(shù)據(jù)存儲(chǔ) Apache Hive

步驟：

數(shù)據(jù)聚合與建模

編寫(xiě)Spark作業(yè)，對(duì)Hive中的DWD數(shù)據(jù)進(jìn)行聚合和轉(zhuǎn)換，生成面向主題的中間數(shù)據(jù)表。4Hy28資訊網(wǎng)——每日最新資訊28at.com

ADS（Application Data Store，應(yīng)用數(shù)據(jù)層）

技術(shù)棧：

  • 數(shù)據(jù)存儲(chǔ) MySQL
  • BI工具 Tableau Public或Power BI Desktop

步驟：

數(shù)據(jù)摘要和匯總

編寫(xiě)Spark作業(yè)，對(duì)DWS中的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合和摘要，將結(jié)果寫(xiě)入MySQL。4Hy28資訊網(wǎng)——每日最新資訊28at.com

安裝BI工具

  • 下載并安裝Tableau Public或Power BI Desktop。
  • 配置數(shù)據(jù)源連接到MySQL，創(chuàng)建可視化報(bào)表和儀表盤(pán)。

輔助步驟

數(shù)據(jù)編排與調(diào)度

  • 調(diào)度工具 使用簡(jiǎn)單的cron作業(yè)調(diào)度ETL任務(wù)。
crontab -e
  • 添加cron任務(wù)調(diào)度Spark作業(yè)和NiFi數(shù)據(jù)采集任務(wù)。

數(shù)據(jù)監(jiān)控與管理

  • 在Apache NiFi中配置數(shù)據(jù)監(jiān)控和警報(bào)機(jī)制，確保數(shù)據(jù)采集流程的穩(wěn)定性。

總結(jié)

這個(gè)最小化部署方案使用了較少的工具和框架，但仍然涵蓋了ODS-DWD-DWS-ADS數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的基本功能。通過(guò)這種方式，我們可以快速構(gòu)建一個(gè)簡(jiǎn)單的數(shù)據(jù)倉(cāng)庫(kù)，并根據(jù)需求逐步擴(kuò)展和優(yōu)化。4Hy28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-98866-0.html大數(shù)據(jù)面試：分層設(shè)計(jì)思想

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 10 款炫酷的前端 CSS 加載器和進(jìn)度條動(dòng)畫(huà)

下一篇： 每月超1.5億次下載的前端工具，作者寫(xiě)了一個(gè)更強(qiáng)大的替代品！

標(biāo)簽：
  • 熱門(mén)焦點(diǎn)

  • 小米降噪藍(lán)牙耳機(jī)Necklace分享：聽(tīng)一首歌 讀懂一個(gè)故事

    在今天下午的小米Civi 2新品發(fā)布會(huì)上，小米還帶來(lái)了一款新的降噪藍(lán)牙耳機(jī)Necklace，我們也在發(fā)布結(jié)束的第一時(shí)間給大家?guī)?lái)這款耳機(jī)的簡(jiǎn)單分享。現(xiàn)在大家能見(jiàn)到最多的藍(lán)牙耳機(jī)

  • Raft算法：保障分布式系統(tǒng)共識(shí)的穩(wěn)健之道

    1. 什么是Raft算法？Raft 是英文”Reliable、Replicated、Redundant、And Fault-Tolerant”（“可靠、可復(fù)制、可冗余、可容錯(cuò)”）的首字母縮寫(xiě)。Raft算法是一種用于在分布式系統(tǒng)

  • 三言兩語(yǔ)說(shuō)透設(shè)計(jì)模式的藝術(shù)-簡(jiǎn)單工廠模式

    一、寫(xiě)在前面工廠模式是最常見(jiàn)的一種創(chuàng)建型設(shè)計(jì)模式，通常說(shuō)的工廠模式指的是工廠方法模式，是使用頻率最高的工廠模式。簡(jiǎn)單工廠模式又稱為靜態(tài)工廠方法模式，不屬于GoF 23種設(shè)計(jì)

  • 十個(gè)可以手動(dòng)編寫(xiě)的 JavaScript 數(shù)組 API

    JavaScript 中有很多API，使用得當(dāng)，會(huì)很方便，省力不少。 你知道它的原理嗎? 今天這篇文章，我們將對(duì)它們進(jìn)行一次小總結(jié)。現(xiàn)在開(kāi)始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參

  • 服務(wù)存儲(chǔ)設(shè)計(jì)模式：Cache-Aside模式

    Cache-Aside模式一種常用的緩存方式，通常是把數(shù)據(jù)從主存儲(chǔ)加載到KV緩存中，加速后續(xù)的訪問(wèn)。在存在重復(fù)度的場(chǎng)景，Cache-Aside可以提升服務(wù)性能，降低底層存儲(chǔ)的壓力，缺點(diǎn)是緩存和底

  • 一文掌握 Golang 模糊測(cè)試（Fuzz Testing）

    模糊測(cè)試（Fuzz Testing）模糊測(cè)試（Fuzz Testing）是通過(guò)向目標(biāo)系統(tǒng)提供非預(yù)期的輸入并監(jiān)視異常結(jié)果來(lái)發(fā)現(xiàn)軟件漏洞的方法。可以用來(lái)發(fā)現(xiàn)應(yīng)用程序、操作系統(tǒng)和網(wǎng)絡(luò)協(xié)議等中的漏洞或

  • 三分鐘白話RocketMQ系列—— 如何發(fā)送消息

    我們知道RocketMQ主要分為消息 生產(chǎn)、存儲(chǔ)（消息堆積）、消費(fèi) 三大塊領(lǐng)域。那接下來(lái)，我們白話一下，RocketMQ是如何發(fā)送消息的，揭秘消息生產(chǎn)全過(guò)程。注意，如果白話中不小心提到相關(guān)代

  • 梁柱接棒兩年，騰訊音樂(lè)闖出新路子

    文丨田靜 出品丨牛刀財(cái)經(jīng)（niudaocaijing）7月5日，企鵝FM發(fā)布官方公告稱由于業(yè)務(wù)調(diào)整，將于9月6日正式停止運(yùn)營(yíng)，這意味著騰訊音樂(lè)長(zhǎng)音頻業(yè)務(wù)走向消亡。騰訊在長(zhǎng)音頻領(lǐng)域還在摸索。為

  • 華為和江淮汽車合作開(kāi)發(fā)百萬(wàn)元問(wèn)界MPV？雙方回應(yīng)來(lái)了

    8月1日消息，郭明錤今天在社交平臺(tái)發(fā)文稱，華為正在和江淮汽車合作，開(kāi)發(fā)售價(jià)在100萬(wàn)元的問(wèn)界MPV，預(yù)計(jì)在2024年第2季度量產(chǎn)，銷量目標(biāo)為上市首年交付5萬(wàn)輛。
Top