AVt天堂网 手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

當前位置:首頁 > 科技  > 軟件

美團面試:說說Netty的零拷貝技術?

來源: 責編: 時間:2024-06-07 08:47:50 129觀看
導讀零拷貝技術(Zero-Copy)是一個大家耳熟能詳的技術名詞了,它主要用于提升 IO(Input & Output)的傳輸性能。那么問題來了,為什么零拷貝技術能提升 IO 性能?一、零拷貝技術和性能在傳統的 IO 操作中,當我們需要讀取并傳輸數據時,我

零拷貝技術(Zero-Copy)是一個大家耳熟能詳的技術名詞了,它主要用于提升 IO(Input & Output)的傳輸性能。AU628資訊網——每日最新資訊28at.com

那么問題來了,為什么零拷貝技術能提升 IO 性能?AU628資訊網——每日最新資訊28at.com

一、零拷貝技術和性能

在傳統的 IO 操作中,當我們需要讀取并傳輸數據時,我們需要在用戶態(用戶空間)和內核態(內核空間)中進行數據拷貝,它的執行流程如下:AU628資訊網——每日最新資訊28at.com

圖片圖片AU628資訊網——每日最新資訊28at.com

從上述流程我們可以看出,在傳統的 IO 操作中,我們是需要 4 次拷貝和 4 次上下文切換(用戶態和內核態的切換)的。AU628資訊網——每日最新資訊28at.com

而每次數據拷貝和上下文切換都有時間成本,會讓程序的執行時間變成,所以零拷貝技術的出現就是為了減少數據的拷貝次數以及上下文的切換次數的。AU628資訊網——每日最新資訊28at.com

1.1 什么是用戶態和內核態?

操作系統有用戶態和內核態之分,這是因為計算機體系結構中的操作系統設計了兩個不同的執行環境,以提供不同的功能和特權級別。AU628資訊網——每日最新資訊28at.com

  • 用戶態(User Mode)是指應用程序運行時的執行環境。在用戶態下,應用程序只能訪問受限資源,如應用程序自身的內存空間、CPU 寄存器等,并且不能直接訪問操作系統的底層資源和硬件設備。
  • 內核態(Kernel Mode)是指操作系統內核運行時的執行環境。在內核態下,操作系統具有更高的權限,可以直接訪問系統的硬件和底層資源,如 CPU、內存、設備驅動程序等。

1.2 什么是DMA?

DMA(Direct Memory Access,直接內存訪問)技術,繞過 CPU,直接在內存和外設之間進行數據傳輸。這樣可以減少 CPU 的參與,提高數據傳輸的效率。AU628資訊網——每日最新資訊28at.com

二、Linux零拷貝技術

Linux 下實現零拷貝的主要實現技術是 MMap、sendFile,它們的具體介紹如下。AU628資訊網——每日最新資訊28at.com

2.1 MMap

MMap(Memory Map)是 Linux 操作系統中提供的一種將文件映射到進程地址空間的一種機制,通過 MMap 進程可以像訪問內存一樣訪問文件,而無需顯式的復制操作。AU628資訊網——每日最新資訊28at.com

使用 MMap 可以把 IO 執行流程優化成以下執行步驟:AU628資訊網——每日最新資訊28at.com

圖片圖片AU628資訊網——每日最新資訊28at.com

傳統的 IO 需要四次拷貝和四次上下文(用戶態和內核態)切換,而 MMap 只需要三次拷貝和四次上下文切換,從而能夠提升程序整體的執行效率,并且節省了程序的內存空間。AU628資訊網——每日最新資訊28at.com

2.2 senFile 方法

在 Linux 操作系統中 sendFile() 是一個系統調用函數,用于高效地將文件數據從內核空間直接傳輸到網絡套接字(Socket)上,從而實現零拷貝技術。這個函數的主要目的是減少 CPU 上下文切換以及內存復制操作,提高文件傳輸性能。AU628資訊網——每日最新資訊28at.com

使用 sendFile() 可以把 IO 執行流程優化成以下執行步驟:AU628資訊網——每日最新資訊28at.com

圖片圖片AU628資訊網——每日最新資訊28at.com

三、Netty零拷貝技術

Netty 中的零拷貝和傳統 Linux 的零拷貝技術的實現不太一樣,Netty 中的零拷貝技術主要是通過優化用戶態的操作來提升 IO 的執行速度,從而實現零拷貝的。AU628資訊網——每日最新資訊28at.com

PS:所有可以提升 IO 執行效率的操作或手段都可以稱之為零拷貝技術。AU628資訊網——每日最新資訊28at.com

Netty 中的零拷貝技術主要有以下 5 種實現:AU628資訊網——每日最新資訊28at.com

  1. 使用堆外內存:避免 JVM 堆內存到堆外內存的數據拷貝,從而提升了 IO 的操作性能。
  2. 使用 CompositeByteBuf 合并對象:可以組合多個 Buffer 對象合并成一個邏輯上的對象,避免通過傳統內存拷貝的方式將幾個 Buffer 合并成一個大的 Buffer。
  3. 通過 Unpooled.wrappedBuffer 合并數據:可以將 byte 數組包裝成 ByteBuf 對象,包裝過程中不會產生內存拷貝。
  4. 使用 ByteBuf.slice 共享對象:操作與 Unpooled.wrappedBuffer 相反,slice 操作可以將一個 ByteBuf 對象切分成多個 ByteBuf 對象,切分過程中不會產生內存拷貝,底層共享一個 byte 數組的存儲空間。
  5. 使用 FileRegion 實現零拷貝:FileRegion 底層封裝了 FileChannel#transferTo() 方法,可以將文件緩沖區的數據直接傳輸到目標 Channel,避免內核緩沖區和用戶態緩沖區之間的數據拷貝,這屬于操作系統級別的零拷貝。

它們的具體實現如下。AU628資訊網——每日最新資訊28at.com

3.1 使用堆外內存

正常情況下,JVM 需要將數據從 JVM 堆內存拷貝到堆外內存進行業務執行的,這是因為:AU628資訊網——每日最新資訊28at.com

  1. 操作系統并不感知 JVM 的堆內存,而且 JVM 的內存布局與操作系統所分配的是不一樣的,操作系統并不會按照 JVM 的行為來讀寫數據。
  2. 同一個對象的內存地址隨著 JVM GC 的執行可能會隨時發生變化,例如 JVM GC 的過程中會通過壓縮來減少內存碎片,這就涉及對象移動的問題了。

而 Netty 在進行 I/O 操作時都是使用的堆外內存,可以避免數據從 JVM 堆內存到堆外內存的拷貝。AU628資訊網——每日最新資訊28at.com

3.2 使用CompositeByteBuf合并對象

CompositeByteBuf 可以理解為一個虛擬的 Buffer 對象,它是由多個 ByteBuf 組合而成,但是在 CompositeByteBuf 內部保存著每個 ByteBuf 的引用關系,從邏輯上構成一個整體。使用 CompositeByteBuf 我們可以合并兩個 ByteBuf 對象,從而避免兩個對象合并時需要兩次 CPU 拷貝操作的問題,在沒有使用 CompositeByteBuf 時,我們的操作是這樣的:AU628資訊網——每日最新資訊28at.com

ByteBuf httpBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());httpBuf.writeBytes(header);httpBuf.writeBytes(body);

而實現 header 和 body 這兩個 ByteBuf 的合并,需要先初始化一個新的 httpBuf,然后再將 header 和 body 分別拷貝到新的 httpBuf。合并過程中涉及兩次 CPU 拷貝,這非常浪費性能,所以我們就可以使用 CompositeByteBuf 了,它的使用如下:AU628資訊網——每日最新資訊28at.com

CompositeByteBuf httpBuf = Unpooled.compositeBuffer();httpBuf.addComponents(true, header, body);

CompositeByteBuf 通過調用 addComponents() 方法來添加多個 ByteBuf,但是底層的 byte 數組是復用的,不會發生內存拷貝。AU628資訊網——每日最新資訊28at.com

3.3 通過Unpooled.wrappedBuffer合并數據

Unpooled.wrappedBuffer 的操作類似,使用它可以將不同的數據源的一個或者多個數據包裝成一個大的 ByteBuf 對象,其中數據源的類型包括 byte[]、ByteBuf、ByteBuffer。包裝的過程中不會發生數據拷貝操作,包裝后生成的 ByteBuf 對象和原始 ByteBuf 對象是共享底層的 byte 數組。AU628資訊網——每日最新資訊28at.com

3.4 使用 ByteBuf.slice 共享對象

ByteBuf.slice 和 Unpooled.wrappedBuffer 的邏輯正好相反,ByteBuf.slice 是將一個 ByteBuf 對象切分成多個共享同一個底層存儲的 ByteBuf 對象,從而避免對象分割時的數據拷貝,它的使用如下:AU628資訊網——每日最新資訊28at.com

ByteBuf httpBuf = ...ByteBuf header = httpBuf.slice(0, 6);ByteBuf body = httpBuf.slice(6, 4);

3.5 使用 FileRegion 實現文件零拷貝

FileRegion 底層封裝了 FileChannel#transferTo() 方法,可以將文件緩沖區的數據直接傳輸到目標 Channel,避免內核緩沖區和用戶態緩沖區之間的數據拷貝,這屬于操作系統級別的零拷貝。AU628資訊網——每日最新資訊28at.com

以下是 FileRegion 的默認實現類 DefaultFileRegion 的使用案例:AU628資訊網——每日最新資訊28at.com

@Overridepublic void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {    RandomAccessFile raf = null;    long length = -1;    try {        raf = new RandomAccessFile(msg, "r");        length = raf.length();    } catch (Exception e) {        ctx.writeAndFlush("ERR: " + e.getClass().getSimpleName() + ": " + e.getMessage() + '/n');        return;    } finally {        if (length < 0 && raf != null) {            raf.close();        }    }    ctx.write("OK: " + raf.length() + '/n');    if (ctx.pipeline().get(SslHandler.class) == null) {        // SSL not enabled - can use zero-copy file transfer.        ctx.write(new DefaultFileRegion(raf.getChannel(), 0, length));    } else {        // SSL enabled - cannot use zero-copy file transfer.        ctx.write(new ChunkedFile(raf));    }    ctx.writeAndFlush("/n");}

從上述代碼可以看出,可以通過 DefaultFileRegion 將文件內容直接寫入到 NioSocketChannel 中,從而避免了內核緩沖區和用戶態緩沖區之間的數據拷貝。AU628資訊網——每日最新資訊28at.com

本文鏈接:http://www.tebozhan.com/showinfo-26-92592-0.html美團面試:說說Netty的零拷貝技術?

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: JavaScript 奇葩行為大賞

下一篇: 使用Rust開發的區塊鏈(Solana)與Socket.IO進行實時無人機數據傳輸

標簽:
  • 熱門焦點
  • 7月安卓手機性價比榜:努比亞+紅魔兩款新機入榜

    7月登場的新機有努比亞Z50S Pro和紅魔8S Pro,除了三星之外目前唯二的兩款搭載超頻版驍龍8Gen2處理器的產品,而且努比亞和紅魔也一貫有著不錯的性價比,所以在本次的性價比榜單
  • 太卷!Redmi MAX 100英寸電視便宜了:12999元買Redmi史上最大屏

    8月5日消息,從小米商城了解到,Redmi MAX 100英寸巨屏電視日前迎來官方優惠,到手價12999元,比發布價便宜了7000元,在大屏電視市場開卷。據了解,Redmi MAX 100
  • 三言兩語說透設計模式的藝術-單例模式

    寫在前面單例模式是一種常用的軟件設計模式,它所創建的對象只有一個實例,且該實例易于被外界訪問。單例對象由于只有一個實例,所以它可以方便地被系統中的其他對象共享,從而減少
  • 自律,給不了Keep自由!

    來源 | 互聯網品牌官作者 | 李大為編排 | 又耳 審核 | 谷曉輝自律能不能給用戶自由暫時不好說,但大概率不能給Keep自由。近日,全球最大的在線健身平臺Keep正式登陸港交所,努力
  • 阿里大調整

    來源:產品劉有媒體報道稱,近期淘寶天貓集團啟動了近年來最大的人力制度改革,涉及員工績效、層級體系等多個核心事項,目前已形成一個初步的&ldquo;征求意見版&rdquo;:1、取消P序列
  • 阿里瓴羊One推出背后,零售企業迎數字化新解

    作者:劉曠近年來隨著數字經濟的高速發展,各式各樣的SaaS應用服務更是層出不窮,但本質上SaaS大多局限于單一業務流層面,對用戶核心關切的增長問題等則沒有提供更好的解法。在Saa
  • Windows 11發布,微軟一改往常對老機型開放的態度

    距離 Windows 11 發布已經過去一周,在過去一周里,很多數碼愛好者圍繞其對 Android 應用的支持、對老機型的升級問題展開了激烈討論。與以往不同的是,在這次大
  • 聯想的ThinkBook Plus下一版曝光,鍵盤旁邊塞個平板

    ThinkBook Plus 是聯想的一個特殊筆記本類別,它在封面放入了一塊墨水屏,也給人留下了較為深刻的印象。據有人爆料,聯想的下一款 ThinkBook Plus 可能更特殊,它
  • 電博會上海爾智家模擬500平大平層,還原生活空間沉浸式體驗

    電博會為了更好地讓參展觀眾真正感受到智能家居的絕妙之處,海爾智家的程傳嶺先生同樣介紹了展會上海爾智家的模擬500平大平層,還原生活空間沉浸式體驗。程傳
Top