零拷貝技術(Zero-Copy)是一個大家耳熟能詳的技術名詞了,它主要用于提升 IO(Input & Output)的傳輸性能。
那么問題來了,為什么零拷貝技術能提升 IO 性能?
在傳統的 IO 操作中,當我們需要讀取并傳輸數據時,我們需要在用戶態(用戶空間)和內核態(內核空間)中進行數據拷貝,它的執行流程如下:
圖片
從上述流程我們可以看出,在傳統的 IO 操作中,我們是需要 4 次拷貝和 4 次上下文切換(用戶態和內核態的切換)的。
而每次數據拷貝和上下文切換都有時間成本,會讓程序的執行時間變成,所以零拷貝技術的出現就是為了減少數據的拷貝次數以及上下文的切換次數的。
操作系統有用戶態和內核態之分,這是因為計算機體系結構中的操作系統設計了兩個不同的執行環境,以提供不同的功能和特權級別。
DMA(Direct Memory Access,直接內存訪問)技術,繞過 CPU,直接在內存和外設之間進行數據傳輸。這樣可以減少 CPU 的參與,提高數據傳輸的效率。
Linux 下實現零拷貝的主要實現技術是 MMap、sendFile,它們的具體介紹如下。
MMap(Memory Map)是 Linux 操作系統中提供的一種將文件映射到進程地址空間的一種機制,通過 MMap 進程可以像訪問內存一樣訪問文件,而無需顯式的復制操作。
使用 MMap 可以把 IO 執行流程優化成以下執行步驟:
圖片
傳統的 IO 需要四次拷貝和四次上下文(用戶態和內核態)切換,而 MMap 只需要三次拷貝和四次上下文切換,從而能夠提升程序整體的執行效率,并且節省了程序的內存空間。
在 Linux 操作系統中 sendFile() 是一個系統調用函數,用于高效地將文件數據從內核空間直接傳輸到網絡套接字(Socket)上,從而實現零拷貝技術。這個函數的主要目的是減少 CPU 上下文切換以及內存復制操作,提高文件傳輸性能。
使用 sendFile() 可以把 IO 執行流程優化成以下執行步驟:
圖片
Netty 中的零拷貝和傳統 Linux 的零拷貝技術的實現不太一樣,Netty 中的零拷貝技術主要是通過優化用戶態的操作來提升 IO 的執行速度,從而實現零拷貝的。
PS:所有可以提升 IO 執行效率的操作或手段都可以稱之為零拷貝技術。
Netty 中的零拷貝技術主要有以下 5 種實現:
它們的具體實現如下。
正常情況下,JVM 需要將數據從 JVM 堆內存拷貝到堆外內存進行業務執行的,這是因為:
而 Netty 在進行 I/O 操作時都是使用的堆外內存,可以避免數據從 JVM 堆內存到堆外內存的拷貝。
CompositeByteBuf 可以理解為一個虛擬的 Buffer 對象,它是由多個 ByteBuf 組合而成,但是在 CompositeByteBuf 內部保存著每個 ByteBuf 的引用關系,從邏輯上構成一個整體。使用 CompositeByteBuf 我們可以合并兩個 ByteBuf 對象,從而避免兩個對象合并時需要兩次 CPU 拷貝操作的問題,在沒有使用 CompositeByteBuf 時,我們的操作是這樣的:
ByteBuf httpBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());httpBuf.writeBytes(header);httpBuf.writeBytes(body);
而實現 header 和 body 這兩個 ByteBuf 的合并,需要先初始化一個新的 httpBuf,然后再將 header 和 body 分別拷貝到新的 httpBuf。合并過程中涉及兩次 CPU 拷貝,這非常浪費性能,所以我們就可以使用 CompositeByteBuf 了,它的使用如下:
CompositeByteBuf httpBuf = Unpooled.compositeBuffer();httpBuf.addComponents(true, header, body);
CompositeByteBuf 通過調用 addComponents() 方法來添加多個 ByteBuf,但是底層的 byte 數組是復用的,不會發生內存拷貝。
Unpooled.wrappedBuffer 的操作類似,使用它可以將不同的數據源的一個或者多個數據包裝成一個大的 ByteBuf 對象,其中數據源的類型包括 byte[]、ByteBuf、ByteBuffer。包裝的過程中不會發生數據拷貝操作,包裝后生成的 ByteBuf 對象和原始 ByteBuf 對象是共享底層的 byte 數組。
ByteBuf.slice 和 Unpooled.wrappedBuffer 的邏輯正好相反,ByteBuf.slice 是將一個 ByteBuf 對象切分成多個共享同一個底層存儲的 ByteBuf 對象,從而避免對象分割時的數據拷貝,它的使用如下:
ByteBuf httpBuf = ...ByteBuf header = httpBuf.slice(0, 6);ByteBuf body = httpBuf.slice(6, 4);
FileRegion 底層封裝了 FileChannel#transferTo() 方法,可以將文件緩沖區的數據直接傳輸到目標 Channel,避免內核緩沖區和用戶態緩沖區之間的數據拷貝,這屬于操作系統級別的零拷貝。
以下是 FileRegion 的默認實現類 DefaultFileRegion 的使用案例:
@Overridepublic void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception { RandomAccessFile raf = null; long length = -1; try { raf = new RandomAccessFile(msg, "r"); length = raf.length(); } catch (Exception e) { ctx.writeAndFlush("ERR: " + e.getClass().getSimpleName() + ": " + e.getMessage() + '/n'); return; } finally { if (length < 0 && raf != null) { raf.close(); } } ctx.write("OK: " + raf.length() + '/n'); if (ctx.pipeline().get(SslHandler.class) == null) { // SSL not enabled - can use zero-copy file transfer. ctx.write(new DefaultFileRegion(raf.getChannel(), 0, length)); } else { // SSL enabled - cannot use zero-copy file transfer. ctx.write(new ChunkedFile(raf)); } ctx.writeAndFlush("/n");}
從上述代碼可以看出,可以通過 DefaultFileRegion 將文件內容直接寫入到 NioSocketChannel 中,從而避免了內核緩沖區和用戶態緩沖區之間的數據拷貝。
本文鏈接:http://www.tebozhan.com/showinfo-26-92592-0.html美團面試:說說Netty的零拷貝技術?
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: JavaScript 奇葩行為大賞