프로세스 생성 및 파일 복사를 위한 Node.js+COW 기술에 대한 간략한 토론

이 기사에서는 COW(Copy-On-Write) 기술에 대해 알아보고 COW 기술 + Node.js의 프로세스 생성 및 파일 복사 응용 프로그램을 소개합니다.

COW는 소가 아니라 Copy-On-Write의 약어로, 복사는 하되 정확하게 복사하지는 않는 기술입니다.

일반적으로 복사는 두 개의 동일한 복사본을 만드는 것입니다. 두 복사본은 독립적입니다.

그러나 때로는 복사가 필요하지 않으며 이전 복사본을 완전히 재사용할 수 있습니다. 1. 내용 작성 시 내용의 해당 부분을 복사해 주세요. 이런 식으로 내용을 읽는 데 사용하면 복사가 제거되지만 쓰기가 필요한 경우 실제로 내용의 일부가 수정을 위해 복사됩니다.

이를 "기록 중 복사"라고 하며 기록 중 복사라고도 합니다.

원리는 매우 간단하지만 운영 체제의 메모리 관리 및 파일 시스템에서 매우 일반적입니다. Node.js도 이 기술로 인해 "게으른" 상태가 되었습니다.

이 기사에서는 Node.js의 프로세스 생성 및 파일 복사에서 Copy-On-Write 적용을 살펴보겠습니다. [추천 학습: "nodejs tutorial"]

파일 복사

파일 복사에 대한 가장 일반적인 아이디어는 동일한 파일 내용을 다른 위치에 완전히 쓰는 것이지만 여기에는 두 가지 문제가 있습니다.

• Write 같은 파일을 수백번 복사하면 같은 내용이 수백번 생성되나요? 하드디스크 공간 낭비
• 글을 쓰다가 전원이 나가면 어쩌지? 덮어쓴 콘텐츠를 복원하는 방법은 무엇입니까?

어떻게 해야 하나요? 이때 운영체제 설계자들은 COW 기술을 떠올렸다.

COW 기술을 사용하여 파일 복사를 구현하면 위의 두 가지 문제가 완벽하게 해결됩니다.

• 복사하면 이전 내용에 대한 참조만 추가될 뿐이며 수정되지 않으면 실제로 복사되지 않습니다. 해당 데이터 블록이 실제로 복사되므로 많은 양의 하드 디스크 공간이 낭비되지 않습니다.
• 파일 쓰기 시에는 다른 빈 디스크 블록에 먼저 수정을 하고, 수정이 완료된 후 대상 위치에 복사되므로 정전 후 롤백이 불가능한 문제가 없습니다

Node.js의 fs.copyFile API에서는 Copy-On-Write 모드를 사용할 수 있습니다.

기본적으로 copyFile은 대상 파일에 쓰고 원본 콘텐츠를 덮어씁니다.

const fsPromises = require('fs').promises;

(async function() {
  try {
    await fsPromises.copyFile('source.txt', 'destination.txt');
  } catch(e) {
    console.log(e.message);
  }
})();

그러나 세 번째를 통해 복사 전략을 지정할 수 있습니다. 매개변수:

const fs = require('fs');
const fsPromises = fs.promises;
const { COPYFILE_EXCL, COPYFILE_FICLONE, COPYFILE_FICLONE_FORCE} = fs.constants;

(async function() {
  try {
    await fsPromises.copyFile('source.txt', 'destination.txt', COPYFILE_FICLONE);
  } catch(e) {
    console.log(e.message);
  }
})();

지원되는 플래그는 3입니다.

• COPYFILE_EXCL: 대상 파일이 이미 존재하는 경우 오류가 보고됩니다(기본값은 덮어쓰기입니다).
• COPYFILE_FICLONE: 복사 중 쓰기 모드로 복사합니다. 시스템이 이를 지원하지 않으면 실제 복사로 전환됩니다(기본값은 직접 복사)
• COPYFILE_FICLONE_FORCE: 쓰기 중 복사 모드에서 복사합니다. 운영 체제가 이를 지원하지 않으면 오류가 보고됩니다.
이 세 가지 상수는 1, 2, 4입니다. 비트별 OR로 결합하여 전달할 수 있습니다.

const flags = COPYFILE_FICLONE | COPYFILE_EXCL;
fsPromises.copyFile('source.txt', 'destination.txt', flags);

Node.js는 운영 체제의 쓰기 중 복사 기술을 지원하므로 일부 시나리오에서 성능을 향상시킬 수 있습니다. 기본 방법보다 더 나은 COPYFILE_FICLONE 방법을 사용하는 것이 좋습니다.

fork는 프로세스를 생성하는 일반적인 방법이며 그 구현은 Copy-On-Write 기술입니다.

우리는 프로세스가 메모리에서 코드 세그먼트, 데이터 세그먼트, 스택 세그먼트의 세 부분으로 나누어져 있다는 것을 알고 있습니다.

• 데이터 세그먼트: 일부 전역 데이터를 저장합니다.
• 스택 세그먼트: 상점 실행 상태
이 프로세스를 기반으로 새로운 프로세스가 생성되면 이 3가지 메모리 부분을 복사해야 합니다. 그리고 메모리의 세 부분이 동일한 내용을 가지면 메모리 공간이 낭비됩니다.

그래서 포크는 실제로 메모리를 복사하는 것이 아니라 새로운 프로세스를 생성하고 상위 프로세스의 메모리를 참조합니다. 데이터가 수정되면 메모리의 이 부분이 실제로 복사됩니다.

프로세스 생성을 포크, 즉 포크라고 부르는 이유는 완전히 독립적이지 않고 일부 부분이 두 부분으로 갈라져 있지만 대부분은 여전히 ​​동일하기 때문입니다.

그런데 실행할 코드가 다르다면 어떻게 될까요? 이때 새로운 코드 세그먼트, 데이터 세그먼트, 스택 세그먼트를 생성하고 새로운 코드를 실행하는 exec를 사용해야 합니다.

Node.js에서 포크 및 exec API를 사용할 수도 있습니다.

fork:

const cluster = require('cluster');

if (cluster.isMaster) {
  console.log('I am master');
  cluster.fork();
  cluster.fork();
} else if (cluster.isWorker) {
  console.log(`I am worker #${cluster.worker.id}`);
}

exec:

const { exec } = require('child_process');
exec('my.bat', (err, stdout, stderr) => {
  if (err) {
    console.error(err);
    return;
  }
  console.log(stdout);
});

fork는 Linux 프로세스 생성의 기초이며, 쓰기 시 복사 기술이 얼마나 중요한지 보여줍니다.

요약

동일한 콘텐츠의 여러 복사본을 복사하는 것은 의심할 여지 없이 공간 낭비입니다. 따라서 운영 체제는 프로세스 생성 중에 파일을 복사하고 메모리를 복사할 때 Copy-On-Write 기술을 사용합니다. 만들어졌으니 가서 복사해 보세요.

Node.js는 fs.copyFile의 플래그 설정을 지원합니다. COPYFILE_FICLONE을 지정하여 Copy-On-Write 방법을 사용하여 파일을 복사할 수 있습니다. 또한 이 방법을 사용하여 하드 디스크 공간을 절약하고 성능을 향상시키는 것이 좋습니다. 파일 복사 중.

프로세스의 포크도 Copy-On-Write의 구현입니다. 프로세스의 코드 세그먼트, 데이터 세그먼트 및 스택 세그먼트를 새 콘텐츠에 직접 복사하지 않고 수정하는 경우에만 이전 항목을 참조합니다. 실제 메모리 복사본이 됩니다.

또한 Copy-On-Write에는 Immutable 구현, 분산 읽기-쓰기 분리 및 기타 분야에서 많은 응용 프로그램이 있습니다.

COW는 Node.js를 "게으른" 상태로 만들지만 성능은 더 좋습니다.

원본 주소: https://juejin.cn/post/6999497362255118366

작성자: zxg_God가 빛이 있어야 한다고 하셨어요

더 많은 프로그래밍 관련 지식을 원하시면 프로그래밍 입문을 방문해 주세요! !

위 내용은 프로세스 생성 및 파일 복사를 위한 Node.js+COW 기술에 대한 간략한 토론의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!