HTML 렌더링 기능 메모리 누수

제가 직면한 문제는 200개의 요청만 시도해도 프로그램이 컨테이너 메모리의 6GB를 차지하게 되어 결국 oom에 의해 종료된다는 것입니다. 내 생각은 html에 있는 모든 텍스트 노드를 추출한 다음 처리하여 이름, html 및 해당 태그의 텍스트를 추출하는 것입니다. 따라서 특정 태그에 대한 html을 생성하려면 golang.org/x/net/html의 렌더링 기능을 사용합니다. 생성된 HTML을 작성하기 위해 strings.builder를 io.writer로 제공합니다. 그러나 어떤 이유로 빌더는 너무 많은 메모리를 차지합니다.

특정 URL 목록을 원하시면 여기를 클릭하세요. 한번에 60개 정도 요청했어요.

bytes.buffer bytes.buffer 및 sync.pool을 사용해 보았지만 둘 다 동일한 문제가 있습니다. pprof를 사용하여 strings.builder의 writestring 메서드로 인해 많은 메모리 사용량이 발생하는 것을 확인했습니다. bytes.buffer 和 sync.pool 但两者都有相同的问题。使用 pprof 我注意到 strings.builder 的 writestring 方法导致大量内存使用。

正确答案

所以这里的基本问题是接受任何 content-type ，这在抓取方面是不可接受的，大多数网站都需要发送 text/html

정답

그래서 여기서 기본적인 문제는 크롤링 측면에서 허용되지 않는 모든 content-type을 허용하는 것입니다. 대부분의 웹사이트는 모두 필요합니다. text/html을 보내려고 합니다. golang.org/x/net/html문제는

html 데이터를 나타내지 않는 모든 것을 application/pdf ，然后正文将包含 html.Parse 보내더라도 오류 없이 이를 수락한다는 것입니다.

파싱된 PDF의 바이너리 데이터가 반환되고 오류가 반환되지 않는 예를 들어 보겠습니다. 이는 바이너리 데이터를 받아들이는 스크래핑/크롤링에 대한 이상한 동작 생각 라이브러리입니다.

위 내용은 HTML 렌더링 기능 메모리 누수의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!