> 백엔드 개발 > Golang > Go에서 큰 문자열 조각을 효율적으로 청크하려면 어떻게 해야 합니까?

Go에서 큰 문자열 조각을 효율적으로 청크하려면 어떻게 해야 합니까?

DDD
풀어 주다: 2024-12-24 17:13:14
원래의
954명이 탐색했습니다.

How Can I Efficiently Chunk a Large Slice of Strings in Go?

Slice Chunking in Go

약 210만 개의 문자열 조각을 균등하게 분산된 청크로 나누고 싶습니다. 제공된 코드 세그먼트는 문자열을 균등하게 분배하는 대신 첫 번째 청크를 복제하는 기술을 활용합니다.

해결책은 새 조각을 생성하는 대신 분할된 조각에 로그 조각을 추가하는 것입니다. CPU 수와 슬라이스 길이를 기준으로 청크 크기를 계산하면 로그가 청크에 균등하게 분산될 수 있습니다.

수정된 코드:

var divided [][]string

chunkSize := (len(logs) + numCPU - 1) / numCPU

for i := 0; i < len(logs); i += chunkSize {
    end := i + chunkSize

    if end > len(logs) {
        end = len(logs)
    }

    divided = append(divided, logs[i:end])
}
로그인 후 복사

이 접근 방식은 문자열이 청크 전체에 최대한 균등하게 분산되어 시스템 리소스의 성능과 활용도를 극대화합니다.

위 내용은 Go에서 큰 문자열 조각을 효율적으로 청크하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿