下面由golang教學欄位來介紹兩個Golang超大檔案讀取的方案，希望對需要的朋友有幫助！
#1.串流處理方式
2.分片處理
去年的面試中我被問到超大文件你怎麼處理，這個問題確實當時沒多想，回來之後仔細研究和討論了下這個問題，對大文件讀取做了一個分析
#例如我們有一個log文件，運行了幾年，有100G之大。按照我們之前的操作可能程式碼會這樣寫：
func ReadFile(filePath string) []byte{
content, err := ioutil.ReadFile(filePath)
if err != nil {
log.Println("Read error")
}
return content
}上面的程式碼讀取幾兆的檔案可以，但是如果大於你本身及其內存，那就直接翻車了。因為上面的程式碼，是把文件所有的內容全部都讀取到內存之後返回，幾兆的文件，你內存夠大可以處理，但是一旦上幾百兆的文件，就沒那麼好處理了。那麼，正確的方法有兩種，第一個是使用流處理方式程式碼如下：
func ReadFile(filePath string, handle func(string)) error {
f, err := os.Open(filePath)
defer f.Close()
if err != nil {
return err
}
buf := bufio.NewReader(f)
for {
line, err := buf.ReadLine("\n")
line = strings.TrimSpace(line)
handle(line)
if err != nil {
if err == io.EOF{
return nil
}
return err
}
return nil
}
}#第二個方案就是分片處理，當讀取的是二進位文件，沒有換行符的時候，使用下面的方案一樣處理大檔案
func ReadBigFile(fileName string, handle func([]byte)) error {
f, err := os.Open(fileName)
if err != nil {
fmt.Println("can't opened this file")
return err
}
defer f.Close()
s := make([]byte, 4096)
for {
switch nr, err := f.Read(s[:]); true {
case nr < 0:
fmt.Fprintf(os.Stderr, "cat: error reading: %s\n更多相關技術文章，請造訪go語言教學欄位！
以上是兩個Golang超大檔案讀取的方案的詳細內容。更多資訊請關注PHP中文網其他相關文章！
