pyodbc를 사용하여 MS SQL Server에 대량 삽입 속도를 어떻게 높일 수 있습니까?

pyodbc를 사용하여 MS SQL Server에서 대량 삽입 성능을 향상시키는 방법

1,300,000개 이상의 행을 삽입하려고 할 때 삽입 속도가 느려진다고 언급하셨습니다. pyodbc를 사용하는 MS SQL Server 데이터베이스. 삽입을 위해 개별 행을 반복하면 성능 문제가 발생할 수 있지만 대량 삽입 기술을 고려하는 것이 실행 가능한 솔루션입니다.

T-SQL BULK INSERT

T-SQL의 BULK INSERT 명령을 사용하면 데이터 파일이 SQL Server 인스턴스와 동일한 시스템에 있거나 액세스 가능한 SMB/CIFS 네트워크 위치에 있는 경우 효율적인 대량 데이터 로드가 가능합니다. 이 조건이 충족되면 다음 단계를 수행할 수 있습니다.

1. 대량 삽입 문을 만들고 대상 테이블과 데이터 열을 지정합니다.
2. pyodbc.load_bulk()를 사용하여 로드합니다. 파일 또는 커서의 데이터를 데이터베이스에 추가합니다.

pyodbc의 fast_executemany

데이터 파일이 원격 클라이언트에 있는 시나리오의 경우 pyodbc의 Cursor# 버전 4.0.19에 도입된 fast_executemany 기능은 삽입 성능을 크게 향상시킬 수 있습니다.

1. 커서 개체에서 fast_executemany를 True로 설정하여 활성화하세요.
2. 여러 항목을 삽입하려면 Cursor#executemany()를 사용하세요. 한 번에 행. 이 기술은 현재 사용하고 있는 수동 반복에 비해 실행 시간을 대폭 줄일 수 있습니다.

고려 사항

• fast_executemany는 기본적으로 활성화되어 있지 않습니다.
• 대량 삽입을 위한 데이터는 대상 테이블 스키마에 따라 구조화되어야 합니다.
• SQL Server 사용자에게 대량 삽입을 수행하는 데 필요한 권한이 있는지 확인하세요.

위 내용은 pyodbc를 사용하여 MS SQL Server에 대량 삽입 속도를 어떻게 높일 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!