파이썬 CSV 자동 정리 스크립트로 반복 업무 줄이기
업무를 하다 보면 정렬이 흐트러지거나 불필요한 공백이 포함된 CSV 파일을 자주 마주하게 됩니다. 엑셀을 열어 일일이 수정하는 방법도 있지만, 파일 개수가 수십 개를 넘어가거나 주기적으로 반복되는 작업이라면 파이썬을 이용해 자동화하는 것이 훨씬 효율적입니다. 이번 글에서는 외부 라이브러리 설치 없이 파이썬 표준 라이브러리인 csv 모듈만을 활용하여 데이터를 안전하고 깔끔하게 정리하는 스크립트 작성 방법을 살펴봅니다.
[목차]
이 글을 끝까지 읽으시면 파이썬으로 CSV 파일을 읽고, 특정 조건을 만족하는 데이터를 필터링하며, 공백 제거와 인코딩 처리를 거쳐 새로운 파일로 저장하는 전체 과정을 완벽하게 이해하고 실무에 바로 적용하실 수 있습니다.
실무에서 CSV 파일을 다룰 때 흔히 겪는 문제점
데이터 분석이나 시스템 연동 과정에서 수집된 CSV 파일은 형식이나 문자셋이 통일되지 않은 경우가 많습니다. 특히 윈도우 환경에서 생성된 파일과 맥이나 리눅스 환경에서 생성된 파일 간의 인코딩 차이로 인해 한글이 깨지는 현상이 빈번하게 발생합니다. 또한, 각 셀의 데이터 앞뒤에 불필요한 공백이 포함되어 있거나, 빈 행이 무작위로 섞여 있어 데이터 집계 시 오류를 유발하기도 합니다.
파이썬 스크립트를 사용하면 이러한 문제들을 일괄적으로 규칙을 적용하여 해결할 수 있습니다. 수동 작업에서 발생하기 쉬운 휴먼 에러를 방지하고, 데이터 처리 속도를 획기적으로 높일 수 있는 이유입니다.
파이썬 표준 csv 라이브러리 기본 구조
파이썬에 내장된 csv 모듈은 별도의 패키지 설치 과정이 필요 없어 어디서나 가볍게 실행할 수 있습니다. 데이터를 다룰 때는 주로 파일을 읽는 csv.reader와 csv.DictReader, 그리고 데이터를 쓰는 csv.writer와 csv.DictWriter를 사용합니다.
초보자분들에게는 각 열의 이름을 키(Key)처럼 다룰 수 있는 DictReader와 DictWriter 조합을 추천합니다. 순서에 의존하지 않고 컬럼명으로 데이터를 제어할 수 있기 때문에 가독성이 높고 유지보수가 쉽습니다.
데이터 정제 자동화 스크립트 예제
다음은 입력된 CSV 파일에서 불필요한 공백을 제거하고, 특정 조건에 맞는 데이터만 골라내어 새로운 파일로 저장하는 기본 스크립트 예제입니다.
import csv
input_filename = 'raw_data.csv'
output_filename = 'cleaned_data.csv'
try:
with open(input_filename, mode='r', encoding='utf-8-sig', newline='') as infile:
reader = csv.DictReader(infile)
fieldnames = reader.fieldnames
cleaned_rows = []
for row in reader:
# 각 필드의 값 앞뒤 공백 제거
cleaned_row = {key: value.strip() for key, value in row.items() if value is not None}
# 빈 행이거나 특정 조건에 맞는 데이터 제외 처리 예시
if any(cleaned_row.values()):
cleaned_rows.append(cleaned_row)
with open(output_filename, mode='w', encoding='utf-8-sig', newline='') as outfile:
writer = csv.DictWriter(outfile, fieldnames=fieldnames)
writer.writeheader()
writer.writerows(cleaned_rows)
print('CSV 파일 정리가 성공적으로 완료되었습니다.')
except FileNotFoundError:
print(f'오류: {input_filename} 파일을 찾을 수 없습니다.')
except Exception as e:
print(f'예기치 않은 오류가 발생했습니다: {e}')
코드 주요 구성 요소 분석
- encoding=’utf-8-sig’: 엑셀에서 저장한 CSV 파일을 읽고 쓸 때 발생하는 한글 깨짐 현상과 BOM 문제를 방지하는 가장 안전한 인코딩 방식입니다.
- newline=”: 파이썬이 운영체제별 줄바꿈 문자 처리를 올바르게 하도록 지정하여 불필요한 빈 줄이 생기는 것을 막아줍니다.
- row.items(): 딕셔너리 형태로 행 데이터를 순회하며 모든 셀의 텍스트에
strip()함수를 적용해 공백을 제거합니다.
CSV 자동화 스크립트 작성 시 흔히 저지르는 실수
파이썬으로 파일 처리 코드를 작성할 때 초보자들이 자주 마주치는 문제점과 예방법입니다.
- 인코딩 설정을 누락하는 경우: 기본
utf-8만 지정했다가 엑셀 호환 파일에서 한글이 깨지는 오류를 겪기 쉽습니다. 반드시utf-8-sig를 사용해 보세요. - 원본 파일을 직접 덮어쓰는 경우: 예기치 못한 스크립트 오류로 인해 원본 데이터가 손상될 수 있습니다. 항상 새로운 이름의 결과 파일로 저장한 뒤 검증하는 습관을 들여야 합니다.
- 파일 열기 모드를 혼동하는 경우: 읽기 모드(
r)와 쓰기 모드(w)를 잘못 지정하여 권한 오류나 데이터 덮어쓰기 사고가 발생할 수 있으므로 파일 객체 생성 시 모드를 재확인해야 합니다.
실무 적용을 위한 점검 체크리스트
스크립트를 실무 환경에 배치하기 전에 아래 항목들을 반드시 점검해 보세요.
| 점검 항목 | 확인 내용 | 상태 |
|---|---|---|
| 인코딩 확인 | 원본 CSV 파일이 UTF-8 또는 CP949 등 어떤 형식인지 확인했는가 | [ ] 완료 |
| 예외 처리 구현 | 파일이 존재하지 않거나 권한이 없을 때의 예외 처리가 포함되었는가 | [ ] 완료 |
| 헤더 유효성 검증 | 필요한 컬럼명이 누락되지 않았는지 스크립트 내에서 검증하는가 | [ ] 완료 |
| 백업 정책 | 작업 전 원본 데이터를 안전한 위치에 백업해 두었는가 | [ ] 완료 |
마무리
파이썬의 기본 csv 모듈을 활용하면 복잡한 외부 프로그램이나 라이브러리 없이도 대량의 CSV 데이터를 정확하고 빠르게 정리할 수 있습니다. 위에서 다룬 공백 제거와 인코딩 처리 방식을 응용하여 본인만의 업무 자동화 스크립트를 완성해 보시길 바랍니다.