장비 로그·CSV를 DB로 만들어 분석합니다

안녕하세요. 2011년부터 맞춤형 응용 프로그램을 개발해 온 우리비엔씨 대표개발자입니다. 저희가 오래 해 온 일 중 하나가 “기계가 뱉어 놓은 파일”을 사람이 쓸 수 있는 형태로 바꾸는 작업입니다.

설비 컨트롤러가 남긴 로그, 측정기가 저장한 CSV, 시스템에서 내려받은 텍스트 파일, 부서마다 양식이 조금씩 다른 엑셀 대장. 현장에 가 보면 데이터가 없어서 문제인 경우는 거의 없습니다. 오히려 너무 많은데 형태가 제각각이라 쓰지 못하는 것이 진짜 문제입니다.

▲ 원천 데이터를 수집·가공해 분석 화면으로 보여 주는 개발 사례

전체 흐름: 원천 파일에서 분석 화면까지

저희가 만드는 프로그램은 대체로 아래 네 덩어리로 이루어집니다. 어느 한 단계만 필요하신 경우도 많고, 이미 DB는 있는데 분석 화면만 필요하다는 의뢰도 자주 들어옵니다.

구간	구현 내용	결과
수집	지정 폴더 감시, 장비 공유 폴더 접근, 스케줄 실행	사람이 파일을 옮기지 않아도 됨
가공	패턴 파싱, 항목 추출, 단위 변환, 유효성 검증	비정형 텍스트가 정형 레코드로 바뀜
DB화	테이블 설계, 인덱스 구성, 중복 제거 적재	조건 검색과 기간 비교가 가능해짐
분석	집계·통계 로직, 이상치 판정, 차트·대시보드, 보고서 출력	보는 즉시 판단이 되는 화면

▲ DB에 적재된 데이터를 집계해 현황을 한 화면에 모은 대시보드 예시

다루는 데이터 형식

형식	주로 어디서 나오나	처리 방식
로그 텍스트	계측 장비, 설비 컨트롤러, 서버·네트워크 장비	패턴 파싱 후 이벤트 분류, 이상 구간 추출
CSV / Text	기간계 시스템 추출본, 측정기 저장 파일	컬럼 매핑, 값 검증 후 DB 적재
Excel	수기 관리 대장, 협력사 제출 양식	양식 표준화, 다중 파일 일괄 취합
PDF	검사성적서, 거래명세서, 외부 발행 문서	텍스트·표 추출 후 항목 인식
기존 DB	구버전 전산시스템, 타사 패키지	마이그레이션, 정합성 검증, 통합

표에 없는 형태여도 괜찮습니다. 샘플 파일 한두 개면 가공 가능 여부를 먼저 확인해 알려 드립니다.

▲ 장비 측정 데이터를 판정 기준과 대조해 자동 검수하는 프로그램 화면

수작업을 계속하면 생기는 일

엑셀로 붙여 넣어 보고서를 만드는 방식이 왜 위험한지는 실무에서 이미 겪어 보셨을 겁니다. 정리하면 네 가지입니다.

• 인적오류 – 행이 한 칸 밀리면 집계 전체가 어긋나고, 보통 한참 뒤에 발견됩니다.
• 속인화 – 담당자가 바뀌면 같은 보고서를 재현하지 못합니다.
• 시간 소모 – 월 8시간짜리 반복 작업이면 1년에 12일치 근무가 여기에 묻힙니다.
• 판단 지연 – 가공에 시간을 다 쓰면 정작 데이터를 들여다볼 여유가 없습니다.

한 번 자동화해 두면 버튼 한 번이나 예약된 시각에 결과물이 나옵니다. 담당자는 숫자를 만드는 사람이 아니라 숫자를 읽는 사람이 됩니다.

실제로 많이 들어오는 의뢰

• 장비 로그 자동 수집·집계 – 새 로그가 생기면 자동 파싱해 일·주·월 단위로 쌓습니다.
• 비정형 출력물의 테이블 변환 – 규칙이 들쭉날쭉한 텍스트에서 필요한 항목만 골라냅니다.
• 다부서 엑셀 통합 – 양식이 다른 수십 개 파일을 한 번에 읽어 통합표를 만듭니다.
• 대시보드·차트 구성 – 추이, 이상치, 기간 비교를 한 화면에서 봅니다.
• 기존 서식 그대로 자동 출력 – 쓰시던 Excel·PDF 양식에 값만 채워 생성합니다.
• DB 마이그레이션·통합 – 구시스템 데이터를 새 구조로 옮기며 검증합니다.

▲ 기존에 쓰시던 서식 그대로 자동 생성되는 보고서 출력물 예시

진행 절차

순서	진행 내용	확인 사항
1	샘플 데이터 검토	가공 가능 여부, 난이도, 대략적인 일정
2	요구사항 정리 및 견적	산출물 목록, 화면 구성안, 비용과 기간
3	알고리즘 및 DB 설계	파싱 규칙, 집계 기준, 테이블 구조
4	개발 및 중간 시연	실데이터로 돌려 본 중간 산출물
5	검증 · 납품 · 교육	기존 수작업 결과와 숫자 대조
6	안정화 및 유지보수	운영 중 나타나는 예외 데이터 대응

이 중 저희가 가장 공을 들이는 건 5번입니다. 새로 만든 프로그램의 결과와 기존에 사람이 만들던 보고서를 나란히 놓고 숫자를 맞춰 봅니다. 한 건이라도 차이가 나면 원인을 끝까지 파고듭니다. 담당자분 입에서 “이제 이걸 믿고 쓰면 되겠네요”라는 말이 나와야 비로소 끝난 거라고 봅니다.

문의 전 궁금해하시는 것들

Q. 파일이 너무 엉망인데 이것도 됩니까?

A. 대개 가능합니다. 규칙이 없어 보여도 결국 장비나 프로그램이 일정한 논리로 출력한 결과라 패턴이 숨어 있습니다. 샘플을 보고 판단해 드리며, 이 확인 작업에는 비용을 받지 않습니다.

Q. 데이터가 수백만 건입니다.

A. 처리 가능합니다. 건수가 많을수록 일괄 처리 구조와 인덱스 설계를 먼저 잡고 시작합니다.

Q. 쓰던 시스템과 연동돼야 합니다.

A. DB 직접 연동, 파일 연계, API 연계 모두 가능합니다. 기존 시스템은 손대지 않고 데이터만 읽어 오는 방식도 자주 씁니다.

Q. 윈도우용인가요, 웹인가요?

A. 사용 환경에 맞춰 정합니다. 현장 PC 한 대에서만 쓰신다면 윈도우 응용 프로그램이, 여러 부서가 공유해야 한다면 웹이 유리합니다.

Q. 보안이 걱정됩니다.

A. 요청하시면 비밀유지 협약을 먼저 체결합니다. 개발용 샘플은 민감 항목을 마스킹한 상태로 받는 경우가 많습니다.

Q. 나중에 데이터 형식이 바뀌면요?

A. 파싱 규칙을 설정 파일이나 관리 화면에서 고칠 수 있게 설계하는 편입니다. 구조 자체가 바뀌는 경우는 유지보수로 대응합니다.

우리비엔씨에 대해

2011년 설립 이후 데이터 수집과 가공, 집계·통계, 데이터베이스 구축, 시각화에 이르는 전 과정을 여러 차례 수행해 왔습니다. 비슷한 성격의 프로젝트를 반복해서 해 온 만큼, 이 분야는 저희가 특히 자신 있게 말씀드릴 수 있는 영역입니다.

그리고 “돌아가기만 하는 프로그램”은 만들지 않으려고 합니다. 그 화면을 매일 열어야 하는 분들이 계시니까요. 보기 편한 UI와 한눈에 읽히는 시각화까지 같이 고민해서 만듭니다. 업무 효율은 결국 거기서 갈립니다.

개발 사례가 궁금하시거나 간단한 상담만 필요하셔도 편하게 연락 주십시오. 샘플 파일 하나만 봐도 방향을 잡아 드릴 수 있는 경우가 많습니다. 맡겨 주신 일은 끝까지 책임지고 완수하겠습니다.

---