대용량 파일 읽어서 일정형식으로 분류에 대해 질문좀 드립니다.
세라
2023.04.01
여지껏 1000메가정도되는 파일을 만져 본적이 없어서요
그냥 예전 방식으로 파일을 다 읽어서 스트링에 담고 일정 형식으로 분류 했는데
파일 용량이 커지니 컴이 죽어 버리네요.. 음.. 여러번 나누어서 읽을수 밖에 없나요?
고수님들의 조언좀 부탁드립니다 좋은 하루 되세요
-
AngelsTears
한줄씩 읽어 들이는것도 잘하는 방법으로 봅니다.
메모리가 허용하는한 읽어 주어야 하는데, 보통 프로그램이 메모리가 10Mbyte정도는 되므로
미리 10Mbyte를 읽어두고, 필요한만큼 순차적으로 그 뒤의 내용을 읽어 두면 어떨런지요.
( 저 같으면 한 4kbyte-8kbyte씩 미리 읽어 놓겠습니다. - OS의 Buffere 만큼 )
자바에서는 MemoryMappedIO라는것이 있습니다.
마치 File의 data가 모두 Memory에 올라온것처럼 읽 -
우시
씨샵입니다.. 일정한 형식으로 되어 있는 내용을 분류하는거라서
초보라서 그냥 무식하게 한줄씩 읽어서 해당 형식이 되면 처리하고 다시 읽고
초 무식한 방법으로 처리하고 있습니다. 속도랑 효율을 생각해야 되는데 어떻게 해야 될지 모르겠네요 -
타우러스
질문이 c 인지 자바인지 몰라서...근데 컴이 죽기까지....어허허...여러번 나누어서 읽어야죠..