mysql에 빅데이터를 저장하는 방법은?

mysql에 빅데이터를 저장하는 방법은?

데이터베이스에 저장하고 싶은 대용량 텍스트 파일이 많습니다.적은 양의 데이터를 안전하게 보호할 수 있는 셸 스크립트를 작성했지만 일부 큰 파일로 시도하면 다음 오류가 발생합니다.

mysql: Argument list too long

열 내용에 긴 텍스트 형식이 있습니다.

test.txt에는 60개의 단어가 들어있고 내용물을 안전하게 보호합니다.오스텐엠마도 마찬가지로 해보면요.txt (158167개의 단어가 있음) 설명된 오류가 발생합니다.

#!/bin/sh

content=`cat /srv/data/english_gutenberg_corpus/test.txt`

db_value=`mysql -u admin -padmin --database=bp12 -e "INSERT INTO db_connector_text (author, date, genre, content, title, language, source, wordlength) VALUES ('lel', '1970-01-16', 'NULL', '$content', 'Lyrische elemente', 'German', 'kp', 20)"`

이 문제에 대한 해결책이 있습니까?

/bin/sh명령어 크기에 제한이 있습니다. 아마 5KB 정도일 것입니다.데이터를 처리하는 다른 방법으로 전환합니다.최종적으로 어떤 데이터베이스 접근 방식을 취하든 작업을 수행하려면 프로그래밍 언어(Perl, Java, VB 등)를 배워야 합니다.

당신은 함께 할 수 있습니다.sh사용할 경우LOAD_FILEMySQL에서 작동하지만 사소한 것에는 사용하지 않는 것이 좋습니다.

방대한 양의 텍스트 파일

파일을 어떻게 하실 겁니까?웹 페이지에 표시하시겠습니까?어떤 프로그램으로 그들을 조종한다고요?하이퍼링크를 제공하시겠습니까?단어 구조를 분석해보시죠?다른 거?

데이터베이스에 안전하게 보관하고 싶습니다.

"안전"을 정의해 주십시오.구경꾼들로부터 보호되는 것처럼 "보안"?"크래시 세이프(crash-safe)", 당신의 서버가 죽은 후에도 여전히 거기에 있습니까?파일 권한과 마찬가지로 "변경으로부터 보호"?다른 거?

관계형 데이터베이스를 사용하여 크기가 큰 파일을 저장하는 것은 권장하지 않습니다.

Google의 Firebase 등과 같은 NoSQL 데이터베이스를 사용하는 것이 가장 좋습니다.

https://firebase.google.com

언급URL : https://stackoverflow.com/questions/54618083/how-to-save-big-data-in-mysql