Temat: jak dodać miliard rekordów
Witam
W ramach relaksu robię sklep. Będzie w nim stosunkowo niewiele
towarów (na raz około 1500) ale bardzo duża rotacja. Rocznie około
75000 towarów w róznych kategoriach. Do tego zakładam około
miliona tygodniowo zamówień po średnio 10 towarów. Dodatkowo
do całej bazy chyba musze mieć normalny dostęp bo będzie robione
dużo raportów - co tydzień trzeba będzie przekopać bazę na milion
sposobów i ustalić jakie towary warto dawać a jakie nie.
Może to zła kolejność ale zacząłem od testowania baz danych. Postanowiłem
potworzyć kilka tabel z około 20 polami i odpowiednio 100 tys. (oferta), 100
milionami (zamówienia) i miliardem (pozycje zamówienia) rekordów.
Próbuje to już zrobić na 20 różnych sposobów (prosty skrypt w php, aplikacje
w delphi, jakieś gotowe generatory danych testowych i różne inne metody)
i po wielu godzinach udało mi się ledwo kilkaset tysięcy rekordów dodać.
Postgress w wersji 8.1 (chyba). Maksymalna szybkość dodawania to
dosłownie 30 rekordów na sekundę. Robię to zwykłym insertem.
Jak mogę szybko wygenerować takie duże tabele ?
Czy to jest w ogóle możliwe ?