1

Temat: jak dodać miliard rekordów

Witam

W ramach relaksu robię sklep. Będzie w nim stosunkowo niewiele
towarów (na raz około 1500) ale bardzo duża rotacja. Rocznie około
75000 towarów w róznych kategoriach. Do tego zakładam około
miliona tygodniowo zamówień po średnio 10 towarów. Dodatkowo
do całej bazy chyba musze mieć normalny dostęp bo będzie robione
dużo raportów - co tydzień trzeba będzie przekopać bazę na milion
sposobów i ustalić jakie towary warto dawać a jakie nie.

Może to zła kolejność ale zacząłem od testowania baz danych. Postanowiłem
potworzyć kilka tabel z około 20 polami i odpowiednio 100 tys. (oferta), 100
milionami (zamówienia) i miliardem (pozycje zamówienia) rekordów.

Próbuje to już zrobić na 20 różnych sposobów (prosty skrypt w php, aplikacje
w delphi, jakieś gotowe generatory danych testowych i różne inne metody)
i po wielu godzinach udało mi się ledwo kilkaset tysięcy rekordów dodać.
Postgress w wersji 8.1 (chyba). Maksymalna szybkość dodawania to
dosłownie 30 rekordów na sekundę. Robię to zwykłym insertem.

Jak mogę szybko wygenerować takie duże tabele ?
Czy to jest w ogóle możliwe ?

2

Odp: jak dodać miliard rekordów