Mam takie zagadnienie:
Jest w bazie jedna tabela gdzie trzymam bardzo dużo rekordów (powiedzmy że więcej niż 1 miliard) - opisy pewnych zdarzeń. Jedno z pól to oznaczenie czasu zdarzenia - nazwijmy to Time. Oczywiście tabela jest powiązana z innymi obiektami - na których te zdarzenia są wykonywane.
Często chcę w aplikacji zrobić select rekordów np. z ostatnich 3 miesięcy - powiedzmy że jest to około 20k rekordów-zdarzeń na każdy obiekt do którego są przypisane. Chcę zrobić jakiś system buforowania tych rekordów na dysku, żeby nie pobierać ich za każdym razem. Zamiast pobierać zawsze 3 miesiące będę pobierał np 2 dni (bo 2 dni temu były ostatnio pobrane i się ładnie zapisały na dysku - lub w lokalnej db). Problem w tym że czasem inna aplikacja zrobi edycję starego rekordy (edycja, dodanie rekordu z wcześniejszą datą etc). Więc nie mogę po prostu zrobić select where data > DateTime.Now-2dni. Potrzebuję jakiegoś pola, które powie mi że ten rekord nie był jeszcze pobrany i zbuforowany. Czy mogę użyć do tego Id autoinkrementowalnego?
Ponieważ każdy rekord ma Id które się zwiększa mógłbym go użyć, ale zastanawiam się czy nie ma jakiegoś haczyka. Mogę dodać kolejne pole coś w stylu "NumerDodania" i pobierać rekordy z NumeremDodania większym niż ostatnio pobrany.
Jak to fachowo zrobić? Chodzi też o to żeby wydajnościowo działało to szybko.
Baza to mssql, ale chciałbym żeby rozwiązanie było uniwersalne.