專用的冗余結構支撐大數據查詢
發布時間:
為完成特定的性能目標可以設計一些面向主題的冗余結構,比如結存表,明細表等。功能上,一個單據描述一個業務實體,但如果單據的量級很大
為完成特定的性能目標可以設計一些面向主題的冗余結構,比如結存表,明細表等。
功能上,一個單據描述一個業務實體,但如果單據的量級很大,那么可以設計一個根單據并行的“影子”單據,這個“影子”單據由原始單據生成,為實現特定的性能目標而設計,針對這個特定的目標可以通過減少維度來降低數據精度,這樣有效壓縮數據量,通過增加冗余列減少表關聯,甚至可以做一些分區和分表的處理,這樣的針對特定場景的定制冗余結構一定是性能最優化的。
冗余結構可以實時維護,比如單據的增刪改這些數據觸點都要順便維護一下這個結構。當然也可以批量維護,比如可以T+1的方式維護這個數據,如果要實時,差異數據可以從原始單據中查詢。
專用的冗余結構是大數據很終極的解決方案,就像并行是大數據量計算終極方案一樣,代價是原始單據的一些操作性能會受一些影響,但整體體驗影響不大。如果架構上沒有支持特定數據的定制化的冗余結構,那就需要客戶化開發來實現,有一定的工作量。
如果目標是必須要達成的,且只有這一種,那也別無選擇。







