Python高級技巧：用一行代碼減少一半內存占用

我想與大家分享一些我和我的團隊在一個項目中經歷的一些問題。在這個項目中，我們必須要存儲和處理一個相當大的動態列表。測試人員在測試過程中，抱怨內存不足。下面介紹一個簡單的方法，通過添加一行代碼來解決這個問題。

圖片的結果

下面我來解釋一下，它是如何運行的。

首先，我們考慮一個簡單的"learning"例子，創建一個Dataltem 類，該類是一個人的個人信息，例如姓名，年齡，地址等。

classDataItem(object):

def__init__(self, name, age, address):

self.name = name

self.age = age

self.address = address

初學者的問題：如何知道一個以上這樣的對象占用多少內存?首先，讓我們試著解決一下：

d1 = DataItem("Alex",42,"-")

print("sys.getsizeof(d1):", sys.getsizeof(d1))

我們得到的答案是56bytes，這似乎占用了很少的內存，相當滿意嘍。那么，我們在嘗試另一個包含更多數據的對象例子：

d2 = DataItem("Boris",24,"In the middle of nowhere")

print("sys.getsizeof(d2):", sys.getsizeof(d2))

答案仍然是56bytes，此刻，似乎我們意識到哪里有些不對?并不是所有的事情都第一眼所見那樣。

直覺不會讓我們失望，一切都不是那么簡單。Python是一種具有動態類型的非常靈活的語言，對于它的工作，它存儲了大量的附加數據。它們本身占據了很多。

例如，sys.getsizeof("")返回33bytes，是的一個多達33個字節的空行!并且sys.getsizeof(1)返回24bytes，一個整個數字占用24個bytes(我想咨詢C語言程序員，遠離屏幕，不想在進一步閱讀，以免對美觀失去信心)。對于更復雜的元素，如字典，sys.getsizeof(.())返回272字節，這是針對空字典的，我不會再繼續了，我希望原理是明確的，并且RAM的制造商需要出售他們的芯片。

但是，我們回到我們的DataItem類和最初的初學者的疑惑。

這個類，占多少內存?首先，我們一小寫的形式將這個類的完整內容輸出：

defdump(obj):

forattrindir(obj):

print(" obj.%s = %r"% (attr, getattr(obj, attr)))

這個函數將顯示隱藏的“幕后”使所有Python函數(類型、繼承和其他內容)都能夠正常工作的內容。

結果令人印象深刻：

這一切內容占用多少內存?下邊有一個函數可以通過遞歸的方式，調用getsizeof函數，計算對象實際數據量。

defget_size(obj, seen=None):

# From

# Recursively finds size of objects

size = sys.getsizeof(obj)

ifseenisNone:

seen = set()

obj_id = id(obj)

ifobj_idinseen:

return0

# Important mark as seen *before* entering recursion to gracefully handle

# self-referential objects

seen.add(obj_id)

ifisinstance(obj, dict):

size += sum([get_size(v, seen)forvinobj.values()])

size += sum([get_size(k, seen)forkinobj.keys()])

elifhasattr(obj,'__dict__'):

size += get_size(obj.__dict__, seen)

elifhasattr(obj,'__iter__')andnotisinstance(obj, (str, bytes, bytearray)):

size += sum([get_size(i, seen)foriinobj])

returnsize

讓我們試一試：

d1 = DataItem("Alex",42,"-")

print("get_size(d1):", get_size(d1))

d2 = DataItem("Boris",24,"In the middle of nowhere")

print("get_size(d2):", get_size(d2))

我們獲得的答案分別為460bytes和484bytes，這結果似乎是真實的。

使用這個函數，你可以進行一系列的實驗。例如，我想知道如果DataItem結構放在列表中，數據將占用多少空間。get_size ([d1])函數返回532bytes,顯然，這與上面說的460+的開銷相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的結果更有趣——我們得到了871字節，只是稍微多一點，也就是說Python足夠聰明，不會再次為同一個對象分配內存。

現在，我們來看一看問題的第二部分。

是否存在減少內存開銷的可能呢?是的,可以的。Python是一個解釋器，我們可以在任何時候擴展我們的類，例如，添加一個新的字段:

d1 = DataItem("Alex",42,"-")

print("get_size(d1):", get_size(d1))

d1.weight =66

print("get_size(d1):", get_size(d1))

非常好，但是如果我們不需要這個功能呢?我們能強制解釋器來指定類的列表對象使用__slots__命令：

classDataItem(object):

__slots__= ['name','age','address']

def__init__(self, name, age, address):

self.name = name

self.age = age

self.address = address

更多信息可以在文檔(RTFM)中找到，其中寫到“__ dict__和__weakref__”。使用__dict__節省的空間非常大”。

我們確認：是的，確實很重要，get_size (d1)返回…64字節，而不是460字節，即少7倍。另外，創建對象的速度要快20%(請參閱本文的第一個屏幕截圖)。

唉，真正使用如此大的內存增益并不是因為其他開銷。通過簡單地添加元素，創建一個100,000的數組，并查看內存消耗:

data = []

forpinrange(100000):

data.append(DataItem("Alex", 42,"middle of nowhere"))

snapshot = tracemalloc.take_snapshot()

top_stats = snapshot.statistics('lineno')

total = sum(stat.sizeforstatintop_stats)

print("Total allocated size: %.1f MB"% (total / (1024*1024)))

我們不使用__slots__占用內存16.8MB，使用時占用6.9MB。這個操作當然不是最好的，但是確實代碼改變的最小的。(Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.)

現在的缺點。激活__slots__禁止所有元素的創建,包括__dict__,這意味著,例如,一下代碼將結構轉換成json將不運行:

deftoJSON(self):

returnjson.dumps(self.__dict__)

這個問題很容易修復,它是足以產生dict編程方式,通過所有元素的循環:

deftoJSON(self):

data = dict()

forvarinself.__slots__:

data[var] = getattr(self, var)

returnjson.dumps(data)

也不可能動態給這個類添加新類變量,但是在這個例子中,這并不是必需的。

今天的最后一個測試。有趣的是整個程序需要多少內存。添加一個無限循環的程序,以便它不結束,看看Windows任務管理器中的內存消耗。

沒有 __slots__:

6.9Mb變成 27Mb… 好家伙, 畢竟, 我們節省了內存,27Mb 代替 70 ，對于增加一行代碼來說并不是一個壞的例子

注意：TraceMelc調試庫使用了許多附加內存。顯然，她為每個創建的對象添加了額外的元素。如果關閉它，總的內存消耗將少得多，截屏顯示兩個選項：

如果你想節省更多的內存呢?這可以使用numpy庫，它允許您以C樣式創建結構，但是在我的例子中，它需要對代碼進行更深入的細化，并且第一種方法就足夠了。

奇怪的是在Habré從來沒有詳細分析使用__slots__,我希望本文將填補這一空缺。

結論這篇文章似乎是一個anti-Python廣告，但并不是。Python非?？煽?為了“降低”Python程序，您必須非常努力)，它是一種易于閱讀和方便編寫代碼的語言。這些優點在很多情況下都大于缺點，但是如果您需要最大的性能和效率，您可以使用像numpy這樣的庫，它是用C++編寫的，它可以很快和高效地與數據一起工作。