pythonでシリアライズする方法についてのメモ

pickleモジュールをつかって、デシリアライズする際に、任意のコードを実行させることができるそうで、セキュリティー云々言われています。

でもね。
結局のところ、信頼関係の話だと思うんですよ。
怪しいファイルを実行すれば、pickleモジュールを使っていようが、使っていまいが、怪しいことが起こりますよ、そりゃ。怪しいおっさんから「ぼぼぼ、ボクの作った、ハンバーガー、た、食べてほしぃんだな、ぐへへへ、」とか言って買わされたハンバーガーに何の疑いも持たずにかぶりつけば、泡吹いて倒れますよ。ピクルスが入っていようがいまいが。

要するに信頼できるコード(データ)のみを実行するという当然のことを守れば大丈夫かと。
だから、あんまり目くじらたてる必要はないと思います。

ただ、webから投稿されたデータをpythonで処理する際にpickleモジュールを使う、なんて際には気をつけたほうがいいのかもしれんけど。

import pickle

#serialize
data = {22:[3,4,""], 55:"hello"}
se = pickle.dumps(data)
try:
	f = open("filename","wb")
except:
	print "error"
f.write(se)
f.close()

#desirialize
try:
	f = open("filename","rb")
except:
	print "error"
de = pickle.loads(f.read())
f.close()

import pickle
import struct

#serialize
data = {22:[3,4,""], 55:"hello"}
se = pickle.dumps(data)
try:
	f = open("filename","wb")
except:
	print "error"

for i in se:
	#xor enc
	tmp = struct.unpack('B',i)[0] ^ 112
	f.write(struct.pack('B',tmp))
f.close()

#desirialize
try:
	f = open("filename","rb")
except:
	print "error"
de_tmp=""
for i in f.read():
	tmp= struct.unpack('B',i)[0] ^ 112
	de_tmp+=struct.pack('B', tmp)
de = pickle.loads(de_tmp)
f.close()

import pickle

class Myclass():
	def __init__(self):
		self.data={"aa": 445, "cc":2439, "gg":94320}
myc = Myclass()

#serialize
se = pickle.dumps([myc.__class__.__name__,myc.__dict__])
try:
	f = open("filename","wb")
except:
	print "error"
f.write(se)
f.close()

#desirialize
try:
	f = open("filename","rb")
except:
	print "error"
de_tmp = pickle.loads(f.read())
#get instance
de = globals()[de_tmp[0]]()
#set member
for k, v in de_tmp[1].items():
	de.__dict__[k] = v
f.close()

・desirializeする時に、globals()["classname"]()が使えない
　→クラス定義したファイルと異なるので例外を出して失敗する

・getattr(__import__("libname"), "classname")()を使ってinstance生成
　→インポートパスが通ってないならsys.path.append(path_to_lib)も必要
　→しかしgetattrを使う側はどうやってlibname,classname,path_to_libを知るのか？
　→__file__[:-3]などとしてlibnameを取得できるのは、クラス定義をしたファイルのみ
　　→getattr呼出側ではできない
　→予め登録するなどという面倒なことをするか？
　→登録すべき数が膨大になったらどうするか？

base.py(シリアライズする側)
import pickle
import os,sys

class Serializer():
	def __init__(self,myclass):
		self._myclass = myclass

	def serialize(self,filename):
		#serialize
		se = pickle.dumps([self._myclass._libname,self._myclass._classname, self._myclass.__dict__])

		#open file
		try:
			f = open(filename,"wb")
		except:
			print "serialize error"
			sys.exit()
		#output
		f.write(se)
		f.close()


	def deserialize(self,filename):
		#set import path
		for i in Baseclass._import_path.keys():
			if not (i in sys.path):
				sys.path.append(i)

		#loadfile
		try:
			f = open(filename,"rb")
		except:
			print "desirialize error"
			sys.exit()

		#deserialize
		de = pickle.loads(f.read())

		#class was defined in other file
		if de[0]:
			self._myclass = getattr(__import__(de[0]), de[1])()

		#class was defined in this file
		else:
			self._myclass = globals()[de[1]]()

		#set class member
		for k, v in de[2].items():
			self._myclass.__dict__[k] = v

class Baseclass():
	_import_path={}
	def __init__(self, codefile):
		#set import path to static member
		param_dir = os.path.dirname(os.path.abspath(codefile))
		this_dir = os.path.dirname(os.path.abspath(__file__))
		if param_dir != this_dir:
			Baseclass._import_path[param_dir] = True

		#libname
		param_filename = os.path.basename(codefile)
		this_filename = os.path.basename(__file__)
		if (param_dir == this_dir)and(param_filename == this_filename):
			#class exist in this file
			self._libname = None
		else:
			if len(param_filename)>3 and param_filename[-3:]==".py":
				self._libname = param_filename[:-3]
			else:
				self._libname = param_filename

		#classname
		self._classname = self.__class__.__name__





test.py(クラス定義がある側)
from base import *

class Myclass(Baseclass):
	def __init__(self):
		Baseclass.__init__(self,__file__)
		self.data = {33:"hello", 44:["a","i","u"]}


def main():
	m = Myclass()
	s = Serializer(m)

	s.serialize("file1")
	s.deserialize("file1")
	print s._myclass.data

if __name__ == "__main__":
	main()



クラス定義のところで、
class Myclass(Baseclass):
	def __init__(self):
		Baseclass.__init__(self,__file__)

としています。
ここで、呼び出されたBaseclass.__init__によって、Myclassは、自己のインポートパス、ライブラリ名、クラス名を保持することを強要されています。
これらの情報は、getattrを使う際に必要となるものです。　

ここまで書いて気づいたけど、Baseclass._import_pathもシリアライズすると良いかもね。