一开始想的是,直接在MINIT里调用zend_execute_script方法来加载一个php文件,返回一个zval来存储到全局变量里。结果后来仔细一琢磨发现根本就是妄想。原因在于MINIT的时候php的vm还没初始化完,不可能让你调用zend_execute_script方法,并且这个方法也不会返回一个zval,要想拿到zval必须从EG中去拿,很麻烦。
于是转换思路,尝试用unserialize/serialize,结果发现,php_var_unserialize在MINIT阶段果然是可以调用的。于是开搞,调用这个方法得到一个zval,然后存在全局变量里,在get方法里返回这个zval。写完之后,在测试的时候杯具的发现,只要调用就会core呀。于是查文档,自己思考,最终发现PHP_RSHUTDOWN_FUNCTION函数里会将所有非pealloc分配的的变量给清除。因此在MINIT阶段还正常的数据,到了Request阶段已经被free了。
于是再查文档,发现php里提供了pealloc这类函数来提供persistent的数据分配。于是再转换思路,将全局变量里的hashtable用pealloc来分配,并且将hastable设置成persistent的(谢天谢地php的hashtable还要存代码和vm,因此有这个功能)。但是杯具的是php_unserialize只会返回一个zval,你根本无法控制它是否是persistent的。没办法,只能调用zend_hash_copy来做了。写完之后再测试,发现还是core,这就不明白了,为啥呢?中午吃饭的时候,突然想到,可能是浅拷贝的问题,zend_hash_copy提供了一个copy函数而我没有设置它。再加上深拷贝函数之后再测试,发现果然可以用了,使用起来很清爽。 www.2cto.com
接下来进行测试发现,内存使用率不能忍,一个20m的数据文件加载到内存,需要大约100m左右的内存,如果有100个php-cgi进程,那就多要10G内存,这根本不能忍。于是设想,可以用共享内存来解决这个问题,反正这部分数据只要能读就行了。php-cgi的主进程负责MINIT操作,子进程只要读这部分数据就行了。但是很麻烦的是,php里没提供任何让用户维护内存的接口,于是只能一个函数一个函数的扒了。
仔细看了一下php的hashtable实现,发现比较复杂,而且关键用到了realloc函数,这个太让人无语了,总不能我也写一个内存管理吧。目前只用共享内存实现了一个简单的线程分配内存的函数,从共享内存上依次往后分配空间。但是还好,这部分功能是resize功能根本不需要。因为我的目标是将php_var_unserialize里得到的zval拷贝到共享内存而已,而大小我明显已经知道了。并且也不需要updatea功能,因为是全新的copy。最终弄完之后,发现可以使用了,内存使用率果然降了。
接下来进行压力测试,突然发现又开始core了,这根本不能忍呀,为啥呀?根据core文件,发现是里面的hashtable的refcount降到0了。于是各种测试,发现单线程情况下是ok的,只有多线程大压力情况下会挂。于是想到refcount是会被修改的,而且多线程修改的话,必须可能被改乱。那怎么办呢?总不能加锁吧。
后来仔细想了一下,突然想到只要我每次在返回这个zval里将顶层的zval的refcount修改为大于php-cgi进程数的值,那即使会被改乱也没啥问题,因为根本不会改到0。于是修改了之后再测试,发现果然靠谱了。
到此,整个问题基本解决。但是还有另外一个问题,在重启Php-cgi时还是会core,原因是,当时把正在使用的一些变量给强制写成0了。其实共享内存的正确用法是,一个进程来写,另外的进程来读,但是我这个应用里将共享内存当做绝对地址在使用,因此不可能在一个地方写,在其他地方读,除非shmat里的第二个参数修改为固定值,但是这个就需要对进程的地址分配有充分的了解,知道哪些内存根本不可能被使用。不过这个应该还好,因为Php-cgi进程有内存上限,所以应该可以找到一块内存在php-cgi运行过程中无法被用到的。不过具体的情况得接下来具体研究一下。
作者 无心云