python中使用分步式进程计算

在python中使用多进程和多线程都能达到同时运行多个任务,和多进程和多线程的选择上,应该优先选择多进程的方式,因为多进程更加稳定,且对于进程的操作管理也更加方便,但有一点是多进程独有的杀手锏,多进程可以将进程分步到多台机器上跑,假如有很多个任务,一台机器即使开了多进程或者多进程跑起来还是要耗很多时间,那么这时就要想一下可否将任务分配到多台机器上跑,这样可以更快的完成任务。

阅读全文


pymongo中使用聚合查询

在使用mongo数据库时,简单的查询基本上可以满足大多数的业务场景,但是试想一下,如果要统计某一荐在指定的数据中出现了多少次该怎么查询呢?笨的方法是使用find 将数据查询出来,再使用count() 方法进行数据统计,这个场景还好,但是如果要求其中某个字段的和呢?是不是就非得遍历出相应的数据然后再进行求和运算呢?
在mysql中我们经常会用到countgroup by 等查询,在mongodb中我们也可以使用聚合查询。

阅读全文


python3中的字符编码问题

如果说在python2中处理字符编码很蛋疼的话,如果幻想着python3不那么蛋疼,那么我只想说,你想多了,好不容易在python2中把字符编码的问题捣腾清楚了,但是换成python3,它会将之前的体系重新构建,使得之前的知识体系不能很好的运用,只能重新来构建。感觉是从一个坑跳到了另外一个坑,下面来看看这个令人头疼的python编码问题。

阅读全文


python中使用优先队列

相信对于队列的概念大家都不会陌生,这种先入先出的数据结构应用很广泛,像一般的生产消费都会用到队列,关于Queue的用法介绍可以参考我之前的文章 python中的Queue与多进程(multiprocessing)还有栈,栈是一种先入后出的数据结构,面优先队列有别于普通的队列与栈,在实现上,它一般通过堆这一数据结构,而堆其实是一种完全二叉树,它会对进入容器的元素进行排序(根据事先指定的规则),出队的顺序则会是二叉树的根结点代表的元素。接下来介绍几种优先队列的实现。

阅读全文


python中使用加盐哈希函数加密密码

开发网站离不开用户的注册与登录,今天来说说在网站开发的时候关于用户密码的保存方式,传统的方式有以下几种

  • 明文存储:肉眼就可以识别,没有任何安全性。 谁用谁傻缺
  • 加密存储:通过一定的变换形式,使得密码原文不易被识别。密码加密的几类方式:
  1. 明文转码加密:BASE64, 7BIT等,这种方式只是个障眼法,不是真正的加密。

  2. 对称算法加密:DES, RSA等。

  3. 签名算法加密:也可以理解为单向哈希加密,比如MD5, SHA1等。加密算法固定,容 易被暴力破解。如果密码相同,得到的哈希值是一样的。

  4. 加盐哈希加密:加密时混入一段“随机”字符串(盐值)再进行哈希加密。即使 密码相同,如果盐值不同,那么哈希值也是不一样的。现在网站开发中主要是运 用这种加密方法

本篇文章主要介绍第四种 「加盐哈希加密」

阅读全文


python中的异步实践与tornado应用

最近项目中由于在python3中使用tornado,之前也有用过,是在python2中,由于对于协程理解不是很透彻,只是套用官方文档中的写法,最近比较细致的看了下协程的用法,也将tornado在python3中异步的实践了一下。

阅读全文


pymongo中的特殊查询

python操作mongo常用的增删改查看这一篇就够了Python操作MongoDB看这一篇就够了

最近在整理一些在pymongo中相对使用较少的查询。

阅读全文


别小看元组

元组(tuple)和列表(list),每个写python的都知道,而且都知道,元组是不可变的,但是仅仅因为一个不可变就要创造出一个新的数据类型吗?
答案肯定不是,那么我们来看看元组究竟有哪些用法

阅读全文


python中关于map,lambda,高阶函数与装饰器的使用

有一点python基础的朋友在看到一些老鸟写的一些函数的时候,他们会有意的写出一些高阶函数,要么带个map啊,要么带个lambda呀,再高一点的带个@装饰器啊,其它这些也没有什么难的,用法上高级一些,如果能捋顺它的逻辑,准确的在实际应用中使用,还是会给程序效率上带来一定的提高,至于可读性,当你习惯了这些用法时你就会觉得它的可读性也很好,之所以你不习惯,主要还是由于你不懂它的用法,说到可读性,这是另外的话题,以后再详细的聊聊,今天要说的主要是高阶函数与装饰器的使用。希望看完此篇文章的朋友有所收获。

阅读全文


python中的list排序问题以及sort,sorted的使用

列表list排序是一种非常常见的操作,里面有很多的方法也有很多的坑,这里简单的记录一下。

阅读全文