2016 收获与新起点

节 收获 总结 展望 收获 技术 linux vim shell docker python web flask django spider scrapy pyspider system &
杂记 2016 2017 总结

[技巧] chrome headless 爬虫抓取websoket 数据

录 源起 分析 实践 总结 源起 周末答应了一个朋友帮他看一下一个网站应该怎么爬,费话不说直接先上网站 https://datacenter.jin10.com/price 数据一直在不停的闪,直觉判
大鱼的鱼塘 2018年09月28日
所有 爬虫 chrome chrome headless

[工程] pytorch gpu docker 镜像下的无法正常启动应用分析

录 发现 分析 解决 总结 发现 在使用了 nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 作为底层镜像后,重新构建了pytorch的底层镜像做为应用的基础镜像,一切
大鱼的鱼塘 2018年09月18日
linux 所有 杂记 docker

[经验] opencv 不同的视频输出以及文件过大的解决方法

录 发现 分析 解决 总结 发现 目前的一个项目需要使用opencv 录制视频,并且将录制的视频上传到我方服务器上,所以,视频的大小直接影响视频分析的时时性,针对这个情况,需要在不同的压缩格式下进行测
大鱼的鱼塘 2018年08月31日
linux 所有 opencv python

[经验]解决使用opencv 高分辨率下的摄像头卡顿不流畅

录 发现 分析 解决 总结 发现 环境 ubuntu 16.04 python 2.7 (anaconda 的环境) cv 版本 3.4 安装方式 pip install opencv-contrib
大鱼的鱼塘 2018年08月30日
linux 所有 opencv python

[经验] python下的消息队列选择-rq

录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况
大鱼的鱼塘 2018年07月19日
linux 所有 celery message queue

[定义] 关于网络状态码的工程标准

容 我相信大多数写http api的时候,关于网络的状态码大家都有各自的定义,现在有一个好的库来定义各种各样的情况,方便大家在写api的时候返回合理的状态码 代码 [crayon-5bf00efd09
大鱼的鱼塘 2018年07月13日
linux 所有 api error

[工程] tmux的一些操作技巧

mux简介 tmux是一个优秀的终端复用软件,类似GNU Screen,但来自于OpenBSD,采用BSD授权。使用它最直观的好处就是,通过一个终端登录远程主机并运行tmux后,在其中可以开启多个控制
大鱼的鱼塘 2018年06月29日
linux 所有 tmux ubuntu

[scrapy] images pipeline分析– 下载图片如何上传到阿里云服务

录 源起 准备 分析 实践 总结 源起 现在网上已经有很多方便的云存储了,比如阿里云的oss,亚马逊的s3 ,Azure 的blob,云的储存对于大数据量的文件或者图片来说,绝对是相当的方便,现在我们
大鱼的鱼塘 2018年05月28日
所有 爬虫 aliyun oss

[爬虫]python下的xpath清洗数据之html数据清洗

录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据,特别是对于web网页的爬取的时候,网页总有一些不规整的数据来导致拿数据的麻烦,比如如下这种 [crayon-5bf00efd09c6a052
大鱼的鱼塘 2018年05月14日
所有 爬虫 lxml python

[系统] 阻塞非阻塞,同步与异步

录 前言 示意 分析 总结 前言 我们在写代码的时候,会遇到大量的IO操作,http请求,读写文件,读数据库,对于IO的操作,我们听到了太多的异步,同步,阻塞与非阻塞的操作,可是我们一直没有去深入的理
大鱼的鱼塘 2018年05月07日
linux 所有 async blocking

[工程] linux操作下的利器-tmux

容 源起 使用 注意 总结 源起 某天小伙伴看我正在辛勤的打开一个又一个窗口,然后跑一些长时间任务然后又要开另外一个窗口重新ssh到服务器上的繁琐操作,如下图所示 小伙伴顺口来了一句,你为啥不用tmu
大鱼的鱼塘 2018年05月04日
linux 所有 tmux 工程

[tmux] version 2.1 存在缓存bug

录 起因 分析 解决 起因 在tmux session 之中 ,尝试修改一个文件内容,发现于tmux 外部 查看该文件内容压根就没有修改到,只能从外部来进行处理 分析 在folder文件夹下有如下两个
大鱼的鱼塘 2018年03月20日
linux 所有 2.1 bug

[工程] python下的测试利器pytest

录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了,因为这无形之中增加了工作量,在追求极致开发的时候,一般都是能先上就先上,把主体的功能不管三七二十一怼出来再说,出了问题就直接
大鱼的鱼塘 2018年03月03日
linux 所有 pytest python

29之前,29之后

言 大概在3年前,我写过 <26之前,26之后>,从刚参加工作到工作2年之后一些蜕变与感悟,如果将之前的时间比作新手上路,体会到了道路的崎岖与速度的激情,我想这一年的更多的时间就是停车自检
大鱼的鱼塘 2018年02月10日
所有 30 人生 成长

订阅源