apscheduler 運行過程中出現類似如下報錯： Run time of job "9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.387821 Run time of job "9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.392574 Run time of job "9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST…繼續閱讀 »

一直以來想給大家來安利一下這個文件同步軟件，今天正好新加了一臺同步端，趁此機會順手總結一下。 Resilio Sync簡介 BTSync 是 Bittorrent Sync 的簡寫，是美國 Bittorrent Inc. 公司開發的一款采用 P2P 技術實現文件快速的同步的軟件，軟件有免費版本和商業版本，非開源軟件。 注意：Bittorrent Inc. 公司于 …繼續閱讀 »

這個錯發生在celery中用redis 作為backend 傳輸返回結果時發生的錯誤，以前也遇過這個錯，但是沒有放在心上，今天偶然發現所有節點都出現了該報錯，并且影響了隊列的正常消費，所以時候對這個錯誤一探究竟了。 先貼上原始報錯代碼： \"result\": {\"exc_type\": \"ResponseError\", \"exc_message\": \"Command # 1 (…繼續閱讀 »

之前一直在用nginx + uwsgi + django 架構，之前也在博客里分享過相關故障解決： nginx+uwsgi完美配置文件，解決“upstream prematurely closed connection”報錯 nginx + uwsgi + django出現的問題 那么在用了一段時間后發現一個很嚴重的問題：無論代碼層如何優化，都會出現內存泄漏（內存占用無限增長）的問題， …繼續閱讀 »

其實這個問題在Nginx + uwsgi + django 上是不存在的，因為nginx 與uwsgi鏈接是可以通過sock文件的，而nginx + flask 只能通過普通的反向代理。 所以就會出現一個nginx 反向代理常見的問題，實際對flask 發起的請求是由ningx完成，所以獲取到的ip是服務器本機的地址，甚至是機器的內網地址。 uwsgi+nginx+django 我們…繼續閱讀 »

之前python在用pip安裝scrapy模塊的時候遇到過這個情況，但只是記筆記沒有總結出來，今天又遇到了一次，索性博客記錄一下。 解決方案 安裝?bzip2-devel： 方法一： yum install bzip2-devel 方法二： 如果不行，可以編譯安裝： wget http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz?&& tar -zxf bzip2-1.0.6.tar.gz &&…繼續閱讀 »

這段時間在折騰django，一開始用單一的uwsgi控制web訪問，雖然說沒有什么大問題，但是很多東西沒法配置，比如超時時間，uwsgi雖然有個“harakiri”配置項，但并沒有什么作用。 所以終究還是需要接口nginx來做前端代理，但是在代理的出現了一個問題，前端一直沒有響應，nginx錯誤日志（/var/log/nginx/e…繼續閱讀 »

我們在?快速入門分布式消息隊列之 RabbitMQ（上）和?快速入門分布式消息隊列之 RabbitMQ（中）?分別介紹了 RabbitMQ 的對象概念及其關鍵特性，本篇將通過代碼實現的方式來回溯這些知識點，從應用實踐的角度繼續深入 RabbitMQ。 首先安裝 RabbitMQ 的 Python 客戶端，最常用的就是?pika： pip install pika …繼續閱讀 »

緊接上文：快速入門分布式消息隊列之 RabbitMQ（上），繼續來看 RabbitMQ 都有哪些值得我們關注的特性。 Message Acknowledgment 消息應答 假設一個場景，消費者接收到了消息，但卻在處理消息的過程中發生了意外退出的情況，那么此次消息的傳遞就應該被視為「無效傳遞」。顯然「無效傳遞」的情況是…繼續閱讀 »

之前我們的分布式消息隊列使用的是RabbitMQ，但僅限于使用它，但是對于它的內部機制的細節沒有太多的認知，偶然從某公眾號文章中看到RabbitMQ系列的詳解，并且比較通俗易懂，所以拿過來分享一下。 簡介 AMQP（Advanced Message Queuing Protocol，高級消息隊列協議）是一個基于應用層的異步消息服務協議…繼續閱讀 »