Python

Python Celery 多線程取結果報錯:’list’ object has no attribute ‘decode’

2017-6-22 , 8175 2
這個問題困擾了我估計有一個星期問題，而問題的一開始我沒有任何頭緒，問題的表現就是調用節點去請求任務時，時常報錯：   報錯信息諸如： Protocol Error: , b'\x00\x00\x00\x00\x00\x00\x00\x00\x00*3' Error while reading from socket: (9, 'Bad file descriptor') 'int' object has no attribute 'decode' name 'self' is not defined only …繼續閱讀 »
互聯網 產品/運營

我所認知的互聯網，從混沌到平衡

2017-6-21 , 2366 0
又有一段時間沒有更新博客了，很是愧疚，雖然看我博客的人并不多，但我知道有一部分在關注，不是出于技術。 我可能不像個黑客 可能當一個人忙于一件事或者處于忙碌狀態的時候，就幾乎沒有閑暇時間去思考，思考那些平時忙碌的時候不會思考的問題，可能是生活因素，總是在壓迫人們不停的工…繼續閱讀 »
滲透工具

樹莓派使用ngrok內網轉發搭建教程【各種問題終極解決方案】

2017-5-12 , 15014 2
前幾天買了個樹莓派3b，實現遠程控制自然要有內網轉發，沒什么毛病，但是任何事情我遇到的問題總比別人多，下面就開始折騰了。 一開始裝的是樹莓派的原生系統，花生殼官網有樹莓派專用的客戶端也就是arm版，但是用著用著很多滲透軟件裝著太麻煩，于是換了kali系統， 那么問題來了，花…繼續閱讀 »
Python

Python-DBUtils 使用mysql數據庫連接池提升效率

2017-5-8 14538 0
隨著全網掃描項目的開發，越來越細致的問題暴露出來，從能用到用的好，還有很長的路要走。 這個問題前段時間就發現了，程序一般跑個一天會越來越慢，直到某個時候程序徹底崩了，而且最后的報錯也一般是mysql的報錯： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Co…繼續閱讀 »
Python

理解Queue隊列中join()與task_done()的關系

2017-4-5 17017 1
在網上大多關于join()與task_done()的結束原話是這樣的： Queue.task_done() 在完成一項工作之后，Queue.task_done()函數向任務已經完成的隊列發送一個信號 Queue.join() 實際上意味著等到隊列為空，再執行別的操作 但是可能很多人還是不太理解，這里以我自己的理解來闡述這兩者的關聯。 理解 如果線程里…繼續閱讀 »
這就是生活

你看那個人好像一條狗【轉】

2017-4-2 8260 4
很久一段時間，一直麻木在技術的世界里，甚至沒有多余的思緒跳出技術思維，想一想技術之外的一些東西。 之所以稱之為“技術之外”，因為對于我這種金剛猿來說，從事業與理想的角度只分為技術，與非技術。 所謂技術，我一般也稱之為“術”，諸如，線程如何調優，這個函數有哪些參數，…繼續閱讀 »
WEB開發

Mysql ibdata1文件瘦身與清理方法

2017-3-27 12274 0
終究，我還是從innodb轉到了myisam，光innodb庫的大小就夠我受的，更別說查詢速度了。 但是我遇到了一個問題，從innodb轉到myisam很快就能完成，ibdata1文件還是那么大，有27G。 嗯，可以理解，可能因為我的庫還在。 但是當我刪除一個大庫的時候瞬間就完成了，那一瞬間我就感覺不妙，幾百萬的數據…繼續閱讀 »
Python

Mysql數據遷移啟動報錯：/mysqld: File ‘./mysql-bin.000007’ not found

2017-3-22 4065 0
此貼為備忘帖： 背景：將mysql 的var目錄數據全部遷移至另一mysql服務器，權限正常的情況下 無法啟動mysql，報錯： ?ERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists 查看var下的localhost.localdomain.err日志，報錯為： 170322 14:47:52 mysqld_safe Starting mysqld daemon with databases from /usr/local/mysql/var 170322 …繼續閱讀 »
Python

Python requests響應內容亂碼解決方案

2017-3-22 7391 0
一般在針對性的爬取某個網站的時候可能不需要考慮太多這方面問題，因為一個網站的編碼基本是固定的，但是當需要去請求大量編碼各不相同的網站時，自動解碼就顯得尤為重要。 這幾天在用requests模塊掃描大量網站首頁的時候發現有大量的亂碼，我們都知道requests中的encoding屬性是可以自動識別網…繼續閱讀 »
Python

Python 獲取頂級域名模塊ExtractLevelDomain[自定義等級]

2017-3-17 3570 0
這個模塊在很多爬蟲項目里應該還是挺實用的，不過我是用來批量查詢whois和備案單位的，因為庫里有大量的子域名，所以只需要對同頂級域名的其中一個域名獲取信息即可，否則會造成數據庫大量冗余信息，而且在后期更新的時候還會造成系統及網絡不必要的壓力。 找了這么個提取頂級域名的模…繼續閱讀 »
123456789末頁
羽毛球地板胶