[回到版面]
回應模式
名 稱
內 文
附加圖檔[] []
  • 可附加圖檔類型:GIF, JPG, JPEG, PNG,瀏覽器才能正常附加圖檔
  • 附加圖檔最大上傳資料量為 4096 KB。
  • 當檔案超過寬 125 像素、高 125 像素時會自動縮小尺寸顯示
  • AA可使用 [aa][/aa] 防止變形
  • 回覆時程式碼縮排會被trim消掉,請善用[code][/code]標色或貼到ideone等網站
  • LaTeX記法可以用「$$」或「\( \)」包起來,例如「$\sum_{k=1}^{k=n} k^2 = \frac{n(n+1)(n+2)}{6}$」

檔名:1500570528655.jpg-(212 KB, 1920x1080)
212 KB
wiki不斷的504admin2◆xLhYJKRDXs17/07/21(五)01:08:48 ID:LLWB1m1INo.12277
https://wiki.komica.org/

現在換的新的media wiki以後變的越來越不穩定 很容易當機 現在已經要設定每半小時自動重啟一次nginx以及php了
https://pastebin.com/C8dgN8qp

通報的錯誤訊息有如以下 我本來以為是php執行設定的時間太短 從30秒改成180秒 不過仍然沒有改善 我要不要把error.log上傳給各位一起看然後看問題是出在哪邊?
無名氏17/07/22(六)15:27:41 ID:/lYbR4V.No.12281
原本我在"wiki.komica.org/wiki5/"上面的轉址是用很簡陋的
<meta http-equiv="refresh" content="0;url=https://wiki.komica.org/" />

我想到有一個可能 例如這是外界用google找到的條目
https://wiki.komica.org/wiki5/?動物朋友(けものフレンズ)

進入以後 直接轉址成

https://wiki.komica.org/?動物朋友(けものフレンズ)

也就是中間的wiki5那一個不要就好了 就可以導引到新版wiki了 轉址的程式碼可以這樣寫嗎?
admin2◆xLhYJKRDXs17/07/22(六)15:29:52 ID:/lYbR4V.No.12283
https://wiki.komica.org/動物朋友(けものフレンズ)
應該是那個多餘的?號也不用

剛剛還在查轉址語法 但是如果有人可以直接傳授那就更好了
無名氏17/07/24(一)09:42:58 ID:U.w8IWoQNo.12288
>>https://www.mediawiki.org/wiki/Topic:Tgruq6xu81m149d3
https://phabricator.wikimedia.org/T88312
我拿錯誤訊息去Google
看到這2篇

看完後,會不會是資料夾權限沒設好害的?
或者緩存造成的
無名氏17/07/24(一)10:17:38 ID:iwzlmj1ANo.12289
現在好像很少出現那種情況了?至少我沒再有看到通報過

不過搜尋幾乎沒出來任何結果 或著很慢 我想會不會是資料庫大到一種程度以後現在的CPU就不夠了

不過我是覺得如果轉址那個可以弄好 就可以讓現在google搜索到條目的人直接來到新的media wiki的條目了
admin2◆xLhYJKRDXs17/08/05(六)13:24:43 ID:JfCyOIvkNo.12352
cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 79
model name : Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
stepping : 1
microcode : 0x1
cpu MHz : 2099.998
cache size : 20480 KB
physical id : 0
siblings : 1
core id : 0
cpu cores : 1
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 13
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon rep_good nopl eagerfpu pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm rdseed adx smap xsaveopt
bugs :
bogomips : 4199.99
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual
power management:


這是目前wiki主機的CPU資料

依照可能有經驗者的判斷 這會太低了嗎
無名氏17/08/05(六)16:57:09 ID:9nSKsA7UNo.12354
試著不要用sqlite,換其他的看看
admin2◆xLhYJKRDXs17/08/05(六)19:25:29 ID:JfCyOIvkNo.12355
>>12354
如果換成mysql 可能要先準備好甚麼 例如多租一台mysql的主機?
無名氏17/08/05(六)20:23:30 ID:5eLZGagkNo.12357
>>12355
先不用吧 你裝在同一台先測試啦
admin2◆xLhYJKRDXs17/08/06(日)14:50:03 ID:UAGHn9yYNo.12361
>>12357
會很困難嗎 是不是先把sqlte換成mysql 然後再改設定檔就好了

不過應該也是要先把主機安裝上mysql麻
無名氏17/08/06(日)20:58:42 ID:/eG2w42ENo.12362
>>12361
直接裝 mysql 會跑就好啦
然後叫你的 php 去連他...
admin2◆xLhYJKRDXs17/08/06(日)23:13:33 ID:UAGHn9yYNo.12363
我覺得資料庫可能不是重點 因為我發現到 只要使用搜尋條目 後台就會看到CPU使用飆高 然後就會當掉

這可能在設定上面修改甚麼嗎 例如讓PHP的執行時間增加?或是把搜尋關掉

或著我把主機的CPU增加 除了改動現有主機規格之下 可能用Haproxy之類的軟體另外增添CPU資源嗎
無名氏17/08/06(日)23:39:32 ID:/eG2w42ENo.12364
>>12363
我這樣講好了
我的伺服器比你爛 搜尋上萬條資料也沒你那麼慢
很明顯的是某些地方發生問題了

你應該把它找出來 而不是無謂的一直開機器
admin2◆xLhYJKRDXs17/08/07(一)16:11:45 ID:0kI80hscNo.12365
>>12364
是喔?

我覺得比較可能應該是資料庫的問題 或許media wiki對於sqlte的支援性不足 那乾脆試試看換成mysql好了
admin2◆xLhYJKRDXs17/08/08(二)23:47:33 ID:ZcGQV9skNo.12367
檔名:1502207253578.jpg-(163 KB, 789x481)
163 KB
這是用搜尋時使用top時看到的 好像是php運行的特別兇?

是不是php需要另外改變一些設定?
無名氏17/08/09(三)19:45:17 ID:VGt2pbDoNo.12368
>>12367
先把執行時會出現這樣狀況的程式段找出來
然後再看看有沒有邏輯不對會跑很久的
無名氏17/08/09(三)21:35:26 ID:5qxHebCkNo.12369
SQLITE確實有可能有問題
先弄個LAMP的環境吧(看你是ubuntu)
無名氏17/08/09(三)21:38:03 ID:5qxHebCkNo.12370
https://www.mediawiki.org/wiki/Topic:Tg75kxr2r25r074l
然後看changelog有提到,你現在用的版號是?
admin2◆xLhYJKRDXs17/08/09(三)22:38:57 ID:a.E0ZIcYNo.12371
檔名:1502289537324.jpg-(47 KB, 885x224)
47 KB
>>12370
是1.28版的
不過如果要轉 那應該現在的sqlite的記錄檔也要轉麻 不然又要重新搬條目了 雖然我們現在如果再搬有現成改好語法的不是很難 但是能不能直接做好轉檔呢 就是sqlite轉成mysql的

我現在的環境是nginx+php 7.0

mysql現在還沒有 之前聽資工島民說是因為耗用的資源要更多 不過現在可能都要試試看了
無名氏17/08/10(四)15:01:28 ID:mlCiXxq2No.12372
>>12371
我記得處理大型的資料的話,mysql比sql lite 好得多了
sqllite適合處理小型,例如手機遊戲存在本地的資料之類的
但你資料庫還要考慮到連線什麼的,mysql應該是比較好才是
無名氏17/08/10(四)19:55:57 ID:sRrsWMqoNo.12373
>>12371
https://stackoverflow.com/questions/18671/quick-easy-way-to-migrate-sqlite3-to-mysql

SQLITE 轉 MYSQL方法不少,上面網址有滿多不同做法的(雖然有點久了,但仍然具參考性)
最後還是要看你熟悉的語言跟操作方式
admin2◆xLhYJKRDXs17/08/11(五)15:19:27 ID:n.TCU8hMNo.12374
我現在先設法把puki wiki搬出現在的伺服器看看
admin2◆xLhYJKRDXs17/08/11(五)15:41:11 ID:n.TCU8hMNo.12375
檔名:1502437271931.jpg-(361 KB, 804x1198)
361 KB
把puki wiki搬出這台主機了 感覺是好了一點 平時也不會一直保持在滿載的地步

但是搜索條目時 還是一樣會滿載 而且時間還是滿長的

接下來就要實驗轉換資料庫模式了 在找到把sqlte轉換的辦法以前 我就先建立一個空的來實驗好了

好像mysql也可以分存在mysql專用的主機上?
無名氏17/08/11(五)22:10:02 ID:o.N25AVQNo.12376
>>12375
mysql 可以裝在別的主機去連沒問題
只要 port 開了就可以了

但是我還時覺得搜尋時會吃那麼多資源很不正常
我的直覺這不是資料庫的問題...
admin2◆xLhYJKRDXs17/08/11(五)23:56:19 ID:n.TCU8hMNo.12377
>>12376
php使用暴增 一定是某一個php程序大量的消耗CPU了

不過有辦法看嗎
admin2◆xLhYJKRDXs17/08/12(六)13:29:52 ID:lRxWmvnMNo.12378
檔名:1502515792970.png-(15 KB, 522x287)
15 KB
我們目前的wiki條目還不到5000筆 但是資料庫已經接近900MB了

這樣會不會不大正常?我懷疑是因為要搜索這麼大的資料庫才會導致當機的
無名氏17/08/12(六)16:07:57 ID:UIVfH0FwNo.12379
>>12378
是不是圖片也被存進資料庫了??
admin2◆xLhYJKRDXs17/08/12(六)21:28:29 ID:lRxWmvnMNo.12380
檔名:1502544509224.png-(40 KB, 675x370)
40 KB
>>12379

肯定不是 圖片另外有路徑

所以這應該不正常吧
無名氏17/08/12(六)23:23:06 ID:UIVfH0FwNo.12381
>>12379
>>12380
也不一定是不正常
要看裡面有啥....
admin2◆xLhYJKRDXs17/08/13(日)19:38:54 ID:fSN/9U3sNo.12386
>>12381
我給各位下載去看看OK嗎?
無名氏17/08/13(日)20:28:14 ID:0lGAfeoANo.12388
無名氏17/08/13(日)21:14:55 ID:UBjKEOjkNo.12389
登入你的MySql資料庫
然後輸入下面這段 sql
SELECT 
table_schema,
table_name AS `Table`,
round(((data_length + index_length) / 1024 / 1024), 2) `Size in MB`
FROM information_schema.TABLES
WHERE table_schema = '請把這段字串改為你的 database 名稱'
ORDER BY (data_length + index_length) DESC;


這是查每個 table 存的資料大小
先看一下有哪個資料庫存的資料量很大吧
admin2◆xLhYJKRDXs17/08/14(一)02:00:43 ID:C12eY4OwNo.12391
這資料庫是sqlite 我甚至還不會打開來查看

http://puki.komica.org/my_wiki.zip

我已經打包壓縮了 各位可以幫忙看看嗎?
無名氏17/08/14(一)02:22:24 ID:VizHhpNMNo.12392
>>12391
超過70%是文字在佔用
https://pastebin.com/raw/L0mgvuhU

而且你這樣不是把大家的email都謝露出來了嘛
密碼有pbkdf2:sha512:30000倒是還好
無名氏17/08/14(一)02:30:05 ID:iahoIhIwNo.12393
>>12391
幫你看了一下 基本上就是資料量大而已
我想大概你搜尋的過程讀取太多資料了
所以才會卡在那邊

所以我想轉到 MySQL 會好很多
但是轉過去基本上可能也是個坑...
admin2◆xLhYJKRDXs17/08/14(一)15:50:42 ID:C12eY4OwNo.12394
那我刪除掉了 總知確認資料也沒異常 但是比較大 或許sqlite不大適合儲存這麼大的檔 那適合小的

我如果轉成mysql 那要怎麼轉檔也是個問題 我去問問好了
admin2◆xLhYJKRDXs17/08/16(三)00:59:24 ID:IC0MthwQNo.12406
我發現到寫入sqlite 以及讀取sqlite 似乎有一個時間限制或是存取量的限制 可能導致了故障 這可以調整嗎?

我現在關閉搜索的方式是直接把裡面的一個SearchSqlite.php先移除了 這個程式可能做優化嗎?

https://pastebin.com/3iHbZWSN
無名氏17/08/16(三)02:55:06 ID:ot40l0hQNo.12410
試了幾個工具轉mysql,最後都敗在沒有欄位長度,除非要手動取代加上去
BLOB/TEXT column '***' used in key specification without a key length

如果是到postgres可以直接用rubygem的sequel無痛轉
sequel -C sqlite:///path/to/yourdatabasename.db postgres://localhost/yourdatabasename
admin2◆xLhYJKRDXs17/08/16(三)18:21:24 ID:IC0MthwQNo.12417
https://www.zhihu.com/question/24484052

我去爬了一些文 發現到數據庫是sqlite不是慢速的主因 而sqlite也不會特別慢

因此問題可能還是主機的設定的問題 或是我的ram太小 

現在關閉搜索好像比較好一點?但有辦法取代搜索功能嗎 例如改成google搜尋?

【刪除文章】[]
刪除用密碼: