新月実装開発部

c92fedcc anonymous 2016-01-23 13:32
dat形式の強化やadmin.cgiの機能追加とかやったけど今日はバクフィックスメイン
引っかかってたバクがなくなってすっきりした
082b18b7 anonymous 2016-01-23 15:20
なんかmikaから壊れたデータが送られてきてるみたいなんですがどうしたもんでしょう。

Downloading file: 133.130.115.168:80/stable/server_api thread_E887AAE4BD9C7063

これの元スレは「自作PC」(thread_E887AAE4BD9C5043)なんですけど、スレタイ(ファイル名)が「自作pc」(thread_E887AAE4BD9C7063)と小文字になってるデータが代わりに来てます。レコードの内容は同じようです。

http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C5043/0-
http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C7063/0-

壊れたデータの出どころはこちらからは正確にはわからないので、そちらでも調べていただけると大変助かります。
0230e607 anonymous 2016-01-23 16:10
@markdown
`TABLE thread`の`title CHAR(255) NOT NULL`がcase sensitiveになっていない(`utf8_bin`のcollationの指定がない)みたいですがこれは大丈夫なんでしょうか。

```
CREATE TABLE thread(
        -- titleのサイズは適当
        id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
        title CHAR(255) NOT NULL,
        timestamp TIMESTAMP NOT NULL DEFAULT '0000-00-00 00:00:00',
        records INT NOT NULL DEFAULT 0,
        removed_records INT NOT NULL DEFAULT 0,
        UNIQUE(title),
        INDEX(timestamp, id)
);
```
https://github.com/yuuki0xff/mika/blob/a8594a242215d3e56178eacb53cdd52d5fe21de3/db.sql
f3180331 anonymous 2016-01-23 16:43
一晩ぐらいおいておけばいいかな。
f5a3f4bb anonymous 2016-01-23 17:44
よかったよかた。これで安心です。
83feb8cb anonymous 2016-01-23 19:53
@markdown
mikaが/updateを取りこぼしているようです。
```
clojure.lang.ExceptionInfo: clj-http: status 500
    data: {:status 500,
           :headers
           {"Server" "nginx/1.6.2",
            "Date" "Sat, 23 Jan 2016 10:45:00 GMT",
            "Content-Type" "text/html",
            "Transfer-Encoding" "chunked",
            "Connection" "close",
            "X-Frame-Options" "SAMEORIGIN"},
           :body "<h1>Server Error (500)</h1>",
           :request-time 283,
           :trace-redirects
           ["http://133.130.115.168:80/stable/server_api/update/thread_E68E83E999A4/1453545919/a793ab0b78ae4ff7be6896cd4e9f22c1/45.56.121.29:48888+server"],
           :orig-content-encoding nil}
```
2240a5a1 anonymous 2016-01-23 19:55
>>83feb8cb
この/update命令は[[掃除/a793ab0b]]のものですが、現時点で http://133.130.115.168:80/stable/ にはこのレスはありません。
ac5fc5b0 anonymous 2016-01-23 23:59
>>83feb8cb
指摘してくれてありがとう
デプロイするバージョン間違えてたorz
今、起動直後の同期が行われているので、10分もあれば取りこぼしたレスも全て拾えると思います
a660c9b0 anonymous 2016-01-24 05:04
今日はrssと軽量化、そしてデバック
それと設定でrangeを細かく設定出来るようにしたんだがどこまで効果のあるものなのか
9c9a1d90 anonymous 2016-01-24 07:52
mikaのdevelではTHREADが大文字になってるけど誤作動の原因にならないのかな
59ea8675 anonymous 2016-01-24 09:10
TEST
ae13ca5b anonymous 2016-01-24 16:54
新月をtor上で動かせない物でしょうか?
そうすれば日本の法律に縛られること無くゲートウェイが設置できて言論の自由なスレ立てができると思うのですが。
因みにtorブラウザの5.0.7最新verで一般公開ゲートウェイからの書き込みは確認致しました。

68f96452 anonymous 2016-01-24 17:37
>>9c9a1d90
develの方ですね
今は対応出来ないのでシャットダウンしておきました
755a3452 anonymous 2016-01-24 18:11
すいません、スレを間違えました。
b7f601fb anonymous 2016-01-24 22:51
>>ae13ca5b
オーバーヘッドがすごくて効率が悪すぎじゃない?
スレ立てできる公開ノードもあるんだから、Tor経由でそっちを使ったら?
9e5e4db9 anonymous 2016-01-24 23:12
>>ae13ca5b
自由なスレ立ては今でも可能だし、匿名だからって好き放題されるとノード管理者の負担が増える
f1fa04cb anonymous 2016-01-24 23:20
どちらかというとTor経由の公開ゲートウェイへの書き込みは’遮断する方向で行く予定だったんだけど、需要があるなら様子を見つつ考えなおすよ。
949e8ce6 anonymous 2016-01-25 01:37
需で全文検索をするためのメモ。
Apache LuceneがClojureからつかえるそうです。
時間ができたらやろうっと。

https://github.com/weavejester/clucy
https://github.com/kostafey/clucy
http://mvnrepository.com/artifact/org.apache.lucene/lucene-analyzers-kuromoji/5.4.0
https://lucene.apache.org/core/5_4_0/analyzers-kuromoji/index.html
08cdce9b anonymous 2016-01-25 01:45
あ、またスレ間違えた。すみません…
73353020 anonymous 2016-01-25 15:03
今日は高速化をしました
メモリキャッシュで爆速です
aaf18f45 anonymous 2016-01-27 07:49
データベースを最適化しといた
これでスピードがまともになった
49f841de anonymous 2016-01-29 22:55
>>cf9738e4
そうです。結局スパムだったみたいですけど、どうも変なんですよね…
もうちょっと様子を見てみます。
http://133.130.115.168/stable/server_api/get/thread_E887AAE4BD9C5043/1454091200/0979737832e70f43be00ce2dfb995f59
45071615 anonymous 2016-01-30 03:16
mikaからの書き込みがうまく伝播してないみたい。

16-Jan-29 10:11:21 INVALID /update COMMAND: thread_E887AAE4BD9C5043 1454091200 0979737832e70f43be00ce2dfb995f59 133.130.115.168:80/stable/server_api

さっき/updateが来たので/getで取りに行ったけどレスが見つからないって出てる。
cf9738e4 anonymous 2016-01-30 07:44
>>45071615
UTCだと18時11分頃ですよね?
ログを見る限り、正常に応答を返したようです
916e9c2a anonymous 2016-01-31 01:02
mikaの自作PCのスレにスパムがありますね
spam対策自分もやってなかったから気付いた
986c87ac anonymous 2016-01-31 12:56
>>916e9c2a
そうなんですよね...
mikaも次のバージョンでスパム対策をします
3442e554 anonymous 2016-01-31 14:29
ちょっと気になる事があるんだけど
どっかタイムスタンプの算出間違えてない?
同じ内容でタイムスタンプが違うレコードがいくつも有るんだけど
f211d353 anonymous 2016-01-31 14:39
>>3442e554
やばいな~ /getのアドレスを晒してくれない?
cedafffa anonymous 2016-01-31 14:41
>>cf9738e4
これうちのスパムフィルタに引っかかってただけみたい。失礼しました。
e3e57e7a anonymous 2016-01-31 14:44
>>3442e554
9時間足したり引いたりするのを忘れているとかかしらん。
bad0c511 anonymous 2016-01-31 15:00
>>3442e554
それ多分mikaが原因です
申し訳ありませんでした
f5997a0e anonymous 2016-01-31 15:04
>>3442e554
うちにも重複してるレスが来てたので拡散しないように止めといた。これからデータベースを調べてどこから来たのか調べてみる。

/get/thread_E382A2E3838BE383A1/0-

1372390979<>0cca395cde4d352e0e9f7f4eae2a2552<>body:誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。

1372423379<>0cca395cde4d352e0e9f7f4eae2a2552<>body:誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。
0f512f8e anonymous 2016-01-31 15:05
>>e3e57e7a
そのようです
83d1ff82 anonymous 2016-01-31 15:06
ちなみに私のログ上ではmikaから取得したっぽいとだけ
fbd56a60 anonymous 2016-01-31 15:12
>>f5997a0e
ものの見事に9時間ずれてるな。
815474a2 anonymous 2016-01-31 15:25
調べてみたけどうちの合から拾ってきたみたい。
mikaからだとしたらもうだいぶ拡散してるな…
dc45fa34 anonymous 2016-01-31 15:29
>>f5997a0eのレスはアーカイブにあった。

0cca395c :Anonymous 2013-06-28 21:42
誰かガルガンをレビューしてくれませんか。
映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという
アンビバレントな感情を解決したいのです。
http://archive.shingetsu.info/49436b16895e96d7a8fd1e8d336d7d21/0cca395c.html
795cc743 anonymous 2016-01-31 15:48
とりあえず同じスレのidが同じでstampのmod 32400も同じレスは、最初に取得したもの以外は全部スパムとして扱えばいいことがわかったので、需のほうはなんとかしておきます。このあいだの件もあるし、ゲートウェイはともかく新月ネットワークに流すデータには気をつけてね。一緒に新実装を作るのは楽しいからいいんだけどさ。
e3237878 anonymous 2016-01-31 15:50
>>dc45fa34
2013ってそんな前のレコードまでやり取りしてるって事!?!?
0b06fdeb anonymous 2016-01-31 15:58
一番古いのは2006年ぐらいだった希ガス。
a10ee833 anonymous 2016-01-31 16:06
自分のはsqlだからrowid後ろのをばっさりカットでいけそうだけど朔の対応はどうしようか
7b45216d anonymous 2016-01-31 16:26
>>a10ee833
それだと同じデータが流れてきたときに困らない?
合は/removedが使えるかもしれんけど、朔はスクリプトを書いてキャッシュを直接いじるしか…
547861a2 anonymous 2016-01-31 16:26
私の不手際のため、皆さんにご迷惑おかけしてしまい申し訳ありませんでした
今後は隔離したネットワーク上で動作確認を行ってから設定変更を行い、このようなことが再発しないよう注意して作業を行います。

>>a10ee833
Linuxなら朔のキャッシュはこれで消せると思います

#!/bin/bash
for d in thread_*/record/; do
        pushd $d
        ls|awk -F_ '{print ($1+32400) "_" $2}'|xargs rm -f
        ls|wc -l|tr -d '\n' >../count.stat
        popd
done
7fa41cd9 anonymous 2016-01-31 16:41
>>547861a2
これだとタイムスタンプが新しいほうが削除されない?
うちのはタイムスタンプが古いほうが後で取得されてる。

(ju.db.core/get-records-by-short-id "0cca395c")
=>
({:tags nil,
  :suffix nil,
  :deleted false,
  :file-id 752,
  :stamp 1372423379,
  :remote-address nil,
  :dat-file-line "新月名無しさん<><>2013/06/28(金) 12:42:59 ID:0cca395c<>誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。",
  :size 291,
  :time-created #inst"2016-01-16T10:08:17.000000000-00:00",
  :record-short-id "0cca395c",
  :id 9237,
  :origin nil,
  :record-id "0cca395cde4d352e0e9f7f4eae2a2552",
  :body #object["[B" 0xeece1be "[B@eece1be"]}
 {:tags nil,
  :suffix nil,
  :deleted false,
  :file-id 752,
  :stamp 1372390979,
  :remote-address nil,
  :dat-file-line "新月名無しさん<><>2013/06/28(金) 03:42:59 ID:0cca395c<>誰かガルガンをレビューしてくれませんか。<br>映像を見る限り既存の設定満載で面白くなさそう、だが作画的には面白そうという<br>アンビバレントな感情を解決したいのです。",
  :size 291,
  :time-created #inst"2016-01-31T05:47:32.000000000-00:00",
  :record-short-id "0cca395c",
  :id 315536,
  :origin "balthazar.ygg.io:8880/server",
  :record-id "0cca395cde4d352e0e9f7f4eae2a2552",
  :body #object["[B" 0x21e3d448 "[B@21e3d448"]})
3a381675 anonymous 2016-01-31 16:50
>>7fa41cd9
仰るとおりでした
これでどうでしょうか

for d in thread_*/record/; do
        pushd $d
        ls -r|awk -F_ '{print ($1-32400) "_" $2}'|xargs rm -f
        ls|wc -l|tr -d '\n' >../count.stat
        popd
done

04a84b18 anonymous 2016-01-31 17:08
>>3a381675
良さげに見えるけど、自分はLinuxはサーバーをたまにいじるときにしか触らないので、もうちょっと詳しい人に聞いたほうがいいかも。
f2b116e1 anonymous 2016-01-31 17:19
DBをスキャンしたら重複レスが2万だって。なんとかなりそうだし、まあいいか。
e77a7d34 anonymous 2016-01-31 18:21
Linuxクラスターの需は復旧しました。Windowsの合は結構キャッシュが汚染されていたので停止しておきました。Windowsで動いている「新月@ゆぐちゃんねる」の朔は大丈夫そうだったのでそのままです。Que será, será.
45c0ec9f anonymous 2016-01-31 21:23
>>e77a7d34
ご迷惑をおかけしてしまい申し訳ございません
d4bcb4c4 anonymous 2016-02-01 04:17
>>45c0ec9f
まあ起きたことは仕方ないです。こういう出来事もP2Pネットワークの共同開発ならではですからね。次につなげていきましょう。
119f77f3 anonymous 2016-02-07 10:38
実装の過程で出来た成果物をnpmにパブリッシュしてやったぜ

https://www.npmjs.com/package/comp-cache
db2ceae2 anonymous 2016-02-08 12:41
新月の書き込みの勢いはゆっくりであるのに対し、スパムや不具合が発生した際には極端にレコードが変更されるという事を利用した免疫機能を追加しました
ただちょっと嫌な予感がするのでこれから改良する事になりそう
45ed93ce anonymous 2016-02-08 16:19
>>db2ceae2
それって、2ちゃんねるがトラブってる時にネタが降ってきて、実況民が引っ越してきたら
引っかかったりしないかな……。

まあ、ほぼないだろうなってレベルのお話ですけども。
2887e7d6 anonymous 2016-02-09 05:18
>>119f77f3
いいね! Node.jsでの開発も続いてたんだ。
新月の新実装もいろいろ出てきて結構嬉しい。
188f8631 anonymous 2016-02-09 10:22
実験中含めて、いま、いくつ実装あるの?

・朔(python)
・合(go)
・需(clojure/jvm)
・mika(node.js)
?
b335eb5a anonymous 2016-02-09 10:28
>>188f8631
mikaはPython+MySQLだったはず。Node.jsの人は別だよ。
025cd3dc anonymous 2016-02-09 11:00
node.jsのは私のですね
https://github.com/WhiteCat6142/syake
58c7df10 anonymous 2016-02-09 11:14
・朔(python)
・合(go)
・需(clojure/jvm)
・syake(node.js)
・mika(python+MySQL)
ということで
f67d0418 anonymous 2016-02-11 17:55
なんか合と相性悪いな
なんでだろう
1805b27a anonymous 2016-02-12 23:00
>>f67d0418
kwsk
f64c14c3 anonymous 2016-02-13 20:48
>>1805b27a
報告し忘れてたけどやっぱり/recentが原因でした
効率をよくするなら面倒くさいけど別に実装しなきゃだな
3fd366e0 anonymous 2016-02-13 21:58
>>ae13ca5b
[[【P2P】暗号通貨を使おう/7366b405]]
e7e5a809 anonymous 2016-02-16 10:12
>>f64c14c3
/recentは新月プロトコルのコマンドの中で一番手間がかかった気がする。
まあでも一度ちゃんと作ればあとは楽ができるよ。
211cadcc anonymous 2016-03-26 15:09
https://gist.github.com/koenbollen/464613
UDP Hole Punching 
05f7be61 anonymous 2016-03-26 21:23
>>211cadcc
Nice!👍
5aaceea8 anonymous 2016-05-11 01:06
トリップ付きデータは別途DBに保存しておいて、複数トリップでスレを横断して検索できるようになると嬉しいです。
Twitterでいうとユーザ名がトリップに対応して、以下のような感じです。
https://twitter.com/search?f=tweets&q=from:fixer_fx%20OR%20from:tomipapa%20OR%20from:25_500com%20OR%20from:Yuugiohkoku
こうすれば気になるトリップ使いのレスをまとめてTLとして読めて嬉しいです。

・匿名で投稿ができる(2ch)
・検索性に優れ、特定ユーザの投稿をまとめておける(Twitter)
が両立できるコミュニティが欲しいと思った一瞬でした。
新月の機能とは独立に検索用APIを作ってもいいと思いました。スレ汚し失礼しました。
2d0837c6 anonymous 2016-05-13 14:01
redditは匿名登録・投稿が容易なので、friend機能を併用すれば大体上のことは実現できそうでした。
でも新月に同じ機能があればより嬉しいです。
abb0c8e5 ◆/Meriken/. Dx6mQoOZ/Vs 2016-05-13 22:37
>>5aaceea8
これ面白そうですね。時間のあるときに実装しておきます。
cb834f4a anonymous 2016-08-19 11:55
harokuあたりでsyakeの公開ゲートウェイ作る計画再開しようかな(願望)
本当は大分昔に九割方出来てたんだけど新生活忙しくてずっと眠らせたままなんだよね
でも面倒だからいつかやる気ある時に進める
67778b80 anonymous 2016-08-22 22:42
よく2ちゃんブラウザ登録のやり方が分からないと言われる原因はなんだろう
host/gateway.cgiで登録出来ればいいのだろうか
一応server.cgiだけあれば通信に支障はないのでわざわざ朔に合わせなくてもよかったなと思った
4e4ba170 anonymous 2017-04-04 18:47
新月って何でこんなに重いの?
DBはしっかりインデックス貼っておけばそこまで重くならないはずだし
他ノードとの通信に時間掛かってる?
通信部分が重いなら、ネイティブ言語使う必要ないよね
5d192ee8 anonymous 2017-04-04 21:14
>>4e4ba170
重くはないと思うんだけど
85027fab anonymous 2017-04-04 21:32
朔が重いレベルのPCって最早モダンブラウザは動作しないのでは
シングルボードPCで動かしてるとかかな
47d256c9 anonymous 2017-04-04 22:26
ラズパイ1だとかなり重い
普通の鯖でもログ増えると重くなる
ちな合
64efcf89 anonymous 2017-04-04 23:12
>>47d256c9
だからそれはシングルコアだから
リッチなlinux動かしているんだから重いに決まっている
sakuの問題ではない
fd1a48d7 anonymous 2017-04-04 23:20
node.js+express+mongodbで公開ノード用APIサーバー作ろう
なるべく機能制限がない奴(新着レス表示とか)
07f91019 anonymous 2017-04-05 13:06
製作中
https://github.com/kgtkr/n-getsu
547ea008 anonymous 2017-04-05 13:42
>>07f91019
頑張れー
580fc996 anonymous 2017-04-05 15:43
P2Pは全ての情報が信頼出来ないから大変だ
TwitterのAPI叩いたりするのと比べて値チェックが多すぎる

あとプロコトルの仕様が特殊なんだよな
例えば「ノード名のパスの"/"を"+"に置き換えてリクエスト」とか
URLエスケープじゃ対応出来ないから、手動でしないといけないし
d2183686 anonymous 2017-04-05 15:51
expressのパラメータじゃ%20と+の区別出来ないんだけどどうすれば…
2dda71b5 anonymous 2017-04-05 16:05
あっ+はそのまま+として出るのか
やっぱり大丈夫だった
9306fd19 anonymous 2017-04-05 23:16
合のDBファイルって中見れないようになってる?
パスワード要求されるんだけど
2f9225b3 anonymous 2017-04-05 23:47
SQLiteじゃなくてboltdb?っていう奴使ってるのか
89db0fd5 anonymous 2017-04-06 16:32
署名の部分が難しすぎて全く分からない…
signをpubkeyで復号化すればいいの?
82b03b3d anonymous 2017-04-06 20:55
>>89db0fd5
nodejsならこんな感じ
https://github.com/WhiteCat6142/syake/blob/master/syake/apollo.js
412968b8 anonymous 2017-04-06 21:59
>>82b03b3d
サンクス
8d56e6ec anonymous 2017-04-06 22:56
>>89db0fd5
http://shingetsu.info/protocol/protocol-0.5-2.pdf
9章あたり
d79610fd anonymous 2017-04-06 22:59
>>89db0fd5
新月の署名は独特なので、とりあえずコードをコピって、
あまり深入りしなくていいと思う。
署名・暗号の基本知識は手に入れておいても損はない。

不良品の新実装作者より。最近更新なくてごめんなさい。
7c9de3d1 anonymous 2017-04-06 23:13
>>8d56e6ec
それ読んだけどよく分からなかった

>>d79610fd
あ、新月って独自なのね
だからnpmに1関数で出来るようなコマンドがないのか
署名・暗号は
xy=z
で何かするって事くらいしか分からない
24f550ec anonymous 2017-04-06 23:14
本当文字列解析大嫌い
全部の通信がJSONかXMLだったら楽なのに
9499b975 anonymous 2017-04-07 00:01
新月の署名は超旧式だからな
rsa2048-sha2とかならデフォルトライブラリで処理できる筈なんだよ

>>24f550ec
それ思うけどそれ変えちゃうともう新月ではなくなってしまうという…
c6664bde anonymous 2017-04-07 00:10
>>9499b975
新月が出来たの2003年の夏だったのか
JSONとかになったら確かに新月じゃなくなるな

あとn-getsuプロジェクト少し進んだ
ce1f5b34 anonymous 2017-04-07 17:10
今署名機能を入れるなら表示はビットコインのアドレスみたいな感じになるのかな?
署名された書き込みのデータを公開鍵であるトリップを使って検証
秘密鍵は署名欄に入れる文字列
74f426b0 anonymous 2017-04-08 20:17
結構ドキュメントと違った動作するAPI多くて困惑…
例えば/joinは、「WELCOME」or「WELCOME\nノード名」じゃなくて「WELCOME\n」or「WELCOME\nノード名\n」返すし
改行入るとか聞いてない
2068679c anonymous 2018-10-06 08:11
ドキュメントと違う動作するのは困るね
某プロジェクトではドキュメントの更新を怠って仕様に無い動作をする事があって糞と思う事がある
まぁ離れられないのだが
1cf4910c anonymous 2018-10-08 00:34
ここでPythonの質問してもいい?
新スレ建てても他から見えないんだよね
同じPython関係だし無関係とは言い切れない
7b15e699 anonymous 2018-10-08 09:56
>>1cf4910c
他のノードの管理者が新スレを取得しないと見えない
99369054 anonymous 2018-10-08 11:08
>>7b15e699
なるほど、確かにその実装だとBotによるスレ立て汚染を防げる
管理者不在のP2Pの性質からも適してそうだ
内輪で終始一貫するならいいが、一方で新規参入の妨げになりそう
6eed5b41 anonymous 2018-10-08 11:16
>>99369054
まあその場合は [[メニュー]] に貼るか、
他のスレで宣伝するか。
2e8aa5e6 anonymous 2018-10-08 11:56
>>6eed5b41
新月は面白い実装だから埋もれてほしくないな
[[メニュー]]スレや主要なスレをデフォルトでトップに示すといいかもしれない
新規で来た自分には慣れるまで時間かかりそうだ

Top of this page. | 0 1 2 old>>

limit: 15360KB

(新月実装開発部/256/0.8MB)

Powered by shinGETsu.