誤変換を集める #74

tokuhirom · 2023-01-11T02:08:02Z

tokuhirom
Jan 11, 2023
Maintainer

なにか誤変換が起きるケースがあれば集めましょう

tokuhirom · 2023-01-11T03:34:13Z

tokuhirom Jan 11, 2023
Maintainer Author

集めましょう
集め    動詞,自立,*,*,一段,連用形,集める,アツメ,アツメ
ましょ  助動詞,*,*,*,特殊・マス,未然ウ接続,ます,マショ,マショ
う      助動詞,*,*,*,不変化型,基本形,う,ウ,ウ
EOS

助動詞をまとめて学習しておいたほうが良さそう。「助動詞+助動詞」をまとめて登録すべきか？

tokuhirom · 2023-01-14T13:54:21Z

tokuhirom Jan 14, 2023
Maintainer Author

集め/魔性になるケースもある。

tokuhirom · 2023-01-14T13:56:51Z

tokuhirom Jan 14, 2023
Maintainer Author

「集めましょう」は複合語化されているのだが、「集めましょう」のコーパス内での頻度が少なすぎるために語彙に登録されていない。どうしたらいいかなぁ。手動で一旦コーパスに登録すれば解決はするんだけど。

tokuhirom · 2023-01-16T14:33:05Z

tokuhirom Jan 16, 2023
Maintainer Author

https://github.com/tokuhirom/akaza/blob/master/akaza-data/corpus/should.txt コーパスに足して解決。。

tokuhirom · 2023-01-11T02:24:35Z

tokuhirom Jan 11, 2023
Maintainer Author

既/すんで 2452 になっていて、妙に頻度が高い。
「既製品」などが「既/すんで製品/せいひん」になっている。

unidic だと「既製品」は「既製/きせー品/ひん」になっていて問題がない。
http://www4414uj.sakura.ne.jp/Yasanichi1/unicheck/

mecab-user-dict.csv に追加が必要かも

tokuhirom · 2023-01-14T14:10:10Z

tokuhirom Jan 14, 2023
Maintainer Author

既に解決済み 52d927a

tokuhirom · 2023-01-11T15:50:48Z

tokuhirom Jan 11, 2023
Maintainer Author

青空文庫に出てくるキャラクターの名前っぽい。こういうのは除外しないとダメだなぁ。
ただ、こういうのが出てきたとて、ニナ/がして より に/流して のほうが通りそうなもんなんだよなぁ。
このへんのスコアがどうなってるかの調査をちゃんとすぐにできるようにする必要がある。

tokuhirom · 2023-01-12T00:52:56Z

tokuhirom Jan 12, 2023
Maintainer Author

ニナ、のようなカタカナの2文字のものに関してはノイズになっている可能性が高いので、明示的に除外するほうが良さそう。
ipadic かなにかと突き合わせて、登録されていないものは除外する、とか。
例えば、「タイ」は国名なので登録されていてもいいと思うので。

tokuhirom · 2023-01-14T06:46:48Z

tokuhirom Jan 14, 2023
Maintainer Author

二文字のカタカナを一旦除外するヒューリスティックをいれた

tokuhirom · 2023-01-14T14:10:49Z

tokuhirom Jan 14, 2023
Maintainer Author

再現せず。

omasanori · 2023-01-16T15:27:29Z

omasanori Jan 16, 2023

昔の日本語能力試験の出題基準からカタカナ語リストを抽出している人が。

http://www7a.biglobe.ne.jp/nifongo/data/index.html

omasanori · 2023-01-16T15:33:50Z

omasanori Jan 16, 2023

Wiktionaryのダンプデータは使い道がありそう。

tokuhirom · 2023-01-16T15:37:33Z

tokuhirom Jan 16, 2023
Maintainer Author

アグリゲーション、は unidic にものっていたので良いかも。
unidic はライセンスが BSD なので。

tokuhirom · 2023-01-17T00:08:23Z

tokuhirom Jan 17, 2023
Maintainer Author

カタカナ語は一般的にSKK辞書には登録されていない。
辞書に登録されていないと、トライに入らないので文節区切りの候補にならないので候補に入れる必要がある。

tokuhirom · 2023-01-17T01:50:01Z

tokuhirom Jan 17, 2023
Maintainer Author

#156 で対応済み。

tokuhirom · 2023-01-14T13:42:39Z

tokuhirom Jan 14, 2023
Maintainer Author

https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%BC%E3%83%A9%E3%83%AB3%E4%B8%96_(%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E7%8E%8B)
で、雌鳥王（ヘン[[2]](https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%BC%E3%83%A9%E3%83%AB3%E4%B8%96_(%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E7%8E%8B)#cite_note-Morby97-2)、[デンマーク語](https://ja.wikipedia.org/wiki/%E3%83%87%E3%83%B3%E3%83%9E%E3%83%BC%E3%82%AF%E8%AA%9E): Hen） という表記があるので、これを拾ってそう。

tokuhirom · 2023-01-14T13:52:45Z

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom/jawiki-kana-kanji-dict@0750c90 で対応済み。そのうち取り込まれるでしょう。

tokuhirom · 2023-01-16T14:47:47Z

tokuhirom Jan 16, 2023
Maintainer Author

jawiki-kana-kanji-dict をそもそも読まないことにしたので問題解決した。

tokuhirom · 2023-01-18T14:37:52Z

tokuhirom Jan 18, 2023
Maintainer Author

出せたらいいよな
出せ    動詞,自立,*,*,一段,連用形,出せる,ダセ,ダセ
たら    助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ
いい    形容詞,自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
よ      助詞,終助詞,*,*,*,*,よ,ヨ,ヨ
な      助詞,終助詞,*,*,*,*,な,ナ,ナ
EOS

mecab+ipadic ではこうなる。

tokuhirom · 2023-01-18T14:40:36Z

tokuhirom Jan 18, 2023
Maintainer Author

形容詞+助詞(終助詞)+助詞(終助詞) を複合語化した方が良さそう。

tokuhirom · 2023-01-18T23:48:33Z

tokuhirom Jan 18, 2023
Maintainer Author

それはそれとして、一旦コーパスに入れて解決。

This comment has been hidden.

Sign in to view

誤変換を集める #74

Uh oh!

tokuhirom Jan 11, 2023 Maintainer

Replies: 8 comments · 23 replies

This comment has been hidden.

Uh oh!

tokuhirom Jan 11, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 16, 2023 Maintainer Author

This comment has been hidden.

Uh oh!

tokuhirom Jan 11, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

This comment has been hidden.

Uh oh!

tokuhirom Jan 11, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 12, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

This comment has been hidden.

This comment has been hidden.

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

This comment has been hidden.

Uh oh!

omasanori Jan 16, 2023

Uh oh!

omasanori Jan 16, 2023

Uh oh!

tokuhirom Jan 16, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 17, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 17, 2023 Maintainer Author

This comment has been hidden.

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 14, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 16, 2023 Maintainer Author

This comment has been hidden.

Uh oh!

tokuhirom Jan 18, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 18, 2023 Maintainer Author

Uh oh!

tokuhirom Jan 18, 2023 Maintainer Author

tokuhirom
Jan 11, 2023
Maintainer

Replies: 8 comments 23 replies

tokuhirom Jan 11, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 16, 2023
Maintainer Author

tokuhirom Jan 11, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 11, 2023
Maintainer Author

tokuhirom Jan 12, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 16, 2023
Maintainer Author

tokuhirom Jan 17, 2023
Maintainer Author

tokuhirom Jan 17, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 14, 2023
Maintainer Author

tokuhirom Jan 16, 2023
Maintainer Author

tokuhirom Jan 18, 2023
Maintainer Author

tokuhirom Jan 18, 2023
Maintainer Author

tokuhirom Jan 18, 2023
Maintainer Author