С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 16:35 |
Срочно ищется один(1) тестер мощного англоязычного синонимизатора, оставляющего текст читабельным.
Требования:
1. Хорошее знание английского.
2. Хорошая известность на форумах Umax/Master-X/Armada
3. Наличие опыта работы с другими синонимизаторами.
Задача:
1. Потестировать сервис, а затем высказать свое мнение относительно него.
2. Описать свое мнение относительно синонимизатора на форумах (Umax/Master/Armada)
Бонус:
Хорошая скидка на дальнейшее приобретение этого синонимизатора.
ICQ: 66-0-272
|
|
|
|
С нами с 01.12.04
Сообщения: 90
Рейтинг: 48
|
Добавлено: 27/01/08 в 17:46 |
А можно принцип работы синонимизатора описать? Думаю я тогда сразу смогу сказать своё квалифицированное мнение по качеству текста.
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 19:20 |
1. Система синонимизации для каждого слова в предложении определяет его часть речи (существительное/прилагательное/глагол/и т.д.), а также число, время и другие параметры.
2. Далее система определяет смысловое значение слова. Тоесть в каком смысле используется это слово в конкретном данном предложении.
3. Затем ищутся сходные по смыслу слова-синонимы.
4. Если такие слова существуют, то выбирается одно случайное слово.
5. Далее это слово морфологически модифицируется с целью придания ему тех же параметров первоначального слова (время/число/и т.д.)
6. Первоначальное слово заменяется полученным словом.
|
|
|
|
С нами с 27.09.05
Сообщения: 56
Рейтинг: 1
|
Добавлено: 27/01/08 в 19:42 |
del
Последний раз редактировалось: Netmask (07/02/14 в 14:45), всего редактировалось 1 раз
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 19:47 |
Netmask писал: | Гы. Описание это одно, а как оно будет реализовано - дело совсем другое. ТОпегстартер... а публичного тестинга не планируется ли? Я бы потестил, даже могу гарантировать положительный отзыв... скорее всего... за вклад в научные достижения, так сказать... |
Стукнись в асю.
|
|
|
|
С нами с 01.12.04
Сообщения: 90
Рейтинг: 48
|
Добавлено: 27/01/08 в 20:12 |
Для английского языка морфологию можно смело убрать, её там почти нет. Как ищутся сходные по смыслу слова, по какому словарю? Свой словарь или один из этих: http://alexf.name/2007-08-15/sinonimajzer/ ?
Как решается проблема, если найденное в словаре слово считается синонимом заменяемого но никогда не используется в данном конкретном контексте? Как выбирается, какие слова будут заменяться, а какие нет?
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 20:28 |
alexf2000 писал: | Для английского языка морфологию можно смело убрать, её там почти нет. |
Ок. Вот такой "адалтовый" пример:
Слово "fucking".
Это может быть существительное (название процесса).
Это может быть прилагательное (Какой? ебн#тый)
Это может быть глагол (present participle от fuck)
У существительного - свой набор синонимов. У прилагательного - свой. У глагола - свой. И как прикажете быть без морфологии?
Одним из исходных словарей был WordNet. Остальные палить не буду. Да и нет их в открытом доступе в нете. Процесс определения смысла слов и поиска сходных по смыслу синонимов - это мое "ноухау". Да и не поместится все объяснение в рамках форума. Нужны картинки, графики и тд.
alexf2000 писал: | Как решается проблема, если найденное в словаре слово считается синонимом заменяемого но никогда не используется в данном конкретном контексте? |
Приведите пример.
alexf2000 писал: | Как выбирается, какие слова будут заменяться, а какие нет? |
Те слова, к которым были найдены полноценные смысловые синонимы - заменяются. Существует также возможность указания слов-исключений, которые ни при каких обстоятельствах не будут заменены на синонимы.
|
|
|
|
С нами с 22.01.08
Сообщения: 2
|
Добавлено: 27/01/08 в 20:31 |
Представляю как в скорости интернет заполнят тексты со старословянскими словами, специальными или диалектными выражениями
Умные люди мыслят в одинаковом направлении
|
|
|
|
С нами с 25.12.03
Сообщения: 1003
Рейтинг: 462
|
Добавлено: 27/01/08 в 21:33 |
здесь про прилатательное и глагол то никогда не слышали, а ты сразу синонимизатор синонимизатор, загрузил
|
|
|
|
С нами с 13.01.03
Сообщения: 6109
Рейтинг: 1962
|
Добавлено: 27/01/08 в 21:34 |
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 21:45 |
begemot писал: | здесь про прилатательное и глагол то никогда не слышали, а ты сразу синонимизатор синонимизатор, загрузил |
Я сам не особо во всем этом разбирался, пока не взялся за этот синонимизатор ;)
|
|
|
|
С нами с 27.09.05
Сообщения: 56
Рейтинг: 1
|
Добавлено: 27/01/08 в 21:46 |
del
Последний раз редактировалось: Netmask (07/02/14 в 14:45), всего редактировалось 1 раз
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 21:48 |
Именно он
Решил еще немного доработать. А тут новая база данных подоспела. Пришлось все базы заново пересобирать. А тут новый год. Все мы люди
А вообще доработка софта во славу его качества еще не вредила.
|
|
|
|
С нами с 13.01.03
Сообщения: 6109
Рейтинг: 1962
|
Добавлено: 27/01/08 в 21:49 |
Netmask писал: | Ну, я посмотрел предварительную версию - достаточно интерестно. Типа продукт вырисовывается неплохой. Так что не гоните на топегстартера особо, когда все будет работать как часы вы увидите восход новой звезды синонимайзинга, убийцу гугла!
Не на самом деле - мне уже интерестно/ |
Да, ТС мыслит в верном направлении имхо, во всяком случае явно вник в проблематику, к которой другие продукты даже близко пока не подошли.
Но учитывыя предновогоднюю лажу с несостоявщейся продажей того что теперь оказывается требует тестирования, как-то теперь поубавилось желания покупать при таком несерьезном отношении к делу... Хотя поглядим.... Мысли, повторюсь, верные...
Последний раз редактировалось: Man (27/01/08 в 21:51), всего редактировалось 1 раз
|
|
|
|
С нами с 13.01.03
Сообщения: 6109
Рейтинг: 1962
|
Добавлено: 27/01/08 в 21:50 |
SEOcar писал: | Именно он
Решил еще немного доработать. А тут новая база данных подоспела. Пришлось все базы заново пересобирать. А тут новый год. Все мы люди
А вообще доработка софта во славу его качества еще не вредила. |
Говно вопрос
Смотреть когда можно будет?
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 21:52 |
Man писал: | Смотреть когда можно будет? |
Результаты или готовую версию?
|
|
|
|
С нами с 13.01.03
Сообщения: 6109
Рейтинг: 1962
|
Добавлено: 27/01/08 в 22:09 |
SEOcar писал: | Результаты или готовую версию? |
То что можно будет купить
|
|
|
|
С нами с 01.12.04
Сообщения: 90
Рейтинг: 48
|
Добавлено: 27/01/08 в 22:16 |
Ок, если нельзя сказать как именно ищутся слова, поставлю вопрос по другому. В синонимайзере число синонимов для какого-нибудь произвольного слова больше чем их есть в ворднете или меньше?
Пример когда слово являющееся синонимом, неправильно заменяется в контексте:
director on the board - что-то вроде председатель правления
director on the card - бред, несмотря на то, что board в значении "карты" является синонимом слова card как карта
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 22:20 |
Man писал: | То что можно будет купить |
Меня сейчас очень интересует уровень качества. Если он является приемлемым, то очень скоро
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 22:37 |
alexf2000 писал: | Ок, если нельзя сказать как именно ищутся слова, поставлю вопрос по другому. В синонимайзере число синонимов для какого-нибудь произвольного слова больше чем их есть в ворднете или меньше? |
Столько же. Потому что Wordnet является эталоном для подобных систем.
alexf2000 писал: | Пример когда слово являющееся синонимом, неправильно заменяется в контексте:
director on the board - что-то вроде председатель правления
director on the card - бред, несмотря на то, что board в значении "карты" является синонимом слова card как карта |
Здесь все очень просто.
Слово "board" имеет 9 значений как существительное и 4 значения как прилагательное. Мы определяем, что в предложении "director on the board" board является существительным.
Далее мы определяем, что в данном предложении под словом "board" подразумевается следующий смысл: a committee having supervisory powers; "the board has seven members"
Далее смотрим синонимы этого смысла:
В данном случае это только одно слово "board".
Значит мы не можем заменить это слово на какое либо другое, поскольку их просто напросто нет (нет в словаре, хотя могут существовать в реальности).
|
|
|
|
С нами с 01.12.04
Сообщения: 90
Рейтинг: 48
|
Добавлено: 27/01/08 в 23:12 |
SEOcar писал: | Столько же. Потому что Wordnet является эталоном для подобных систем. |
Ок, ответ понятен.
SEOcar писал: | Далее мы определяем, что в данном предложении под словом "board" подразумевается следующий смысл: a committee having supervisory powers; "the board has seven members" |
Интересно каким образом определяется, что смысл именно этот, а не какой-то другой из 9 возможных?
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 23:15 |
alexf2000 писал: | Интересно каким образом определяется, что смысл именно этот, а не какой-то другой из 9 возможных? |
А вот это и есть главная задача, которую я решил
|
|
|
|
С нами с 01.12.04
Сообщения: 90
Рейтинг: 48
|
Добавлено: 27/01/08 в 23:20 |
Тогда по идее должно хорошо заменять. Но если число возможных синонимов строго соответствует тому что есть в воднете, то может всё равно работать не вполне правильно, например заменяя слова на какие-то странные синонимы, типа поэтических или устаревших слов, хотя и имеющие тот же смысл.
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 23:24 |
alexf2000 писал: | Тогда по идее должно хорошо заменять. |
ИМХО это единственно правильный путь.
alexf2000 писал: | Но если число возможных синонимов строго соответствует тому что есть в воднете, то может всё равно работать не вполне правильно, например заменяя слова на какие-то странные синонимы, типа поэтических или устаревших слов, хотя и имеющие тот же смысл. |
Есть такая проблема. Но все эти "поэтические" синонимы просто со временем будут помечены как не учавствующие в выборе синонимов. Тоесть нормальное слово не может быть синонимизировано на "поэтическое", но "поэтическое" может быть синонимизированно на нормальное.
|
|
|
|
С нами с 20.11.07
Сообщения: 148
Рейтинг: 3
|
Добавлено: 27/01/08 в 23:38 |
Концепция и политика распространения
Данный синонимайзер я создавал преимущественно для собственных нужд. Однако принял решение о продаже нескольких его копий. База данных синонимайзера и сам алгоритм синонимизации содержат многие мелкие косяки, которые я буду со временем устранять. Устранить их все в сжатые сроки просто не реально, поскольку база данных содержит сотни тысяч слов, которые очень тесно связанны друг с другом различными связями. Сам алгоритм синонимизации имеет очень много эвристических моментов, поэтому оттестировать его на различных текстах также довольно сложно. Со временем я буду фиксить все эти моменты для себя. Все обновления (как базы данных, так и самого алгоритма) будут бесплатно доступны для тех, кто приобретет сие творение.
Поскольку количество синонимов на каждое слово ограничено, то при росте количества синонимизированных вариантов одного и того же текста начинает расти и вероятность появления дублей. Причем вероятность роста дублей будет одинакова для всех владельцев синонимизатора. В связи с этим будет применяться "сдерживающая" политика распространения: чем больше копий будет продано, тем выше будет цена.
|
|
|
|