Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей.
Здесь обсуждаются безопасность, программирование, технологии и многое другое.
Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
 |
|
[php] Работа с "Русским языком" |

03.02.2010, 14:07
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме: 6462214
Репутация:
3171
|
|
[php] Работа с "Русским языком"
Занялся я тут значит, изучением ИИ(искусственный разум),ну и естественно натолкнулся на НС(нейронные сети),покопав в ту сторону,я понял, что тема - аху#$%^& и интересная.начал думать,на чем бы проводить свои "испытания", создал однослойную нейронную сеть(есесно на php), и начал ей разгадывать судоку.ну шикарно просто, 80% из 100% отгаданы верно.Но времени требуется ууууууу.
Мне это быстро надоело,я же уже обучил своего питомца распознавать линии,квадаратики и буковки в матрице,и мне захотелось чего то умнее,связанного с ИИ.
Ну и пришло мне в голову, что проще всего будет испытывать ICQ-бота.
Нарисовал план работ,что и как,и тут,проблема гигантская.
Подумав,я понял,что мой бот не должен работать по принципу "only regexp@",а должен распознавать предложения на основе их строения,морфологии.И самой первой задачей,является поиск подлежащего и сказуемого.Сколько я бился над этой проблемой....Как же найти основу любого предложения? Как это реализовать? Какой алгоритм придумать? Ничего я не придумал,кроме как, работать с гиганскими словарями,и искать там слова,смотреть что это,существительное,прилаг ательное,и на основе этих данных выносить процентный коэф. важности слов.Но это уже больше обычная рутинная работа скрипта,а хочется ума.
Собственно,основной вопрос я поставлю немного иначе:
Как найти в предложении существительное? Как узнать,что слово существительное?
Жду ваших идей,какими бы методами пользовались вы? Есть жжелание отказаться полность от работы с интернетом, во время разбора предложения,то есть никаких "ЯндексСловарей" быть не должно.Онли то,что лежит на харде.Ваши мнения.
|
|
|

03.02.2010, 14:16
|
|
Участник форума
Регистрация: 31.01.2010
Сообщений: 170
Провел на форуме: 1442841
Репутация:
63
|
|
падежные окончания + обычно существительные заканчиваются на "а,я"(но могут попасться и деепричастия) и окончание на согласную.
мб проканает в нескольких случаях
|
|
|

03.02.2010, 14:18
|
|
Участник форума
Регистрация: 20.08.2008
Сообщений: 137
Провел на форуме: 2607957
Репутация:
184
|
|
Словарный запас твоему боту полюбому понадобится, ещё можно покопать разбор слов на составляющие: приставка, корень, суффикс, окончание. В общем без учебника тут никуда.
|
|
|

03.02.2010, 14:18
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме: 6462214
Репутация:
3171
|
|
Сообщение от Compton
падежные окончания + обычно существительные заканчиваются на "а,я"(но могут попасться и деепричастия) и окончание на согласную.
мб проканает в нескольких случаях
Принимается,было бы отлично собрать несколько алгоритмов.Поиск по интернету не дал нужных плодов Ж(
|
|
|

03.02.2010, 14:19
|
|
Super Moderator
Регистрация: 08.11.2004
Сообщений: 3,395
Провел на форуме: 13166814
Репутация:
3876
|
|
ничего себе задался вопросом) лучшие умы не могут решить эти вопросы как ИИ сделать, а ты на php решил) ещё и просишь помощи у ачатовцев) имхо, масштабно очень.. тут думать надо.. и много).
|
|
|

03.02.2010, 14:22
|
|
Участник форума
Регистрация: 20.08.2008
Сообщений: 137
Провел на форуме: 2607957
Репутация:
184
|
|
Сообщение от Rebz
ничего себе задался вопросом) лучшие умы не могут решить эти вопросы как ИИ сделать, а ты на php решил) ещё и просишь помощи у ачатовцев) имхо, масштабно очень.. тут думать надо.. и много).
ИИ и говорящий бот это разные вещи
|
|
|

03.02.2010, 14:22
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме: 6462214
Репутация:
3171
|
|
Сообщение от Dr1ver
Словарный запас твоему боту полюбому понадобится, ещё можно покопать разбор слов на составляющие: приставка, корень, суффикс, окончание. В общем без учебника тут никуда.
Хохо) В чем вся соль идеи,у бота исзначально не будет "готовой базы" для разговора.Кратко(оочень кратко) о своих мыслях:
Есть куча словарей,ожигов,даль,,и вообще большая куча готового материала.Предложение будет собираться на лету,и писать в бд,ну и выдаваться пользователю.оесть,бот будет определять,что ха предложение,какие виды речи в нем дминируют,выносить процентный коэф. важности слов,относительно предложения и кол-ва их в словаре,и собираться предложение.Но для этого необходимо хотя самое простое,найти все существительные,затем прилагательные,затем выделить ГЛАВНЫЕ слова(подл.,сказуемое).В мыслях - все работает отлично,на практике - нехватает ума,для организации таких алгоритмов,а точнее их выдумки.
|
|
|

03.02.2010, 14:26
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме: 6462214
Репутация:
3171
|
|
Сообщение от Rebz
ничего себе задался вопросом) лучшие умы не могут решить эти вопросы как ИИ сделать, а ты на php решил) ещё и просишь помощи у ачатовцев) имхо, масштабно очень.. тут думать надо.. и много).
Нижний пост глаголит истину.Тут все сводиться к чем? Правильно,к составлению более менее верного предложения.Я не хочу чтобы бот разговаривал литературным языком,хотя бы "Собака сидеть дом кирпичный",то есть приближено верно по смыслу.Далее уже будет дело за обучением,и есть еще одна вещь,о которой многие забывают,и в ботах она не реализована,а именно обучения с помощью клиентов.Не то,когда он пишет все фразы юзера в бд,а совсем другое.Но это я тут описывать не буду,тот кому интересно сам найдет статьи и книги в интернете,как это сделал я.
И я совершенно не претендую на прохождение теста Тьюринга.
|
|
|

03.02.2010, 14:27
|
|
Участник форума
Регистрация: 27.02.2007
Сообщений: 117
Провел на форуме: 2042431
Репутация:
64
|
|
классная идея)
мб сделать мега базу по существительным,глаголам и прочим... сделать типа вики,чтобы клиенты сами помогали или исправляли,а так врятли получится чтобы по алгоритму определял часть речи(
|
|
|

03.02.2010, 14:32
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме: 6462214
Репутация:
3171
|
|
Сообщение от Bmite
классная идея)
мб сделать мега базу по существительным,глаголам и прочим... сделать типа вики,чтобы клиенты сами помогали или исправляли,а так врятли получится чтобы по алгоритму определял часть речи(
Идея с вики - ацтой.Есть уже готовое решение этой проблемы,есть у меня реализация с прямым обучением от человека,а не косвенным,причем без каких либо затрат со стороны учителя.Базы - есть словари.Но это пока что мало что дает,их нужно еще правильно организовать.А для начала нужно придумать алгоритм выделения существительных(хотябы),а уже затем думать над хранением данных в словаре,исходя из алгоритмов.
|
|
|
|
 |
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|