Android wakelock

Всем привет. Изучаете Андроид дальше? Все правильно делаете. Что там у нас сегодня? А сегодня у нас программа MTK NLP Service (com.mediatek.nlpservice, NlpService.apk), мы должны выяснить что это за программа. Значит первое что я вижу, это то, что в названии программы есть MTK, а это что? Это ребята процессор. Возможно что это программа серьезная и нужная. Ладно, смысл гадать, иду искать в интернете по скрытым каналам…

Значит вот читаю, что MTK NLP Service это минимальный набор для работы Gapps. Блин, я думал что Gapss это какая-то редкая дичь, а это расшифровывается как Google Apps. То есть это гугловские службы, которые нужны чтобы юзер мог пользоваться гугловскими сервисами, например Gmail, Ютуб, Гугл Диск ну и остальное. Получается что MTK NLP Service это все таки важная программа.

Ладно, копаю интернет дальше. Вот один чел пишет на форуме, что MTK NLP Service отвечает за получение координат по сети, но тут имеется ввиду не GPS. И говорит что отключить можно, однако сам чел не советует отключать =)

Вроде я понимаю почему люди интересуются что такое MTK NLP Service. Короче ребята, вроде эта программулина может кушать батарею прилично. Если у вас такая ситуация, то можно отключить, но я знаете что советую, я советую не отключать, а заморозить! Для этого лучше всего подходит Titanium Backup, годная прога я вам скажу.

Ребята, я тут нашел картинку в тему, но сразу предупреждаю какая была такая картинка такую и взял, лучшего качества нет:

Вот видите, тут написано, что MTK NLP Service используется для определения вашего местоположения при помощи мобильной сети или же вай фай. И потом эти данные, ну то есть ваше местоположение, то оно может использоваться другими прогами, например Google Now. Ну да, понятно не очень, но из этого всего я лично понял, что MTK NLP Service не является критически важной прогой.

Вот один чел пишет, что у него приложение MTK NLP Service просто взбесилось! То есть все было нормально а потом бац приложение начало страшно кушать батарею. Ну короче чел сделал перезагрузку и все прошло. Я думаю что у человека MTK NLP Service начал узнавать местоположение, однако я вот подумал, а сколько процесс сбора координат длится? Хм, вот этой инфы я не нашел. Конечно, если уходит на это дело минут десять-двадцать, то зачем оно нужно при таком раскладе.

Еще я выяснил, вот смотрите, в названии проги есть такое как NLP, так вот, это расшифровывается как Network Location Provider. Ну это так бы сказать на заметочку господа вам.

Еще важная инфа. Если вы кому-то из Gapps запрещали доступ к геоданным, то MTK NLP Service будет постоянно пытаться их получить, и как результат, будет много израсходовать батарею. Вот в чем прикол.

Вот я нашел картинку, смотрите, тут под MTK NLP Service написано такое как Low battery use:

С английского переводится типа что приложение мало кушает батарею. И видимо так и должно быть.

Вот еще одна картинка, но не совсем понятно, тут напротив MTK NLP Service написано 990 раз:

Это что, столько раз прога запускалась? Ну это много. Хотя если за все время, то может и норм…

А вот еще одна картинка, на которой видно, что морозить приложение все таки можно:

Так, теперь давайте подумаем в итоге. MTK NLP service это нужно для местоположения, которое узнается без GPS. Второе, это то, что удалять эту штуку нельзя. Третье, обычно проблемы бывают из-за того, что кому-то из Gapps был запрещен доступ к местоположению, в итоге MTK NLP Service постоянно пытается это местоположение получить. Ну и в четвертых, в теории MTK NLP service можно морозить, ну попытаться точно можно.

На этом все ребята, удачи вам и чтобы все было у вас нормалек!

Даже когда ничего не происходит, этот системный процесс, похоже, использует устойчивую 1-2% от CPU. В течение дня это истощает значительное количество батареи, даже если устройство не использовалось ни для чего. Я не смог сопоставить его с другими приложениями, потому что даже когда они использовали только несколько секунд времени процессора каждый в течение нескольких часов, этот процесс использует минуты.

Он все еще работает, даже если я:

  • отключить WiFi
  • отключить BlueTooth
  • отключить службы определения местоположения
  • отключить все, кроме минимальной синхронизации (например, GMail)

Я написал небольшое тестовое приложение, которое отслеживает /proc/<pid>/stat каждые 10 мс и записывает в logcat в любое время com.google.android.gms.persistent, надеясь, что он напишет что-то для логарифма, который бы точно определял, какое приложение или другая служба использует «постоянный» для своего Сервисы. Я не вижу многого, но вот несколько вещей, которые я видел:

InputReader: Reconfiguring input devices. changes=0x00000010 WifiService: acquireWifiLockLocked: WifiLock LocationFilter: Forcing stable location. Original location:Location

Каждая строка выше была в другое время, непосредственно предшествующее (в течение 10 мс) сообщение журнала, определяющее использование ЦП с помощью com.google.android.gms.persistent, но без какой-либо четкой индикации того, связано ли это. К сожалению, ни один из вышеприведенных отчетов не превышает 10 мс времени процессора, и поэтому — даже если точное обозначение того, что использует «постоянный», представляет собой лишь небольшую часть используемого времени процессора.

Другие попытки исследования того, что использует этот процесс, предложили различные вещи (например, носимые), которых у меня нет, и никогда не подключались к моему устройству.

Что такое этот процесс? Я ищу эту информацию напрямую, или для дополнительных способов я могу вывести эту информацию, подобную моим попыткам с помощью logcat.

Обновление 2: я отключил все синхронизации в разделе «Настройки» → «Аккаунты». Это, по-видимому, снижает загрузку процессора немного больше, и падение батареи, кажется, упало до обхода — за исключением периодически com.google.android.gms.persistent все еще, кажется, занимает пакет CPU.

Моя рабочая теория теперь заключается в том, что она имеет тревогу, которая срабатывает примерно через 60 секунд независимо от того, нужна она или нет, и этот код проверяет работу синхронизации, и если ничего не нужно синхронизировать, он отказывается от и сразу же перейдет в режим ожидания. Тем не менее, я на полпути не могу поверить, что такой ужасный дизайн будет использоваться, поскольку все, что просыпает процессор каждую минуту, обязательно разряжает батарею намного быстрее, даже если она просто заснет и почему будет использоваться опрос вместо чего что-то прерывается для синхронизации в любом случае?

Насколько я могу судить (из-за того, что не смог найти его), исходный код для com.google.android.gms.persistent не является открытым исходным кодом или доступен в Интернете в любом месте. Если я ошибаюсь, я бы принял в качестве ответа на мой вопрос, любой ответ, который будет указывать на исходный код, поскольку я мог бы просмотреть его и определить для себя, почему использование ЦП.

Эта статья не претендует на уникальность, однако советы представленные в ней действительно могут помочь заставить телефон жить на аккумуляторе немного дольше.

Disclaimer: Все что вы делаете, вы делаете осознанно и на свой страх и риск. Автор не несет ответственности за работоспособность вашего аппарата!

Для выполнения всех действий требуется root

  1. Нам понадобятся:
  2. Аппарат
  3. Программа Disable Service (продвинутые юзеры могут сразу устанавливать My Android Tools. Это более расширенная программа того же автора, но для начинающих в ней много лишнего. Продвинутые и богатые могут поддержать автора, купив Pro версию).
  4. Программа Wakelock Detector
  5. Прямые руки

Делаем бекап, на случай, если что-то пойдет не так, что бы потом не было мучительно больно!
Устанавливаем программу Wakelock Detector, следуем инструкции, смотрим, как резвятся программы и сервисы, не дают спать аппарату и жрут при этом батарею. Наполняемся праведным гневом, устанавливаем Disable Service и приступаем к делу.

В последних обновлениях Google Play, Корпорация Добра (тм) решила, что все пользователи андроида озаботились своим здоровьем, накупили браслетов и занимаются фитнесом в поте лица, меряя калории и пульсы на своих аппаратах.

Так же у всех резко появились наручные дисплеи для показа погоды и СМС. Заботясь об этом, Корпорация Добра (тм) напихала специальных сервисов для связи с этой носимой дребеденью, и повелела каждые 15 минут проверять, нету ли вблизи фитнесового браслета, не начать ли считать калории и пульсы, не показать ли пришедшую СМС’ку.

Поскольку у 99% пользователей таковых приблуд нет, аппарат, проснувшись, ничего не находит и скушав заряда батареи, снова засыпает, что бы через 15 минут повторить цикл.
Приступаем.

Запускаем Disable Service.

Первую вкладку «Third party» мы пока не трогаем. Белые цифры — количество сервисов. Синие — количество запущенных сервисов, красные — количество деактивированнх сервисов. Сейчас их у нас будет.
Переходим на вкладку «System», находим «Сервисы Google Play» — заходим туда. В левом верхнем углу нажимаем «full/short» — получаем полные названия сервисов и, пользуясь поиском (значек лупы) вводим заветные слова, сначала «fitness», потом «wearable» со всего что содержит эти слова снимаем галочки.

Затем ищем сервисы:

Затем ограничиваем обращение сервисов к поиску местоположения:

Первая часть работы сделана.

Дальнейшие копания в этой части лучше не делать просто так. Можете наоборот увеличить расход батареи из-за введения в цикл сервисов, у которых деактивирована часть, необходимая для корректного завершения их работы. В самом худшем случае — получите бутлуп. Хотя это и не страшно, у нас же есть бекап, правда ведь? Но лучше не доводить до беды и не лезть туда, куда не нужно. Помните! Не всегда название сервиса обозначает то, что вы думаете! Например, сервис GTalkService, к программе GTalk отношения никакого не имеет!

Теперь переходим на вкладку программ «Third Party»

Здесь — полная свобода действий, но опять же — с умом.

Лично я, прибил у Viber службу InAppBillingService, которому сильно не спалось, т.к. платными звонками в этой программе не пользуюсь.
У программы 360 SmartKey отменил сервисы: CompatService и DownloadingService, они мне не нужны, кнопка работает и без них.

Для программ, которые должны периодически просыпаться (почта, погода, сообщения), лучше ничего не трогать.

Для более осмысленных действий хорошо бы прочитать ветки программ Disable Service и My Android Tools, но это для самых продвинутых юзеров. И так уже пришлось прочитать многабукафф:).

В конце — перезагружаем аппарат и при помощи Wakelock Detector наблюдаем его тихий храп. Если какая-то из программ еще мешает этому процессу — вы знаете что делать.
Так же рекомендую установить программу Greenify, для усмирения особо буйных (типа — Facebook, Facebook Messenger и т.д.).

В результате, получим реально долгоживущий аппарат без особых ограничений. Сколько и как — зависит от установленных у вас программ. У меня выигрыш составил около 30%. Поведение новых программ желательно проверять на первое время при помощи Wakelock Detector и, на основании этих данных, принимать решение о их дальнейшей судьбе.

В связи с популярностью этой темы мне бы хотелось «продемонстрировать» эффективность советов, которые приведены на сайте как в этой статье так и в других.

Читайте также:  Увеличиваем производительность ноутбука в играх

Всем привет! В данной статье расскажем о небольшой проблеме на которую жалуются пользователи использующие андроид устройства. У пользователей телефонов и планшетов всплывает сообщение location services , особенно часто появляется у пользователей с аппаратами от lenovo. После разблокировки экрана видно черный экран со значком, выскакивает сообщение location services. Пример такого окна видно на скрине ниже:

Данное окно может и не выскакивать, но временами может висеть до 5-10 секунд после разблокирования дисплея, а потом исчезает.
В списке установленных утилит ее нет, а при сканировании антивирусом – проблем не обнаруживается.

Что такое MTKLogger?

MTKLogger на Android

MTKLogger – программа, значок которой появляется только на устройствах, построенных на процессоре от MTK (MediaTek). Это приложение отвечает за, впрочем, полезную, но для большинства обычных пользователей ненужную функцию – ведение журнала (логов). Аналогичные функции есть практически во всех операционных системах и во многих программах. Например, в Windows она называется «Журнал операционной системы Windows».

Читайте также: Формат изображения BW что это такое.

Кому и для чего нужно приложение MTKLogger

MTKLogger – это программа-функция, которая сохраняет все события и действия, выполненные пользователем, при этом занимая всё свободное место в памяти смартфона или на SD-карте. Необходимо только в том случае, если вы этого хотите. MTKLogger можно безопасно отключить и удалить. Это не повлияет на ваше устройство. После удаления приложения может потребоваться отключить функцию регистрации в вашем телефоне, чтобы предотвратить очередное накопление событий журнале в MTKLogger. Программа по сути является кейлоггером. Кейлоггер, иногда называемый регистратором нажатий клавиш или системным монитором, представляет собой тип технологии наблюдения, используемый для мониторинга и записи каждого нажатия клавиши, набранного на клавиатуре конкретного компьютера. Программное обеспечение типа Keylogger также доступно для использования на смартфонах, таких как устройства Apple iPhone и Android.

Злоумышленники часто используют такие утилиты в качестве инструмента-шпиона для кражи персональной информации, учётных данных для входа и конфиденциальной корпоративной информации. Регистраторы кейлоггеров могут также использоваться работодателями для наблюдения за компьютерной деятельностью сотрудников, родителями для контроля за использованием Интернета их детьми, пользователями для отслеживания возможной несанкционированной активности на их устройствах или правоохранительными органами для анализа инцидентов, связанных с кибератаками.

Аппаратный кейлоггер – это небольшое устройство, которое служит коннектором между клавиатурой и ПК (экраном и смартфоном). Девайс подключается через обычный разъем PS/2 или USB-адаптер, благодаря чему спрятать такое устройство для получения конфиденциальных данных несложно. Аппаратный кейлоггер может также иметь форму модуля, который устанавливается внутри самой клавиатуры. Когда пользователь печатает на клавиатуре, кейлоггер собирает каждое нажатие клавиши и сохраняет его как текст на своём собственном миниатюрном жёстком диске, который может иметь до нескольких гигабайт памяти. Чтобы получить доступ к собранной информации, злоумышленнику необходимо позже вернуться и физически удалить устройство. Существуют также беспроводные клавиатурные шпионы, которые могут перехватывать и дешифровать пакеты данных, передаваемые между беспроводной клавиатурой и её приёмником.

Аппаратный кейлоггер

Программа для создания кейлогинга Bottom of Form для установки не требует физического доступа к компьютеру пользователя. Приложение может запускаться и работать скрытно, чтобы избежать ручного обнаружения или антивирусного сканирования. Программа кейлоггера обычно состоит из двух файлов, которые устанавливаются в одном каталоге: файл библиотеки динамической компоновки (DLL), который выполняет всю запись, и исполняемый файл, который устанавливает файл DLL и запускает его в работу. Программа записывает каждое нажатие клавиши и периодически загружает информацию через Интернет. Некоторые кейлоггеры способны сохранять и другие данные, например, буфер обмена или создание снимков экрана.

Как отключить приложение?

Удалять MTKLogger не рекомендуется, потому как это системное приложение, разработанное производителем процессора. Его можно безопасно отключить. На работу смартфона это никак не повлияет, но позволит избежать потери памяти и возможной лишней нагрузки на процессор.

Для отключения нужно предварительно остановить работу приложения. Пользователю необходимо открыть приложение и изменить положение бегунка на всех пунктах, где он включен.

После этого надо зайти в Настройки > Приложения > MTKLogger.

Здесь необходимо сначала очистить кэш, после чего нажать кнопку “отключить”.

MTKLogger ведет журнал о возникших ошибках и действиях, наподобие аналогичной программы на компьютере. Результаты работы приложения – темный лес для обычного пользователя.

В статье я расскажу, что это такое MTKLogger на устройствах Андроид и можно ли удалять его. Многие люди крайне подозрительно относятся к приложениям, которые появляются на их смартфонах или планшетах из неоткуда и без спроса. Собственно, правильно делают, ведь новой программой может быть нежелательный гость в виде вируса, отправляющего СМС на платные номера и/или собирающего пароли, номера карты и прочую информацию, присутствующую на смартфоне.

Однако не каждое самовольно появившееся приложение является вредоносной программой. Исключением является, например, MTKLogger, значок которого замечали многие пользователи операционной системы Android. Если была обнаружена иконка именно этого приложения, то все в порядке, ничего страшного с устройством не произошло.

Лечение аккумного жора в андроиде

Если вдруг так получилось, что ваш андроид с чистой прошивкой (т.е. без всякого потенциально кривого софта) не может толком уснуть (в свойствах батарейки закрашено синим больше 20% полосы «Рабочий режим»), вполне возможно, что это проявляет себя совместный баг андроида (вроде бы 4.2+) и Google Play Services (повсеместно используемая библиотека, которая делает вызов встроенных функций андроида из наркоманского чуть менее наркоманским). 1. Ставим Wakelock Detector. Софтина, кстати, весьма полезная при расследованиях любых случаев аккумного жора.2. Открываем. Выбираем пункт «Процессорный wakelock». Если сверху списка не маячит пункт «Службы Google», радуемся — нас не затронуло, дальше не читаем.3. Нажимаем на пункт «Службы Google». Сверху могут быть пункты NlpWakeLock и NlpCollectorWakeLock с числом срабатываний порядка тысяч (против единиц-сотен других видов). Это оно. Nlp — это Network Location Provider. Если нет приложений, которым нужно разрешить получать координаты от сети (это GSM/3G и WiFi, а не GPS!), достаточно просто выключить соответствующий пункт в настройках телефона. Если же координаты от сети нужны, читаем дальше.4. Ставим Titanium Backup. Кстати, софтина вполне достойна того, чтобы купить её платную версию. 5. Запускаем, открываем вторую вкладку («Резервные копии»), в длиииииинном списке ищем «Сервисы Google Play». Открываем, смело нажимаем «Удалить». В этом месте могут начаться разнообразные глюки всякого софта, который использует Службы. Не пугаемся, перегружаем устройство.6. После перезагрузки открываем Маркет и ставим Службы заново, опять перегружаемся.После перезагрузки аккумный жор с очень высокой вероятностью пропадает. Вопреки здравому смыслу пункты 5 и 6 обязательны. Т.е. недостаточно просто очистить данные Служб через настройки телефона и даже почистить после этого кэш.Мой личный результат: до устранения глюка за час было скушано 8% аккума (телефон просто лежал), после устранения за 10 часов (из них 100% мобильный инет по 3G, полтора часа с экраном) было скушано ещё 22% (т.е. по 2.2% в час).

Профиль

Счетчик

Cсылки

View my Tags page

Категории

View my Categories page Разработано LiveJournal.com

Некоторые пользователи Андроид замечают появление неизвестного приложения MTKLogger на своих смартфонах. Автоматическая установка, в наши дни, воспринимается как вирус, но в данном случае спешу вас успокоить – МТК Логгер не является вирусным приложением.

MTKLogger – это программа для сбора и обработки системных логов, работающая на процессорах МТК.

Такой сбор логов ведется на многих ОС, например в Windows это называется “журнал”. Все записанные логи сохраняются в отдельную системную папку mtklog. Если говорить о надобности этого приложения для простых пользователей, коих большинство, то программка не пригодится, а вот для тех, кому необходимо иметь всю статистику, тогда МТКЛоггер пригодится.

MTKLogger собирает логи, однако, они имеют размер, и чем больше логов будет сохранятся, тем больше места будет занимать папка mtklog. Это большой минус данного приложения. Если места у вас и так не особо много, тогда вы можете остановить и удалить MTK Logger.

Они хотели скрыть это от нас

Инженерное меню – это сервисное приложение для тестирования, отладки и тонкой настройки аппаратных функций смартфона или планшета. Конечно, оно предназначено не для пользователей, а для разработчиков и сервисных специалистов, но пытливый юзерский ум не ведает покоя: как же не использовать этот кладезь в своих целях, если есть такая возможность?

А возможности инженерного меню действительно стоят внимания. Ведь в их числе:

  • Получение самой достоверной информации о железе мобильного девайса.
  • Управление функциями телефонии и беспроводной связи.
  • Аппаратная настройка множества функций, в частности, регулировка громкости динамиков и чувствительности микрофона (пожалуй, самая востребованная опция у владельцев смартфонов).

Инженерное меню есть не на всех Android-телефонах и планшетах. На бюджетных девайсах сильно китайских брендов, а особенно «no name» зачастую его нет. Также его часто нет на устройствах с процессорами Qualcomm.

Набор доступных функций и сама организация инженерного меню зависят от марки процессора и оснащенности устройства тем или иным оборудованием. Основная масса смартфонов и планшетов базируется на процессорах MTK (MediaTek), поэтому знакомиться с ним будем на их примере.

Нужно ли оставлять MTK Logger обычному пользователю

Для обычного пользователя нет особой разницы – он может как удалить это приложение MTKLogger, так и оставить его на смоем смартфоне или планшете. Ни в первом, ни во втором случае ничего плохого не произойдет.

С другой стороны ясно, что эта MTKLogger выполняет некоторые вычисления и, как следствие этого, немного нагружает процессор. Если человек уверен в том, что он не станет пользоваться логами, то он может смело освободить место от приложения, тем самым несколько улучшив работу своего мобильного устройства.

Следует отметить, что со временем журналы, формируемые MTKLogger, могут сильно увеличиться в объёме, и они будут занимать достаточно много места в памяти устройства.

Основы NLP для текста

В этой статье мы рассмотрим темы:

  1. Токенизация по предложениям.
  2. Токенизация по словам. и стемминг текста.
  3. Стоп-слова.
  4. Регулярные выражения. . .

1. Токенизация по предложениям

Токенизация (иногда – сегментация) по предложениям – это процесс разделения письменного языка на предложения-компоненты. Идея выглядит довольно простой. В английском и некоторых других языках мы можем вычленять предложение каждый раз, когда находим определенный знак пунктуации – точку.

Но даже в английском эта задача нетривиальна, так как точка используется и в сокращениях. Таблица сокращений может сильно помочь во время обработки текста, чтобы избежать неверной расстановки границ предложений. В большинстве случаев для этого используются библиотеки, так что можете особо не переживать о деталях реализации.

Возьмем небольшой текст про настольную игру нарды:

Чтобы сделать токенизацию предложений с помощью NLTK, можно воспользоваться методом nltk.sent_tokenize

На выходе мы получим 3 отдельных предложения:

2. Токенизация по словам

Токенизация (иногда – сегментация) по словам – это процесс разделения предложений на слова-компоненты. В английском и многих других языках, использующих ту или иную версию латинского алфавита, пробел – это неплохой разделитель слов.

Тем не менее, могут возникнуть проблемы, если мы будем использовать только пробел – в английском составные существительные пишутся по-разному и иногда через пробел. И тут вновь нам помогают библиотеки.

Давайте возьмем предложения из предыдущего примера и применим к ним метод nltk.word_tokenize

3. Лемматизация и стемминг текста

Обычно тексты содержат разные грамматические формы одного и того же слова, а также могут встречаться однокоренные слова. Лемматизация и стемминг преследуют цель привести все встречающиеся словоформы к одной, нормальной словарной форме.

Приведение разных словоформ к одной:

То же самое, но уже применительно к целому предложению:

Лемматизация и стемминг – это частные случаи нормализации и они отличаются.

Стемминг – это грубый эвристический процесс, который отрезает «лишнее» от корня слов, часто это приводит к потере словообразовательных суффиксов.

Лемматизация – это более тонкий процесс, который использует словарь и морфологический анализ, чтобы в итоге привести слово к его канонической форме – лемме.

Отличие в том, что стеммер (конкретная реализация алгоритма стемминга – прим.переводчика) действует без знания контекста и, соответственно, не понимает разницу между словами, которые имеют разный смысл в зависимости от части речи. Однако у стеммеров есть и свои преимущества: их проще внедрить и они работают быстрее. Плюс, более низкая «аккуратность» может не иметь значения в некоторых случаях.

  1. Слово good – это лемма для слова better. Стеммер не увидит эту связь, так как здесь нужно сверяться со словарем.
  2. Слово play – это базовая форма слова playing. Тут справятся и стемминг, и лемматизация.
  3. Слово meeting может быть как нормальной формой существительного, так и формой глагола to meet, в зависимости от контекста. В отличие от стемминга, лемматизация попробует выбрать правильную лемму, опираясь на контекст.

4. Стоп-слова

Стоп-слова – это слова, которые выкидываются из текста до/после обработки текста. Когда мы применяем машинное обучение к текстам, такие слова могут добавить много шума, поэтому необходимо избавляться от нерелевантных слов.

Стоп-слова это обычно понимают артикли, междометия, союзы и т.д., которые не несут смысловой нагрузки. При этом надо понимать, что не существует универсального списка стоп-слов, все зависит от конкретного случая.

В NLTK есть предустановленный список стоп-слов. Перед первым использованием вам понадобится его скачать: nltk.download(“stopwords”) . После скачивания можно импортировать пакет stopwords и посмотреть на сами слова:

Рассмотрим, как можно убрать стоп-слова из предложения:

Если вы не знакомы с list comprehensions, то можно узнать побольше здесь. Вот другой способ добиться того же результата:

Тем не менее, помните, что list comprehensions быстрее, так как оптимизированы – интерпретатор выявляет предиктивный паттерн во время цикла.

Вы можете спросить, почему мы конвертировали список во множество. Множество это абстрактный тип данных, который может хранить уникальные значения, в неопределенном порядке. Поиск по множеству гораздо быстрее поиска по списку. Для небольшого количества слов это не имеет значения, но если речь про большое количество слов, то строго рекомендуется использовать множества. Если хотите узнать чуть больше про время выполнения разных операций, посмотрите на эту чудесную шпаргалку.

5. Регулярные выражения.

Регулярное выражение (регулярка, regexp, regex) – это последовательность символов, которая определяет шаблон поиска. Например:

  • . – любой символ, кроме перевода строки;
  • \w – один символ;
  • \d – одна цифра;
  • \s – один пробел;
  • \W – один НЕсимвол;
  • \D – одна НЕцифра;
  • \S – один НЕпробел;
  • [abc] – находит любой из указанных символов match any of a, b, or c;
  • [^abc] – находит любой символ, кроме указанных;
  • [a-g] – находит символ в промежутке от a до g.

Регулярные выражение используют обратный слеш (\) для обозначения специальных форм или чтобы разрешить использование спецсимволов. Это противоречит использованию обратного слеша в Python: например, чтобы буквально обозначить обратный слеш, необходимо написать ‘\\\\’ в качестве шаблона для поиска, потому что регулярное выражение должно выглядеть как \\ , где каждый обратный слеш должен быть экранирован.

Решение – использовать нотацию raw string для шаблонов поиска; обратные слеши не будут особым образом обрабатываться, если использованы с префиксом ‘r’ . Таким образом, r”\n” – это строка с двумя символами (‘\’ и ‘n’) , а “\n” – строка с одним символом (перевод строки).

Мы можем использовать регулярки для дополнительного фильтрования нашего текста. Например, можно убрать все символы, которые не являются словами. Во многих случаях пунктуация не нужна и ее легко убрать с помощью регулярок.

Модуль re в Python представляет операции с регулярными выражениями. Мы можем использовать функцию re.sub, чтобы заменить все, что подходит под шаблон поиска, на указанную строку. Вот так можно заменить все НЕслова на пробелы:

Регулярки – это мощный инструмент, с его помощью можно создавать гораздо более сложные шаблоны. Если вы хотите узнать больше о регулярных выражениях, то могу порекомендовать эти 2 веб-приложения: regex, regex101.

6. Мешок слов

Алгоритмы машинного обучения не могут напрямую работать с сырым текстом, поэтому необходимо конвертировать текст в наборы цифр (векторы). Это называется извлечением признаков.

Мешок слов – это популярная и простая техника извлечения признаков, используемая при работе с текстом. Она описывает вхождения каждого слова в текст.

Чтобы использовать модель, нам нужно:

  1. Определить словарь известных слов (токенов).
  2. Выбрать степень присутствия известных слов.

Интуиция подсказывает, что схожие документы имеют схожее содержимое. Также, благодаря содержимому, мы можем узнать кое-что о смысле документа.

Пример:
Рассмотрим шаги создания этой модели. Мы используем только 4 предложения, чтобы понять, как работает модель. В реальной жизни вы столкнетесь с бОльшими объемами данных.

1. Загружаем данные

Представим, что это наши данные и мы хотим загрузить их в виде массива:

Для этого достаточно прочитать файл и разделить по строкам:

2. Определяем словарь

Соберем все уникальные слова из 4 загруженных предложений, игнорируя регистр, пунктуацию и односимвольные токены. Это и будет наш словарь (известные слова).

Для создания словаря можно использовать класс CountVectorizer из библиотеки sklearn. Переходим к следующему шагу.

3. Создаем векторы документа

Далее, мы должны оценить слова в документе. На этом шаге наша цель – превратить сырой текст в набор цифр. После этого, мы используем эти наборы как входные данные для модели машинного обучения. Простейший метод скоринга – это отметить наличие слов, то есть ставить 1, если есть слово и 0 при его отсутствии.

Теперь мы можем создать мешок слов используя вышеупомянутый класс CountVectorizer.

Это наши предложения. Теперь мы видим, как работает модель «мешок слов».

Еще пару слов про мешок слов

Сложность этой модели в том, как определить словарь и как подсчитать вхождение слов.

Когда размер словаря увеличивается, вектор документа тоже растет. В примере выше, длина вектора равна количеству известных слов.

В некоторых случаях, у нас может быть неимоверно большой объем данных и тогда вектор может состоять из тысяч или миллионов элементов. Более того, каждый документ может содержать лишь малую часть слов из словаря.

Как следствие, в векторном представлении будет много нулей. Векторы с большим количеством нулей называются разреженным векторами (sparse vectors), они требуют больше памяти и вычислительных ресурсов.

Однако мы можем уменьшить количество известных слов, когда используем эту модель, чтобы снизить требования к вычислительным ресурсам. Для этого можно использовать те же техники, что мы уже рассматривали до создания мешка слов:

  • игнорирование регистра слов;
  • игнорирование пунктуации;
  • выкидывание стоп-слов;
  • приведение слов к их базовым формам (лемматизация и стемминг);
  • исправление неправильно написанных слов.

N-грамма это последовательность каких-либо сущностей (слов, букв, чисел, цифр и т.д.). В контексте языковых корпусов, под N-граммой обычно понимают последовательность слов. Юниграмма это одно слово, биграмма это последовательность двух слов, триграмма – три слова и так далее. Цифра N обозначает, сколько сгруппированных слов входит в N-грамму. В модель попадают не все возможные N-граммы, а только те, что фигурируют в корпусе.

Рассмотрим такое предложение:

Вот его биграммы:

  • the office
  • office building
  • building is
  • is open
  • open today

Оценка (скоринг) слов

Когда создан словарь, следует оценить наличие слов. Мы уже рассматривали простой, бинарный подход (1 – есть слово, 0 – нет слова).

Есть и другие методы:

  1. Количество. Подсчитывается, сколько раз каждое слово встречается в документе.
  2. Частотность. Подсчитывается, как часто каждое слово встречается в тексте (по отношению к общему количеству слов).

7. TF-IDF

У частотного скоринга есть проблема: слова с наибольшей частотностью имеют, соответственно, наибольшую оценку. В этих словах может быть не так много информационного выигрыша для модели, как в менее частых словах. Один из способов исправить ситуацию – понижать оценку слова, которое часто встречается во всех схожих документах. Это называется TF-IDF.

TF-IDF (сокращение от term frequency — inverse document frequency) – это статистическая мера для оценки важности слова в документе, который является частью коллекции или корпуса.

Скоринг по TF-IDF растет пропорционально частоте появления слова в документе, но это компенсируется количеством документов, содержащих это слово.

Формула скоринга для слова X в документе Y:


Формула TF-IDF. Источник: filotechnologia.blogspot.com/2014/01/a-simple-java-class-for-tfidf-scoring.html

TF (term frequency — частота слова) – отношение числа вхождений слова к общему числу слов документа.

IDF (inverse document frequency — обратная частота документа) — инверсия частоты, с которой некоторое слово встречается в документах коллекции.

В итоге, вычислить TF-IDF для слова term можно так:

Можно использовать класс TfidfVectorizer из библиотеки sklearn, чтобы вычислить TF-IDF. Давайте проделаем это с теми же сообщениями, что мы использовали в примере с мешком слов.

Кто, когда и зачем придумал НЛП

НЛП появилось в США в начале 70‑х годов. Его создателями стали Чимаров С. Ю. «Нейролингвистическое программирование: история и инструментарий» студент‑психолог Ричард Бендлер и профессор лингвистики Джон Гриндер из Калифорнийского университета.

Бендлер увлекался компьютерами и программированием. Обучаясь на математическом факультете, он заинтересовался записями лекций американских психотерапевтов Фрица Перлза и Вирджинии Сатир. Перлз в 40‑е годы отошёл от теории психоанализа и создал собственный метод гештальт‑терапии. Сатир была одним из основателей Института ментальных исследований в Пало‑Альто. В 1972 году она познакомилась с Бендлером и Гриндером и стала сотрудничать Чимаров С. Ю. «Нейролингвистическое программирование: история и инструментарий» с ними.

Также большое влияние на концепцию НЛП оказали взгляды Милтона Эриксона, Грегори Бейтсона и Альфреда Коржибски. Эриксон исследовал терапевтическое воздействие гипноза. Его речевые гипнотические модели вошли в НЛП под названием «модели Милтона». Бейтсон, британо‑американский антрополог, занимался изучением природы познания и человека. Его образ мышления стал одним из эталонов для создателей НЛП. Коржибски — лингвист, основатель общей семантики, науки о значении слов. Он первым употребил термин «нейролингвистический». Его утверждение «Карта ещё не территория» является Чимаров С. Ю. «Нейролингвистическое программирование: история и инструментарий» одним из главных положений НЛП.

Но вернёмся к Бендлеру. Он, увлёкшись психотерапией, стал копировать поведение Перлза и Сатир и ощутил, что может оказывать воздействие на людей: убеждать их в своей правоте, находить общий язык. Бендлер открыл свою школу, и его деятельностью заинтересовался профессор лингвистики в Калифорнийском университете Гриндер. Вместе они стали создавать концепцию НЛП. Свои наработки Бендлер и Гриндер изложили Roderique‑Davies G. Neuro‑linguistic programming: Cargo cult psychology? Journal of Applied Research in Higher Education в двух частях книги The Structure of Magic (1975).

Эффект применения НЛП его создатели назвали Сеймор Дж., О’Коннор Дж. «Введение в нейролингвистическое программирование» терапевтической магией. Достаточно быстро концепция и основанные на ней тренинги стали приносить им большие деньги.

В начале 80‑х годов Бендлер и Гриндер повздорили, и их пути разошлись. Они продолжили развивать концепцию, но каждый по‑своему.

Что такое MTKLogger?

MTKLogger на Android

MTKLogger – программа, значок которой появляется только на устройствах, построенных на процессоре от MTK (MediaTek). Это приложение отвечает за, впрочем, полезную, но для большинства обычных пользователей ненужную функцию – ведение журнала (логов). Аналогичные функции есть практически во всех операционных системах и во многих программах. Например, в Windows она называется «Журнал операционной системы Windows».

Нужно ли оставлять MTK Logger обычному пользователю

Для обычного пользователя нет особой разницы – он может как удалить это приложение MTKLogger, так и оставить его на смоем смартфоне или планшете. Ни в первом, ни во втором случае ничего плохого не произойдет.

С другой стороны ясно, что эта MTKLogger выполняет некоторые вычисления и, как следствие этого, немного нагружает процессор. Если человек уверен в том, что он не станет пользоваться логами, то он может смело освободить место от приложения, тем самым несколько улучшив работу своего мобильного устройства.

Следует отметить, что со временем журналы, формируемые MTKLogger, могут сильно увеличиться в объёме, и они будут занимать достаточно много места в памяти устройства.

Простой компьютерный блог для души)

Всем привет. Изучаете Андроид дальше? Все правильно делаете. Что там у нас сегодня? А сегодня у нас программа MTK NLP Service (com.mediatek.nlpservice, NlpService.apk), мы должны выяснить что это за программа. Значит первое что я вижу, это то, что в названии программы есть MTK, а это что? Это ребята процессор. Возможно что это программа серьезная и нужная. Ладно, смысл гадать, иду искать в интернете по скрытым каналам…

Значит вот читаю, что MTK NLP Service это минимальный набор для работы Gapps. Блин, я думал что Gapss это какая-то редкая дичь, а это расшифровывается как Google Apps. То есть это гугловские службы, которые нужны чтобы юзер мог пользоваться гугловскими сервисами, например Gmail, Ютуб, Гугл Диск ну и остальное. Получается что MTK NLP Service это все таки важная программа.

Ладно, копаю интернет дальше. Вот один чел пишет на форуме, что MTK NLP Service отвечает за получение координат по сети, но тут имеется ввиду не GPS. И говорит что отключить можно, однако сам чел не советует отключать =)

Вроде я понимаю почему люди интересуются что такое MTK NLP Service. Короче ребята, вроде эта программулина может кушать батарею прилично. Если у вас такая ситуация, то можно отключить, но я знаете что советую, я советую не отключать, а заморозить! Для этого лучше всего подходит Titanium Backup, годная прога я вам скажу.

Ребята, я тут нашел картинку в тему, но сразу предупреждаю какая была такая картинка такую и взял, лучшего качества нет:

Вот видите, тут написано, что MTK NLP Service используется для определения вашего местоположения при помощи мобильной сети или же вай фай. И потом эти данные, ну то есть ваше местоположение, то оно может использоваться другими прогами, например Google Now. Ну да, понятно не очень, но из этого всего я лично понял, что MTK NLP Service не является критически важной прогой.

Вот один чел пишет, что у него приложение MTK NLP Service просто взбесилось! То есть все было нормально а потом бац приложение начало страшно кушать батарею. Ну короче чел сделал перезагрузку и все прошло. Я думаю что у человека MTK NLP Service начал узнавать местоположение, однако я вот подумал, а сколько процесс сбора координат длится? Хм, вот этой инфы я не нашел. Конечно, если уходит на это дело минут десять-двадцать, то зачем оно нужно при таком раскладе.

Еще я выяснил, вот смотрите, в названии проги есть такое как NLP, так вот, это расшифровывается как Network Location Provider. Ну это так бы сказать на заметочку господа вам.

Еще важная инфа. Если вы кому-то из Gapps запрещали доступ к геоданным, то MTK NLP Service будет постоянно пытаться их получить, и как результат, будет много израсходовать батарею. Вот в чем прикол.

Вот я нашел картинку, смотрите, тут под MTK NLP Service написано такое как Low battery use:

С английского переводится типа что приложение мало кушает батарею. И видимо так и должно быть.

Вот еще одна картинка, но не совсем понятно, тут напротив MTK NLP Service написано 990 раз:

Это что, столько раз прога запускалась? Ну это много. Хотя если за все время, то может и норм…

А вот еще одна картинка, на которой видно, что морозить приложение все таки можно:

Так, теперь давайте подумаем в итоге. MTK NLP service это нужно для местоположения, которое узнается без GPS. Второе, это то, что удалять эту штуку нельзя. Третье, обычно проблемы бывают из-за того, что кому-то из Gapps был запрещен доступ к местоположению, в итоге MTK NLP Service постоянно пытается это местоположение получить. Ну и в четвертых, в теории MTK NLP service можно морозить, ну попытаться точно можно.

На этом все ребята, удачи вам и чтобы все было у вас нормалек!

Личный блог DarkNess. Только технические темы.

Android spy warning

In general commercial sold Hardwares ‘Device thermal safety managment’ must be hardwired! Than, everybody at should read the generic! permissions of the ‘MTK thermal manager’, and think if that is necessary. Open ‘Manage Apps’, search for ‘MTK thermal manager’ and scroll down to ‘Permissions’.

Anyway,as expected MTK logger, MTK thermal manager & MTK Android suite daemon are coming back active after restart. These things are really dedicated for surveillance.

Actually I can only deal arround to block ‘1000, Android system. thermal manager’ with DroidWall to communicate with outside.

What’s also interesting, if you google ‘MTK thermal manager’, there are only a few threads/post about this issue. and no solution to solve this issue. Because it’s Google! (Don’t be evil. )

  • Back to top

#22 Resigned User

  • Location Italy

Yep . you have an MTK CPU and all related apps must be there. You can frozen them but not forever and you can’t uninstall them because your phone will begin to crash.

So if you get rid of it you must pass to another type of smartphone like Lumia or iPhone or maybe a Android phone with «no MTK CPU»

  • Back to top

#23 Resigned User

  • Location Italy
  • Back to top

#24 aiping

  • Location Taiwan
  • Back to top

#25 aiping

  • Location Taiwan
  • Back to top

#26 Resigned User

  • Location Italy

  • Back to top

#27 aiping

  • Location Taiwan
  • Back to top

#28 Resigned User

  • Location Italy
  • Back to top

#29 15471

  • Location —

If people want to hear and see what I do when my phone is off. knock yourself out. It isn’t that exciting.

I feel sorry for whoever has to look over the data.

  • Back to top

#30 aiping

  • Location Taiwan
  • Back to top

#31 15471

  • Location —

Plenty old enough to remember. as soon as I saw it pop up, I starting singing in my head «I hear, the secrets that you keep».

I still can’t tell if this thread is serious or not. If it is, there are bigger things to worry about and a fail safe, 100% guarantee fix. dump the smart phone. Or, if you are going to a super, top-secret, classified meeting, leave your smart phone in the car.

What exactly are general citizens worried about if they are recorded and what info would be of any use to anyone?

Edited by brucered, 20 June 2016 — 06:01 PM.

  • Back to top

#32 Cjw

  • Location Calif

If your that worried throw your cell phone away. Become a prepper.

Sent from my iPhone using Tapatalk

  • JonM , 15471 and RevKillj0y like this
  • Back to top

#33 Cjw

  • Location Calif

Plenty old enough to remember. as soon as I saw it pop up, I starting singing in my head «I hear, the secrets that you keep».

I still can’t tell if this thread is serious or not. If it is, there are bigger things to worry about and a fail safe, 100% guarantee fix. dump the smart phone. Or, if you are going to a super, top-secret, classified meeting, leave your smart phone in the car.

What exactly are general citizens worried about if they are recorded and what info would be of any use to anyone?

They could listen to a conversation with the Ex wife. That will make them want to stab their ear drums with a knitting needle and never want to get married ever.

Sent from my iPhone using Tapatalk

  • 15471 likes this
  • Back to top

#34 aiping

  • Location Taiwan
  • Back to top

#35 Cjw

  • Location Calif

Have at it. Make sure you have your zombie killing weapons too.

Sent from my iPhone using Tapatalk

  • Back to top

#36 aiping

  • Location Taiwan

Probably it will not be zombies but starving desperates.
So, an avoided fight is a winning fight

@ Widget
glad to hear that you are not tapped in this way.

  • Back to top

#37 aiping

  • Location Taiwan

This is the most recent and conclusive thread I found:

So together with Widgets info, that he did not found log_other_mode, I draw following conclusion:

— The MTK Thermal Manager is a backdoor

— It becomes active when you root your device and install a firewall, me, DroidWall

— From now on the MTK Thermal Manager logs the audio, GPS?, acceleration sensor? (for camera/video the file seems to be to small)
when the Android device is ‘switched off & charging’

— The data are compressed and encrypted in log_other_mode

— log_other_mode sneaks out when you are Online

Having no root and firewall does not mean you are NOT surveilled,
cause you are than ‘naked on the table’ anyway, simply don’t know
what’s going on in the background.

  • Back to top

#38 aiping

  • Location Taiwan

MediaTek confesses that it Chipsets software provides a backdoor, without specifying where and how:

Its now time to show up a list of vulnarable devices (you will become tired from scrolling..):

In general, IF you are interested in privacy, treat any mobile communication device as a tapping bug: Audio, Video, Geo location, Text input, access to any file, up 24/7

  • Viper010 likes this
  • Back to top

#39 Genoa Slingshot

Italian Match Lighter

  • Location Italy

Edited by Genoa Slingshot, 28 June 2016 — 03:09 AM.

Ссылка на основную публикацию